我国科学家研究揭示多模态大模型概念表征机制

记者6月9日从中国科学院自动化研究所获悉，该所与中国科学院脑科学与智能技术卓越创新中心的联合团队在《自然·机器智能》发表相关研究，首次证实多模态大语言模型能够自发形成与人类高度相似的物体概念表征系统，为人工智能认知科学提供了新路径，也为构建类人认知结构的人工智能系统提供了理论框架。

“人类能够对自然界中的物体进行概念化，这一认知能力长期以来被视为人类智能的核心。”论文通讯作者、中国科学院自动化研究所研究员何晖光说，当人们看到“狗”“汽车”或“苹果”时，不仅能识别它们的物理特征，如尺寸、颜色、形状等，还能理解其功能、情感价值和文化意义，这种多维度的概念表征构成了人类认知的基石。

而随着ChatGPT等大语言模型的爆发式发展，一个问题引起科学家们的注意——这些大模型能否从语言和多模态数据中发展出类似人类的物体概念表征？

传统人工智能研究聚焦于物体识别准确率，却鲜少探讨模型是否真正“理解”物体含义。何晖光说：“当前人工智能可以区分猫狗图片，但这种‘识别’与人类‘理解’猫狗的本质区别仍有待揭示。”

研究团队从认知神经科学经典理论出发，设计了一套融合计算建模、行为实验与脑科学的创新范式，并构建了人工智能大模型的“概念地图”。

何晖光介绍，研究团队从海量大模型行为数据中提取出66个“心智维度”，并为这些维度赋予了语义标签。通过研究发现这些维度是高度可解释的，且与大脑类别选择区域的神经活动模式显著相关。研究还对比了多个模型在行为选择模式上与人类的一致性，结果显示多模态大模型在一致性方面表现更优。

此外，研究还揭示了人类在做决策时更倾向于结合视觉特征和语义信息进行判断，而大模型则倾向于依赖语义标签和抽象概念。本研究表明大语言模型内部存在着类似人类对现实世界概念的理解。