令人惊讶的智能人工智能揭示了大脑如何处理语言

大数据AI大脑概念

神经科学家发现,下一个词预测模型的内部工作方式类似于大脑中的语言处理中心。

在过去的几年里,人工智能语言模型在某些任务上变得非常出色。最值得注意的是,它们擅长预测一串文本中的下一个单词;这项技术可以帮助搜索引擎和短信应用预测你要输入的下一个单词。

最新一代的预测语言模型似乎也学习了一些关于语言潜在含义的东西。yabo2018体育下载这些模型不仅可以预测下一个单词,还可以执行一些似乎需要一定程度的真正理解的任务,如回答问题、文档总结和故事完成。

这些模型旨在优化预测文本的特定功能,而不是试图模仿人类大脑如何执行这项任务或理解语言。yabo2018体育下载但是一项新的研究麻省理工学院神经科学家认为,这些模型的潜在功能类似于人类大脑中的语言处理中心的功能。

下去预测模型

当前位置麻省理工学院的神经科学家发现,下一个词预测模型的内部工作方式类似于大脑中的语言处理中心。来源:麻省理工学院

在其他类型的语言任务中表现良好的计算机模型并没有显示出与人类大脑的这种相似性,这提供了证据,表明人类大脑可能会使用下一个词的预测来驱动语言处理。

“更好的模型是预测下一个单词,更适合人类的大脑,”南希•坎维舍表示,沃尔特·a . Rosenblith认知神经科学教授,麻省理工学院的一个成员麦戈文脑研究所和中心的大脑,思想,和机器(CBMM),这项新研究的作者之一。“令人惊讶的是,这些模型吻合得如此之好,这非常间接地表明,也许人类语言系统正在做的就是预测接下来会发生什么。”

Joshua Tenenbaum,麻省理工学院计算认知科学教授,CBMM和麻省理工学院人工智能实验室(CSAIL)成员;以及麦戈文研究所(McGovern Institute)成员、弗雷德里克·a·米德尔顿(Frederick a . and Carole J. Middleton)神经科学职业发展副教授伊芙琳娜·费多伦科(Evelina Fedorenko)是这项研究的资深作者美国国家科学院院刊.在CBMM工作的麻省理工学院研究生Martin Schrimpf是这篇论文的第一作者。

做预测

新的、高性能的下一个词预测模型属于一类模型,称为深层神经网络.这些网络包含计算“节点”,它们形成不同强度的连接,以及以规定的方式在彼此之间传递信息的层。

在过去的十年里,科学家们已经使用深度神经网络来创建视觉模型识别对象就像灵长类的大脑一样。麻省理工学院的研究也显示了视觉物体识别模型的潜在功能与组织匹配虽然这些计算机模型并不是专门用来模拟大脑的。

在这项新研究中,麻省理工学院的研究小组使用了类似的方法,将人脑中的语言处理中心与语言处理模型进行了比较。研究人员分析了43种不同的语言模型,包括几个为预测下一个单词而优化的模型。其中包括一个名为GPT-3(生成式预训练Transformer 3)的模型,在给定提示的情况下,它可以生成与人类生成类似的文本。其他的模型被设计用来执行不同的语言任务,比如在句子中填空。

当给每个模型呈现一串单词时,研究人员测量了组成网络的节点的活动。然后,他们将这些模式与人类大脑的活动进行了比较,并对执行三种语言任务的受试者进行了测量:听故事、一次读一个句子,以及每次读一个单词的句子。这些人体数据集包括功能性磁共振成像(fMRI)数据和接受癫痫脑手术患者的颅内电皮质测量数据。

他们发现,表现最好的下一个词预测模型的活动模式与人类大脑中看到的非常相似。这些模型中的活动也与人类行为测量高度相关,比如人们阅读文本的速度。

“我们发现,预测神经反应的模型往往也能最好地预测人类的行为反应,比如阅读时间。这两种情况都可以用模型在下一词预测中的表现来解释。这个三角形真的把一切都联系在了一起。

“这项研究的一个关键结论是,语言处理是一个高度受限的问题:正如这篇论文所显示的,人工智能工程师创造的最佳解决方案最终与创造人类大脑的进化过程找到的解决方案相似。自人工智能网络没有直接寻求模仿大脑——但最终寻找类人脑——这表明,在某种意义上,一种趋同进化的人工智能和自然之间发生,”Daniel yamin说的心理学助理教授和斯坦福大学计算机科学,他并没有参与这项研究。

改变游戏规则

预测模型(如GPT-3)的关键计算特性之一是一个称为正向单向预测变压器的元素。这种变形金刚能够根据之前的序列预测接下来会发生什么。这个转换器的一个重要特性是,它可以基于非常长的前面上下文(数百个单词),而不仅仅是最后几个单词进行预测。

特南鲍姆说,科学家还没有发现任何与这种处理方式相对应的大脑回路或学习机制。然而,他说,新的发现与先前提出的假设是一致的,即预测是语言处理的关键功能之一。

他说:“语言处理的一个挑战是它的实时方面。”“语言进来了,你必须跟上它,并能够实时理解它。”

研究人员现在计划建立这些语言处理模型的变体,看看它们的结构的微小变化会如何影响它们的表现和适应人类神经数据的能力。

“对我来说,这个结果改变了游戏规则,”费多伦科说。“这完全改变了我的研究项目,因为我没有预料到,在我的有生之年,我们会得到这些明确的计算模型,捕捉到足够多的关于大脑的信息,这样我们就可以利用它们来了解大脑是如何工作的。”yabo2018体育下载

研究人员还计划尝试将这些高性能语言模型与特南鲍姆实验室之前开发的一些计算机模型结合起来,这些计算机模型可以执行其他类型的任务,比如构建对物理世界的感知表征。

特南鲍姆说:“如果我们能够理解这些语言模型的作用,以及它们如何与那些更像是感知和思考的模型相联系,那么就可以为我们提供关于大脑如何工作的更完整的模型。”“这可能会让我们建立更好的人工智能模型,并为我们提供更好的模型,以了解更多的大脑是如何工作的,以及一般智能是如何出现的,比我们过去所拥有的更好。”

参考:美国国家科学院院刊

这项研究是由武田奖学金资助的;麻省理工学院鞋匠奖学金;半导体研究公司;麻省理工学院媒体实验室联盟;麻省理工学院Singleton奖学金;麻省理工学院总统研究生奖学金;麦戈文研究所之友奖学金;麻省理工学院大脑、思想和机器中心,通过国家科学基金会;国家卫生研究院;亚博如何下载麻省理工学院大脑与认知科学系; and the McGovern Institute.

该论文的其他作者是伊丹·布拉克博士16岁和研究生格里塔·塔库特,Carina Kauf和Eghbal Hosseini。

第一个发表评论关于“惊人的智能人工智能揭示大脑如何处理语言”

留下你的评论

邮箱地址可选。如果提供,您的电子邮件将不会被公布或共享。