深度学习AI解释:神经网络

人工智能神经网络概念

被大肆宣传的人工智能技术“深度学习”让已有70年历史的想法重获新生。

在过去10年里,表现最好的人工智能系统——比如智能手机上的语音识别器或谷歌最新的自动翻译器——都是由一种叫做“深度学习”的技术产生的。

深度学习实际上是人工智能方法神经网络的新名称,神经网络在70多年来一直时兴时衰。1944年,沃伦·麦卡洛(Warren McCullough)和沃尔特·皮茨(Walter Pitts)首次提出神经网络芝加哥大学研究人员搬到麻省理工学院1952年,作为第一个认知科学系的创始成员。

神经网络一直是神经科学和计算机科学的一个主要研究领域,直到1969年,根据计算机科学的传说,它们被麻省理工学院(MIT)数学家马文·明斯基(Marvin Minsky)和西摩·佩普特(Seymour Papert)扼杀了。一年后,他们成为新的麻省理工学院人工智能实验室(MIT Artificial Intelligence Laboratory)的联合主任。

卷积神经网络插图

深度学习的大多数应用使用“卷积”神经网络,每一层的节点聚类,聚类重叠,每个聚类将数据提供给下一层的多个节点(橙色和绿色)。信贷:何塞•路易斯•集中政策/麻省理工学院

这项技术在20世纪80年代复兴,在新世纪的第一个十年再次衰落,并在第二个十年以惊人的速度回归,主要是由于图形芯片处理能力的提高。

麻省理工学院大脑和认知科学尤金·麦克德莫特教授、麻省理工学院麦戈文大脑研究所研究员、麻省理工学院大脑、思想和机器中心主任Tomaso Poggio说:“有一种观点认为,科学中的思想有点像流行病病毒。”他说:“很明显,流感病毒有五到六种基本毒株,每一种毒株都有大约25年的周期。人们被感染后,会产生一种免疫反应,所以他们在接下来的25年里不会被感染。然后是新一代的人,他们已经准备好被同样的病毒株感染了。在科学领域,人们会爱上一个想法,对它感到兴奋,把它敲死,然后免疫——他们会厌倦它。yabo2018体育下载所以思想应该具有相同的周期性!”

重大问题

神经网络是一种进行机器学习的方法,在这种方法中,计算机通过分析训练示例来学习执行某些任务。通常,这些例子都是事先手工标注的。例如,一个物体识别系统可能被输入数千张带有标签的汽车、房子、咖啡杯等图像,它会在图像中发现与特定标签一致的视觉模式。

神经网络松散地以人脑为模型,由数千甚至数百万个紧密相连的简单处理节点组成。如今的大多数神经网络都被组织成节点层,而且它们是“前馈”的,这意味着数据只能在一个方向上通过它们。一个单独的节点可以连接到它下面一层的几个节点,从那里接收数据,并连接到它上面一层的几个节点,向那里发送数据。

对于每个传入的连接,节点将分配一个称为“权重”的数字。当网络处于活动状态时,节点在其每个连接上接收不同的数据项(不同的数字),并将其乘以相关的权重。然后将结果相加,得到一个数字。如果该数字低于阈值,则节点不向下一层传递数据。如果数字超过阈值,节点“触发”,在今天的神经网络中,这通常意味着沿着所有输出连接发送这个数字——加权输入的总和。

当神经网络被训练时,其所有的权值和阈值都被初始设置为随机值。训练数据被输入到底层——输入层——然后通过后面的层,以复杂的方式相乘和相加,直到最终到达输出层,进行彻底的转换。在训练过程中,不断调整权重和阈值,直到具有相同标签的训练数据始终产生相似的输出。

思想和机器

麦卡洛和皮茨在1944年描述的神经网络有阈值和权重,但它们没有分层,研究人员也没有指定任何训练机制。McCullough和Pitts展示的是,神经网络在原则上可以计算数字计算机所能计算的任何功能。其结果更像是神经科学而不是计算机科学:其要点在于,人类的大脑可以被视为一个计算设备。

神经网络仍然是神经科学研究的有价值的工具。例如,特定的网络布局规则因为调整权重和阈值重现了观察到的人类神经解剖学和认知的特征,这表明它们捕捉到了有关大脑如何处理信息的一些东西。yabo2018体育下载

1957年,康奈尔大学(Cornell University)心理学家弗兰克·罗森布拉特(Frank Rosenblatt)展示了第一个可训练的神经网络——感知机。感知机的设计很像现代的神经网络,除了它只有一个具有可调权值和阈值的层,夹在输入层和输出层之间。

直到1959年,感知机在心理学和计算机科学的新兴学科中都是一个活跃的研究领域,当时明斯基和Papert出版了一本名为《感知机》的书,这本书证明了在感知机上执行某些相当常见的计算是非常耗时的。

“当然,如果你使用稍微复杂一点的机器,比如两层,所有这些限制都消失了,”Poggio说。但在当时,这本书对神经网络研究产生了令人不寒而栗的影响。

“你必须把这些事情放在历史的背景下,”博吉奥说。他们为编程——像Lisp这样的语言而争论。没过几年,人们还在使用模拟计算机。在当时,编程是一条不确定的道路。我觉得他们有点过分了,但和往常一样,事情不是黑白分明的。如果你把这看作是模拟计算和数字计算之间的竞争,他们在为当时正确的事情而战。”

周期性

然而,到了20世纪80年代,研究人员已经开发出了修改神经网络权值和阈值的算法,这些算法对于多层网络来说足够有效,消除了明斯基和Papert所确定的许多限制。这一领域经历了一次复兴。

但从智力上讲,神经网络有些地方并不令人满意。yabo2018体育下载足够的训练可以修改网络的设置,使其能够有效地对数据进行分类,但这些设置意味着什么呢?物体识别器看的是什么图像特征?它是如何将这些特征组合成汽车、房子和咖啡杯的独特视觉特征的?只看单个连接的权重并不能回答这个问题。

近年来,计算机科学家已经开始提出巧妙的的方法推导神经网络采用的分析策略。但在20世纪80年代,网络公司的策略是难以捉摸的。所以在世纪之交,神经网络被支持向量机所取代,支持向量机是机器学习的另一种方法,它基于一些非常干净优雅的数学。

最近神经网络的复兴——深度学习革命——得益于电脑游戏行业。当今视频游戏复杂的图像和快速的节奏要求硬件能够跟上,其结果就是图形处理单元(GPU),它在单个芯片上封装了数千个相对简单的处理核心。没过多久,研究人员就意识到GPU的架构与神经网络非常相似。

现代图形处理器使20世纪60年代的单层网络和20世纪80年代的两到三层网络发展成为今天的10层、15层甚至50层网络。这就是“深度学习”中的“深度”——网络层次的深度。目前,几乎在人工智能研究的每个领域,深度学习都是表现最好的系统。

引擎盖下面

网络的不透明性仍然让理论家感到不安,但在这方面也有了进展。除了指导大脑、思维和机器中心(CBMM)外,博吉奥还领导该中心的研究项目智力理论框架.最近,Poggio和他的CBMM同事发布了一份由三部分组成的神经网络理论研究报告。

第一部分,发表在国际自动化与计算杂志,解决了深度学习网络可以执行的计算范围,以及何时深度网络比浅层网络具有优势。部分两个三个,已经作为CBMM技术报告发布,解决了全局优化或保证网络找到最符合其训练数据的设置以及过拟合等问题,或者是网络对其训练数据的细节过于敏感,以至于无法推广到相同类别的其他实例。

仍然有很多理论问题需要回答,但CBMM研究人员的工作可以帮助确保神经网络最终打破70年来让它们受欢迎和受欢迎的代际循环。

第一个发表评论关于“深度学习人工智能解释:神经网络”

留下你的评论

邮箱地址可选。如果提供,您的电子邮件将不会被公布或共享。