当前位置: 编码机 >> 编码机市场 >> 颜水成amp刘嘉机器学习与认知神经的
文章来源:智源社区
作者
贾伟
编辑
陈彩娴
我们习惯于用自己熟悉的工具来解决面临的问题。
例如,当想要去探索强人工智能的时候,计算机科学家们想到最直接的方式,便是创建知识图谱(计算机科学家所理解的“常识”),从而将常识与深度学习进行融合,来创造一个在他们看来有认知的智能体。
但是这种“认知”与神经科学家们所理解的“认知”是同一个概念吗?
知识图谱+深度学习,或许能够解决人工智能所面临的困境,但显然不是唯一解。
正如智源研究院“认知神经基础”重大方向的首席科学家刘嘉教授所说,科研领域的重大突破往往产生于交叉领域。因为在交叉地带,一个未知的领域,最可能产生新的东西。
因此,不同学科背景的学者,坐在一起,用着彼此可能并不互通的术语,进行探讨,可能会产生各种意向不到的事情。
在智源研究院,作为机器学习的领军人物颜水成,遇到了认知神经科学的领军人物刘嘉。于是,他们相约在一个午后,共同探讨了大量关于人工智能和生物智能的认知神经基础问题。
正如颜水成所说,这些问题可能并不只是代表他自己,可能许多做机器学习的人都或多或少有过类似的疑问,也希望能够从认知神经科学的研究成果中,获取灵感,从而设计更优的算法。刘嘉教授对此一一作答。
交叉,起于思想的碰撞,这只是开始。
03:33颜水成:依图科技CTO,智源“机器学习”重大研究方向首席科学家
刘嘉:清华大学教授,智源“人工智能的认知神经基础”重大研究方向首席科学家
1
GPT-3剖析
颜水成:今天我更多的是以一种小白的身份向刘嘉老师请教认知神经科学的一些问题,这些问题不只代表我自己,可能许多做机器学习的同学都很想知道,也希望能够从认知神经科学的一些研究成果中吸取灵感,从而能够设计出更好的机器学习算法。
我的第一个问题是,从认知神经科学的角度,GPT-3与人脑的思维方式一致吗?
刘嘉:我也看了GPT-3,非常了不起。我觉得可能是深度学习巅峰式的成果。
但我也看到一个报道说,如果问它“蜘蛛有几只眼睛”,它会正确地回答“8只”;而如果问它“脚有几只眼睛”,它会回答“两只”。而人类,尽管大部分人不知道蜘蛛有几只眼睛,但绝对不会出现脚有两只眼睛这样明显的错误。由此可以看出,GTP-3和人的思维,在本质上是不一样的。
GTP-3的推理方式更多的是一种概率上的连接,可能在它训练的数据中,出现了“脚”与“眼睛”的某种关联,它就学习出两者之间一种概率链接,在这个过程中,它并没理解“脚”和“眼睛”是什么。而人类则是先理解后推理。
颜水成:那么你认为,如果将GPT与非常庞大的知识图谱进行融合,这会不会与我们大脑的运行机制越来越像?
刘嘉:肯定会越来越像的。但有一个问题是,知识图谱能够做到什么程度?举个简单的例子,当我们看到一个人不小心踩到一颗钉子,那么知识图谱会产生“他会流血”、“会受伤”,但我们人的第一反应则是自己感到疼,这是一种共情能力,是基于我们对他人心理的一个推理,猜测他现在的感受。
2
System1System2
颜水成:最近大家认为感知的问题已经做得差不多了。Bengio等人提出人工智能将从System1转向System2。我对这方面也做过一些了解,System1大概相当于我们的潜意识,反应比较快,但不需要做推理;而System2相当于显意识,需要一个推理、判断的过程。但我了解的这些只是一些皮毛,你能不能给我们分享一下,大脑内部是否有这样两套不同的系统?这对我们以后研究认知,会非常有价值。
刘嘉:其实Bengio可能受丹尼尔·卡尼曼的《思考,快与慢》的启发。他其实是在说,我们人类有两套系统,一套我们称之为皮层下系统,对应我们脑干等中枢系统;一套是皮层系统,对应我们的大脑皮层。这种结构归因于我们人类的大脑是从低等动物一点点积累起来的。前者比较古老,主要掌管呼吸、心跳等比较初等但与我们生存有密切关系的活动,所以反应比较快,例如我们看到一个老虎出现,它会立刻加强肾上腺素,做出应激反应;而后者,更多的是去理解到底发生了什么事,然后做出推理和判断,例如我们发现原来这个老虎是人扮的,这时皮层系统就会告诉皮层下系统,从而调节原来的紧张。
颜水成:所以,在物理上这是两套完全独立的系统,是吗?
刘嘉:对,完全独立,但是它们之间有交互。
颜水成:我讲System1和System1的时候,喜欢讲开车的例子,这是我亲身体会。如果在一个我们熟悉的路,往往不需要做推理,到了某个地方该怎么打方向盘,自动就完成了。而到了一个相对陌生的路,就需要特别小心,去想怎么打方向盘,比较费时。但有意思的是,熟悉了之后,我又能自动完成了。这可以看成从System1到System2的转换吧,你能不能从神经科学的角度做一个解释。
刘嘉:这是一个特别好的问题。在我们学习的过程中,最开始我们不知道怎么去表征外部的世界,在这种情况下,大脑神经的反应模式基本上就是,让与它相关区域的所有神经元全都活动;但第二次可能就只有40%的神经元活动,因为其他的神经元活动已经没有任何意义了;经过反复的学习之后,最终可能只有4、5个神经元去反应,这就是所谓的SparseCoding。经过SparseCoding之后,系统会集中在一个特定的任务上,变得非常精准且高效。在这个过程中,开始时需要更多的意识参与,然后逐渐减少而变得自动化。
在这个过程中,其实我们还需要一个警觉系统。比如当我们学会走路后,我们根本不去关心应该先迈哪只脚,以及应该迈多远,完全可以一边走路一边脑袋里想着自己的事情。直到我们突然踩了一个坑,这时候我们的警觉系统就开始起作用了,它会快速启动System2,对System1进行干涉,让你保持平衡而不会摔倒。然后你的视觉注意到原来前面是个大坑,于是马上反应过来改变路径。这个警觉系统就在我们大脑内侧,叫“前扣带回”。
3
大脑如何处理视觉信息
颜水成:计算机视觉从神经科学中借鉴了特别多。例如,人类视觉有V1区、V2区、V3区等,不同的区域处理的粒度不同。神经科学中,是怎么验证这个事情的呢?
刘嘉:早在年,两个诺贝尔奖获得者Hubel和Wiesel他们对猫做实验,将细小的探针插入到神经元上去,然后给猫一个刺激,例如点、线以及其他复杂的图形,然后看不同的刺激会引起哪个脑区的兴奋。他们发现V1、V2、V3、V4等脑区,越往后面敏感的图形越复杂。这个研究说明,我们的大脑在处理视觉信息时,是将复杂的图像还原成局部元素,然后再进行合成的。这种方法事实上到现在仍然在用。
猫的刺激实验
此外,他们还做了一系列关于猫的实验。例如在猫刚生下来的时候,把它的眼睛缝上,完全不给它看任何刺激,过一段时间后,再打开它的眼睛,这个时候再记录它大脑的神经元会有什么样的反应;猫出生后,只给它看横条,一直不让它看竖条,然后记录它的神经元会有什么反应等。这种方式叫做“单细胞记录”,现在的神经电生理研究还在用这种方法。
4
关于记忆
颜水成:我们知道,人会经常忘记一些事情,特别是老年人。那么我们的记忆是真的从脑子里完全消失了,还是被打包存储在记忆深处某个地方了?
刘嘉:这两种情况都有。首先,我们不可能记得所有的事情,我们的大部分经历都会被忘掉。目前普遍认为人类记忆有三级加工模型,分别为感觉记忆、短时记忆和长时记忆。如果一个信息不能转化为长时记忆,即引起神经元突出的持久改变(例如相邻神经元突出结构的变化、神经元胶质细胞数量的增加和神经元之间突出连接数量的增加),那么它就会被我们彻底地遗忘掉。
记忆的三级加工理论
另一种遗忘,是说这个记忆还在,但没有找到合适的途径把它提取出来。心理学中曾经有一个研究,他们在做脑外科切除肿瘤的手术时会把病人唤醒,通过微电流刺激相应脑区,来确定切除这块脑区是否会造成严重影响。
据一个研究报道,一位六十多岁的老人在某个脑区受到刺激时,脑海里突然复现出他两三岁时母亲给他唱的摇篮曲。而事实上他的母亲很早就去世了,他从童年期到六十多从来都没有听过这支摇篮曲。这说明,这个信息还在那里,只是没有找到合适的方法把它提前出来。
5
神经元数目
颜水成:我看到一个说法是,人脑神经元的数量从出生之后就不会再增长,是这样吗?
刘嘉:对,我们出生后神经元的总数基本上就不会再变化,变化的是神经突触的数目以及神经元之间的连接。出生时,婴儿大脑皮层突触密度远低于成人;但出生后的几个月内,大脑皮层突触迅速增加,4岁左右,大脑皮层突触的密度会达到顶峰,约为成年人的%。类比人工神经网络的话,你可以理解为一个全连接系统。随后,随着年龄和经验的增长,突触数目会慢慢减少,一些连接就会剪断。但也正是这样,我们反而变得更加聪明。
新生儿神经连接逐渐完善
颜水成:我们所有人的神经元数目可能不一样。会因为神经元数量的多少,影响我们的智力水平不?
刘嘉:不同的人,神经元数目也不同,但人类的智商似乎不受神经元数目的影响,或者至少可以说神经元数目不是决定智商的本质因素。
举例来说,男性的大脑平均而言要比女性重克左右。但从来没有任何证据表明男性会比女性更聪明。从IQ上来讲,两者是一样的。
年宾夕法尼亚州立大学的MadhuraIngalhalikar等人发现男性和女性大脑在神经元连接上有较大差异。
参考链接:Sexdifferencesinthestructuralconnectomeofthehumanbrain,