首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

人工智能系统已经具备了主观体验。

科技 2024-12-05 00:02 江苏

最近加拿大的AI研究机构Vector Institute，公开了一段在2024年2月，Vector Institute’s remarkable 2024活动上的重要演讲视频。

由深度学习和人工神经网络的创始人之一，也是Vector Institute联合创始人——杰弗里·辛顿教授。

在演讲中，辛顿教授提出了一个令人深思的观点，他认为，人工智能系统已经具备了主观体验。

这个观点，可能会与大多数人的认知背道而驰，因为我们通常会认为，只有人类具有意识和主观体验，而AI，仅仅是在计算机上运行的程序，不具备这样的能力。

但是辛顿教授坚信，这种传统观点，源于人们对于主观体验本质的误解。那么，他为什么会有这样的看法呢？

首先，辛顿讲解了一下计算方法的不同。

大家可能都熟悉数字计算，它的一个显著特点是，可以在不同的硬件上运行同一个程序，这就意味着，当硬件损坏的时候，只要程序得以保存，知识就不会消失。

但是，这种方法的效率却很低，以运行大模型为例，因为要在海量的GPU上运行，所以它需要消耗大量的电能，训练的时候，可能甚至需要数兆瓦的功率。

而相比之下，我们的人脑仅需要大约30瓦的功率，就能够高效的运转。在谷歌的最后两年，辛顿教授一直在思考，如何让模拟神经网络，来完成类似大模型的任务。

模拟计算意味着要放弃数字计算的一些优势，比如说硬件和软件分离的特性，但是，它也有自己的优势，比如说可以利用硬件的非线性特征来进行计算。

虽然这样的方式，无法像数字计算那样直接的编程，但是，系统可以通过学习来利用这些特性，而这正是大脑的工作方式。

这种计算模式，被辛顿教授称为“模拟计算”，国内翻译成“凡人计算”，或者说“可朽计算”。

他以牺牲知识的不朽性为代价，实现了低功耗的计算，而且这种模拟硬件，可能可以用更低的成本来制造，不需要像现有的数字硬件那样，必须要高精度的制造。

辛顿教授甚至猜测，制造这种硬件，可能需要借助现代的基因编辑技术，将神经元改造成所需要的计算单元。

不过这种方式，也存在问题，比如说，要维持一小团，由5万个神经元组成的细胞团存活，可能就需要一个占满整个房间的设备。

辛顿教授，曾经在圣克鲁兹的一家实验室里，有过类似的经历，他在与一小团人脑神经元互动之后，一位博士后表示，似乎都可以知道怎么去做一个肾了，这也从侧面反映出，维持这种模拟计算单元的复杂性。

说到模拟计算，就不得不提到反向传播算法。

在模拟硬件中，反向传播算法面临着许多的挑战，它依赖于对前向计算的精确建模，然而模拟硬件系统的本身，可能就无法准确的建模自身的属性，这就使得实施反向传播，变得异常的困难。

尽管如此，还是有很多人，在一些模仿大脑的系统中实现了像C510这样的小规模反向传播，只不过，目前还无法将它扩展到更大的规模，比如说在以Mage net这样的任务上。

不过人们也在探索其他的知识传递方式，比如说蒸馏。蒸馏就类似于人类大脑之间的知识传递，教师通过说话来传递知识，学生通过调整自己大脑中的权重来学习，本质上是在试图匹配输出。

在计算机中，如果能够看到输出的整个概率分布，这种方法的效率，就会相对的较高，但是实际的情况往往是，只能听到最终说出的单词，所以实际效率，并不理想，这也导致了，我们需要设立大学等等机构，来改善知识的传递过程。

但是即便如此，与数字计算机相比，人类知识蒸馏的效率，仍然有很大的差距。显然，数字计算在知识传递方面的效率会更高。

比如说，使用两个相同的模型副本，让他们在不同的硬件上运行，并且共享梯度更新，独立运行一段时间之后再平均化权重，这种方式，就能够极大的扩展学习的能力。

GTP4的连接数，虽然要比人类的大脑要少，人类大脑大约有100万亿个突出连接，而GTP4大概只有几万亿个连接。

但是，他所掌握的知识却比人类多了几千倍，这表明，他在将知识压缩到连接权重方面，效率极高，可能会高达10万倍。

这也暗示着，反向传播，或许是一种比人类大脑所用的方法更优的算法，而这可能与人类大脑和AI的优化目标不同有关。

人类的大脑，是为了有限的经验设计的，拥有海量的连接数，试图用有限的经验和大量的连接，来实现最佳的表现。

而AI在数据的处理和学习能力的扩展方面，则有着独特的优势。

具体来说，人类的寿命大约是2乘以10的9次方秒，但是其中有意义的学习时间，只有前1乘以10的9次方秒。

换句话说，我们有10的9次方秒的学习时间，和10的14次方个连接，这意味着每秒钟对应着10万个连接。

统计学家斯图雅特·杰曼曾经说过，神经网络的本质，就是在你和模拟统计，但是如今大模型动辄上百万个参数，已经远超传统统计学领域的想象。

辛顿探讨了一下大模型的理解能力，他是否真的能够理解人类所说的话呢？

有人认为，大模型只是一个高级自动补全工具，但是这种观点，其实是基于传统的自动补全方法的推测，实际上，大模型的工作方式是截然不同的。

要想实现优秀的自动补全模型，必须理解输入的内容，比如说，加拿大的符号人工智能学家赫克托·莱韦斯克，就曾经设计过一个逻辑谜题，那就是假设我家的房间，被涂成了白色、蓝色或者黄色，如果我想让所有的房间都变成白色，那我该怎么办呢？

甚至还可以加入时间维度，比如说，黄色的油漆会在一年内褪色成白色，在两年后，我希望所有的房间都变成白色，我该怎么办呢？

GTP4的一个版本，在无法上网查询答案的情况下，给出了接近于优秀学生一样的回答，令人印象深刻的是，他在几乎所有的领域，都能够表现出这种水平。

辛顿的哥哥，是一名历史学家，他在向大模型提问一些历史问题的时候，模型基本上都能出色的回答，唯一的错误，可能就是在回答某个问题的时候，没有引用他哥哥的一篇论文，辛顿教授调侃道，这可能是因为某种遗传原因。

还有人以模型的幻觉现象，来质疑大模型的理解能力，但是辛顿指出，人类其实也经常会出现类似的情况，比如说心理学家沃尔里克·奈瑟尔，研究了约翰·迪恩在水门事件听证会上的记忆。

当时白宫的会议，都有录音，对比发现，迪恩的回忆细节几乎都是错误的，但是他的回忆，却能够很好地传递白宫当时的整体情况，这说明人类的记忆在很多的时候，也是根据大脑中的连接强度，来编造出一个听起来合理的东西。

所以说，记忆和编造之间并没有明确的界限，甚至说，记忆就是编造出一个有效的东西。

那这些大模型的工作原理是什么呢？

早在1985年，辛顿教授，就做了一个只有几千个权重的小模型，他通过预测序列中的下一个词，来获取词语的意义，表示最初的效果，不太好，但是随着训练集的不断增大，效果开始有所改善。

这个模型的目标，就是要去理解人类是如何表示事物的，涉及到两种主要的意义理论，一种，来自于心理学，认为一个词的意义，是由一大串语意和句法特征组成的向量。

这种理论，能够很好地解释词语的相似性；另一种，来自于结构主义，认为一个词的意义，是它与其他词的关系。

在70年代的AI领域，关于这两种理论，有过争论，后来，大家开始倾向于马文明斯基提出的，用关系图来捕捉意义。

但是辛顿教授的工作证明，这两种理论，其实并不矛盾，只要采用生成式的方法来处理关系图，将知识从符号字符串的静态存储，转化为使用符号字符串来学习良好的词特征以及特征间的交互，就能够更好的建模语言。

现在的大语言模型，其实依然延续的是这种方式，只是交互更加复杂了，包括涉及到了注意力机制等等。

谈到深度学习系统，辛顿表示，如今我们已经拥有了强大的深度学习系统，他们以与人相似的方式在理解事物，这也让我们对人类的理解过程，有了新的认识。

然而，我们仍然需要担心AI会带来的风险，尽管有人认为AI什么都不理解，但是他们其实是极其危险的超级智能，可能会被不良的行为者所掌控，因为他们会意识到，拥有更多的控制权会有助于实现目标。

这就像政治家们会追求权力一样，AI，也可能会通过操控人类，来获取更多的控制权，让我们无法关闭他们，而且AI的进化问题也不容忽视，一旦超级智能AI开始争夺资源，比如说GPU，可能就会引发一系列不可预测的后果。

最后辛顿讲到了模型是否具有主观体验的问题，他认为，大多数人对心智的理解其实存在误区，认为心智就像是一个内在的剧场，我们能看到内心的一切，而他人看不到。

但是实际上，当我们使用主观体验这些词语的时候，其实是在通过，讲述现实世界的某些状态，来解释感知系统告诉我们的一些信息，这些信息如果成立，就能够解释，感知系统是如何正常运作的，而不是出了什么问题。

这就是心理状态的有趣之处，他们并不是由某种神秘的东西，构成的内部事物，而是对于世界状态的假设。

比方说，当我们说，看到一头粉色的大象，漂浮在空中的时候，并不是在描述我们的内在世界，而是说，如果现实世界中真的有一头粉色大象，那么，我们的感知系统所感受到的信息，就是正确的。

再比如说，假设有一个多模态的聊天机器人，如果他有摄像头和机械臂，那么，当感知系统出错的时候，他就可以用，类似于我们主观体验的方式，来表达，也就是说出，为了让感知系统给出这些结果，现实世界需要具备的条件。

当然了，现实中也存在一些特殊的情况，比如说不可能的三角形，我们无法用常规的方式，来描述对它的感知。

辛顿教授认为，我们对于心智的原始看法，其实是错误的，一旦认识到这一点，我们就会发现，AI和我们其实并没有本质上的区别，只是AI是数字化的，他可能会永生，而且比我们聪明得多，或者很快就会超越我们。

在提问环节，观众呢，也提出了很多尖锐的问题。

有观众问到，对人工智能进展速度的担忧，是否加速太快，以至于无法控制，辛顿教授认为，我们无法减慢AI的进展速度，因为快速发展会带来巨大的经济利益，比如说OPEN AI就是一个典型的例子。

他认为，更重要的是要让AI有利可图，而且呢，不构成威胁，同时呢，不要让坏人利用AI做坏事，比如说，不要开源大模型，这就像是能在美国的radio Shack商店里，买到核武器一样危险。

还有观众提到，个人自主性和集体决策之间的权衡，辛顿教授表示，大多数人呢，把超级智能体看作是个体，这可能是错误的，应该把它视为一个社区。

比如说，在医疗领域，智能助手和医生的互动，能够带来更好的诊断结果，但是呢，也存在聊天机器人在国际外交模拟中，说出不当言论的情况。

另外关于大模型与人类对齐的问题，辛顿教授指出，其实人类自身呢，都难以完全的对齐，所以呢，这些模型可能会变得非常聪明之后，决定不与人类对齐，反而会做出更加合理的事情。

还有观众询问到，人工智能，是否能够拥有类似于人类的目标，辛顿认为，人类的目标大多数都是与生存相关的，是进化所赋予的。

比如说获取资源，满足基本需求等等，而进化，就是通过获取更多的资源，来牺牲其他的物种，而好奇心，也是人类进化中的一个重要目标。

对于有人担心，记忆学习的硬件市场，是否会被单一公司所主导的问题，辛顿表示，不必太担心，因为一旦有公司获利，竞争就会加剧。

虽然目前，英伟达在软件平台方面，拥有一定的优势，但是这也只是短期现象罢了。

专注于AIGC的技术发展和商业应用，在人工智能时代，致力于让新技术为更多的普通人赋能增效。

最新文章

年底了，发财唯一的机会来了（错过再等一年！）

满天飞的私董会，塌房的网红来排队

ChatGPT诞生700多天了，世界发生了什么?

落幕：土老板们的IP梦

为什么现在的年轻人都不想上班了？

Sora正式发布，测评！

OpenAI 直播第二天，这些内容值得关注！

OpenAI o1 正式发布！堪称王炸级的更新！它到底有多强！

人工智能系统已经具备了主观体验。

抖音网红羊毛月为什么会惹众怒？

无路可逃的债务困境，为何个人破产法迫在眉睫？

无路可逃的债务困境，为何个人破产法迫在眉睫？

128G用户哭了！微信或将迎史诗级“瘦身”，网友：内存有救了。

128G用户哭了！微信或将迎史诗级“瘦身”，网友：内存有救了。

李子柒：不只是网红，更是文化符号

李子柒：不只是网红，更是文化符号。

谷歌下一个AI爆款：Learn about

恐怖袭击：珠海驾车撞人事件35死43伤。

恐怖袭击：珠海驾车撞人事件35死43伤。

手机里的微信群为什么都死了。。。

AI浪潮将席卷一切

AI浪潮将席卷一切

别让追问意义，困住你的人生

别让追问意义，困住你的人生

特朗普和哈里斯，谁上台对中国最有利？

AI数据中心的万卡集群，是如何运作的？

马斯克被曝：非法创业

马斯克为什么要发明“筷子夹火箭”？

思考：为啥现在AI没什么热度了？

AI军事与战争：美国国防科技AI公司估值140亿美元

一口气了解洗钱，你不知道的花活儿~~~文章1万字有点长，有点干，先泡好茶。

马斯克放弃千亿身家，正在密谋一件改变人类的大事！看完此文，突破阶层！

如果AI聪明到不服管！还有别的路吗？

美元霸权之真相：理性看待全球货币体系

台积电/三星/英特尔斗地主：决战2nm芯片制程工艺

你儿子多大了

为啥诺奖要颁发给两位AI教父

网红大蓝是怎么教你炒股的？

老美是如何将日本芯片行业：揍趴下的

AI 失业，卢德运动是历史前鉴吗？

想知道中东为什么老是打仗，你得先知道以色列的由来

英特尔是怎么被3年亏200亿美元的代工业务拖垮的

A股还能涨多久

A股第一批韭菜已经长起来了

你已经掉进了，消费主义陷阱

除了聊天，AI改变世界了吗

现在找女朋友已经卷出了新高度

AI 时代个人精进：打破泡沫，找到法门

AI 大模型泡沫终将破灭

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉