当AI学会了自我批评

科技   2024-09-23 22:18   北京  

刚刚看完了OpenAI o1团队的采访视频完整版视频。一共22分钟,网上一搜就有,我就不贴了。整个视频信息量很大,最让我感到惊叹的是o1这个最新模型,竟然学会了自我批评。

自我批评,这个人类很多时候都不具备的能力,AI竟然已经拥有了。难以想象,在这种自我批评和反思的能力加持下,很快AI超越人类就只是时间问题了。

艾伦研究所的科学家Nathan Lambert认为,自我批评的涌现,是o1最强有力的时刻。

一位研究者说,自己一直在努力提升模型解决数学问题的能力。让他很沮丧的是,每次生成结果后,模型似乎从不质疑自己做错了什么。然而,当训练其中一个早期的o1模型时,他们惊奇地发现,模型在数学测试中的得分忽然有了显著提升。

而且,研究者们可以看到模型的研究过程——它开始自我反思、质疑自己。他惊叹道:我们终于做出了不一样的东西!这种感受极其强烈。那一瞬间,仿佛所有东西都汇聚到了一起。

很多人说o1实现能力突破的关键是思维链。而思维链的关键其实并不是人类的整个思考过程,而是当发现错误的时候,如何纠正思维,如何让结果越来越接近正确答案。简单来说,就是通过自我反思来不断提升结果的准确性。

当模型具备自我批判和反思的能力的时候,意味着它有知识发现和知识增长的能力,新的知识可以重新完善模型,也会注入到模型自我的知识里,AI 就可以实现自我提升(self-improving)的能力。

也就是,此前的AI需要学习大量的人类知识,是一个需要培训的小孩子。而如今的AI已经可以实现自我进化了,是一个可以自我学习的成年人了。

但AI的自我学习和进化是不会停止的,所以,想象一下,用不了多久AI就一定会具备意识。一年前有人就说OpenAI 联合创始人 Ilya Sutskever在「草莓模型」(也就是o1)里发现了一些让人震惊的、可怕的事情。

当时,他发现的东西,很可能就是AI已经学会自我进化了,而且很快将会超越人类。

其实很多AI大佬都认为AI已经具有了意识。比如,Geoffrey Hinton(人工智能教父,被引用次数最多的AI科学家)Ilya Sutskever(被引次数第三多的AI科学家)、Andrej Karpathy等。

甚至有人预言,在2025年,AI一定会具有意识,因为如今模型的行为已经明显表现出感知能力了。

现在看,AI具备意识似乎已经是一个确定性的方向了,差别只有时间而已。所以,AI必须要管控起来。前段时间的联合国大会协商一致通过中国主提的加强人工智能能力建设国际合作决议,140多国参加决议联署。该决议强调人工智能发展应坚持以人为本、智能向善、造福人类的原则。

这么看,我们国家对AI持谨慎态度是非常明智的。发展AI是好事儿,别最后被AI给消灭了就行。

数字进化岛
洞察科技产业,透视全球真相。
 最新文章