Anthropic创始人揭秘:AI模型训练后才是“魔法”真正开始的地方

文摘   2024-11-12 17:50   广东  

点击查看完整访谈内容:

5万字访谈,Anthropic的CEO:AI离人类智慧还有多久?2027年或将见分晓!


Dario Amodei分享了AI训练后期的“秘密调教”——也就是模型在预训练后,通过微调、人类反馈等手段进行深度优化,让它更懂人类、更聪明。

训练后的“魔法配方”是什么?

Dario解释说,其实让模型更智能、更贴近人类需求的秘诀,并不在某种“神秘算法”。更多时候,这些进步靠的是“务实”的手段,比如更长的训练时间、更高质量的数据筛选和反馈。这有点像造飞机,不光要有图纸,还要在设计和制作过程中反复打磨细节。

为什么RLHF(人类反馈的强化学习)这么有效?

Dario认为,RLHF的核心优势在于让AI更懂人类的表达和偏好。这种训练方式让模型生成的回答更“像人话”,而不是冷冰冰的数据处理。他把它比作“弥合人类和模型之间的理解差距”,就像生活中一些聪明人,因为沟通问题可能让人听不懂,AI也是如此——RLHF的作用就是让它变得更会沟通。

未来的方向:AI训练成本与智能化反馈

对于未来的AI训练,Dario提到,现在预训练还是最烧钱的,但未来可能训练后的成本会逐渐增加。他预测,随着AI系统越来越复杂,仅靠人类反馈已经不够用了。未来可能会依赖更智能的自我监督方式,比如AI之间的“辩论”或“自我放大”机制,来降低对人类参与的需求。

简单来说,Dario认为,AI训练后的微调,才是让它真正“懂人话”的关键。而未来要想让AI更快成长,还得依靠更智能的自我训练方式,逐步减少对人类的依赖,让AI既高效又有温度。




关注《森林聊AI商业》公众号


了解 AI 如何塑造商业的未来




森林聊AI商业
每日一起了解,AI如何改变科技世界
 最新文章