▎扩展定律到底有没有失效？
钛媒体注：央视《对话》始终关注人工智能技术的发展动态。在2024年12月6日-7日举办的钛媒体T-Edge创新大会上，央视《对话》也采访到了一些国内国外的行业大咖，共同探讨：扩展定律到底有没有失效？以下为央视《对话》报道全文：
近期，又一个话题点燃了科技圈的争论，那就是：扩展定律是否正在走向失效？
扩展定律，又叫Scaling Law，是人工智能近五年来非常热门的一个话题，也是这次大模型浪潮的一个非常重要的驱动力。它的主要思想就是我们可以通过把模型参数持续变大，让模型能够容纳更多的知识，从而具备更强的能力。
2024年下半年，业内发现，由于数据和算力达到了一个相对的瓶颈，开始有人担心，扩展定律是不是触到了天花板。彭博社2024年 11 月的报道称，OpenAI 的下一代模型Orion进步不明显，谷歌Gemini 能力未达预期，Anthropic 的 Claude 3.5 Opus 也推迟发布，接踵而来的消息引发科技界对扩展定律即将失效的担忧。OpenAI 联合创始人 Ilya Sutskever 接受路透社采访时更是直言，超大规模语言模型的投资回报率大幅降低，AI 实验室面临的挑战愈发复杂，进一步加深了人们对扩展定律当前困境的思考。
扩展定律到底有没有失效？行业又对此怎么看呢？在钛媒体T-Edge创新大会上，我们采访了一些国内国外的行业大咖，听听他们怎么说。
扩展定律要终结了吗？
DeepAI创始人兼CEO Kevin Baragona：我认为目前尚未有证据表明扩展定律是无效的，它仍然在起作用。放缓的原因可能在于，互联网上所有容易获取的数据都已经被抓取并录入到这些模型中了。扩展定律所预测的是一种数学层面的东西，会产生所谓的精度损失。对于推理模型的训练，你不会将在互联网上找到的一般性数据输入给它，而是输入与推理相关的特定类型的数据。所以扩展定律背后的数学原理仍然有效，但由于数据匮乏，收益可能会递减。
中国工程院院士、之江实验室主任王坚：我觉得Scaling Law一定会失效的，规模到一定程度的时候，它一定会失效，或者它一定会有新的方法出来。但是今天Scaling Law就在失效，可能我就带来一个很大的怀疑。用一个不太恰当的比喻，如果你没有到100万张卡的时候，你先不要说它会失效。你不能说我往太空走了100公里，就宇宙到了尽头了。我想我们对这个事情的边界可能还没有探索到。
面壁智能创始人刘知远：在我看来，这个问题的回答是：既是也不是。现有的数据和计算资源已经不足以支持模型再像过去五年那样，几百倍甚至上千倍地进行模型参数规模的增长了。Scaling law 一定还会持续地发挥作用，但是它会按照一种全新的曲线增长，追求的是用更小参数的模型，去容纳更多模型智能能力，从而让模型能在更多的终端设备上跑得动、跑得快，让大模型能够尽可能地被放在离每个人最近的地方。
大模型下一步卷的是什么？
中国工程院院士、之江实验室主任王坚：我不知道，如果那么简单这个事情也不会是今天这个样子。大模型从来不只是在Scaling Law上，从来都是在不同的领域里边在探索。所以我想今天可能最好的一个事情就是，大家都在探索不同的方法。
面壁智能创始人刘知远：高质量将会是一个非常重要的关键词。我们最近这半年探索了一条新的技术路径，我们把它称为 Densing Law，也叫大模型的能力密度定律。因为过去五年的时间，我们看到了同样的模型能力可以被放到一个更小的参数规模里，这表明模型的知识密度在不断增强。这点跟过去 80 年芯片的摩尔定律所预言的类似：每隔一段时间，单位面积芯片上的电路密度会增加一倍，从而带来计算设备的小型化。每隔一段时间，模型知识密度的增加，也能在算力有限的情况下让更多人能用得上、用得起（大模型）。
DeepAI创始人兼CEO Kevin Baragona：人们最看重的是人工智能的推理能力，下一代模型将不仅仅会是大型语言模型（LLMs），它们会朝着推理方向进行定制化打造。在美国，我们几乎在各个地方都在部署人工智能。人们每天都在使用人工智能，孩子们也在用，每天都在跟人工智能对话。当聪明的人形机器人进入社会，下一代年轻人在某种意义上会将它们当作真正的人来对待。他们或许会试图赋予这些机器人权利之类的东西。这可能会变得非常有意思。
在2024T-EDGE上，波士顿动力机器人创始人Marc Raibert：人形机器人这一概念颇为复杂，仅仅是制造出有着两条胳膊、两条腿，有时还有个头的机器人，并不能让它与人类有多相像。这些机器人还不具备人类的智力，它们需要被告知需要做些什么，它们甚至不具备人类那样的身体能力，也没有其他那些让人之所以成为人的特质，比如道德准则、雄心壮志以及人们对家人的爱。那些基于语言模型做的训练、机器人的物理特性，和人类执行任务之间仍存在很大差距，比如我们能让大脑主动灵活地使用双手。我认为未来懂得将强化学习与传统技术相结合的人，才能极大地提升机器人的能力。
本文授权转载自CCTV对话
（cctv-duihua)
热点视频推荐
经济学家洪灏称要想中国股市今年表现更好，首先房地产要止跌，过去几年房价下跌削弱了人们对经济的信心。
-----------华丽的分割线------------
下载钛媒体App，打开科技，打开财富。
