西风 发自 凹非寺
量子位 | 公众号 QbitAI
体操表演,emmmm怎么不算呢?
通过视频右上角的水印,此段视频正是由那个一度被认为是“下一代”文生视频的Dream Machine(来自Luma AI)生成的。
大伙儿看后纷纷坐不住,围绕此讨论的,是AI视频领域的一个熟悉的话题:AI是否理解物理规律。
LeCun直接开麦:
视频生成模型不理解基本物理知识。更不用说人体了。
畸变雀食离谱
自Sora问世以来,“AI是否理解物理规律”这个话题就被越来越多人关注。
下面这段Sora生成的“寄居蟹用灯泡当外壳的夜间场面”是个经典的例子,海浪与沙滩的互动非常细腻,寄居蟹腿上的纤毛也活灵活现。
对比真实拍摄的类似场景照片,也就灯泡没有电源不应该亮这一个明显破绽了。
最近Luma AI的Dream Machine也一样,生成的第一视角探废弃房子真实感拉满:
由此,不少人认为Sora、LUMA等的视频生成模型已经理解了简单的物理规律。
然鹅,这次被放出的视频着实有点太离谱。
不仅腿脚乱飞,频频上演大变活人:
就这高难度的空中悬浮翻跟头,也是牛顿都要被气活了的节奏:
以至于网友看后还表示,说恐怖大可不必,说搞笑还差不多。
如此抽象,LeCun直接评论视频生成模型不会懂物理。
他还进一步解释,Sora或者其它视频生成模型都有类似的问题,视频生成技术无疑也肯定会随时间推移而进步。
但:
然鹅,这种反驳并未说服LeCun。
此外,还有不少人持反对意见。
例如,谷歌DeepMind/Brain团队研究员Lucas Beyer就指出:
这就像是展示一个由几年前的Dall·E mini生成的图像,然后称当前的图像生成方式注定失败一样。
毕竟,之前生图模型生成的图像be like:
前段时间SD 3翻车,同样对人体生成效果不好,网友也讨论过这一问题,过于严格的数据审核,可能误删了一些无害的成人图像,影响了模型对人体结构的理解。
One More Thing
除了Luma AI的Dream Machine生成体操视频大翻车,Runway的Gen-3也……
同款三头六臂:
同款空中悬浮绝活: