字节即梦将在Sora发布前上线视频生成模型

时事 2024-11-14 22:05 上海

图片来源：界面

界面新闻记者 | 肖芳

11月14日，界面新闻从多个知情人士处获悉，字节跳动视频生成模型PixelDance将很快在即梦AI上线，面向公众开放使用，具体的上线时间将会早于Sora正式发布的时间。

Runway联合创始人Cristóbal Valenzuela曾在11月9日称，OpenAI计划在大约两周内发布Sora。Cristóbal Valenzuela曝出该消息之前，OpenAI公布了一条联合伦敦艺术家Jon Uriarte创作的短片，似乎是在为Sora的正式发布预热。

这意味着，PixelDance很可能会在最近几天内发布。界面新闻向字节跳动方面求证此事，截至发稿，对方暂未回应。

字节跳动在大模型领域一直动作频频。9月24日，该公司一口气发布了豆包视频生成PixelDance、豆包视频生成Seaweed两款大模型，并通过即梦AI和火山引擎面向创作者和企业客户小范围邀测。据知情人士透露，PixelDance除了即将在即梦AI上线之外，还将于近期在豆包开启内测。

从其此前展示的视频生成效果来看，豆包视频生成模型无论是语义理解能力，多个主体运动的复杂交互画面，还是多镜头切换的内容一致性方面，都表现出不错的效果。

其中一个视频输入是，“特写⼀个⼥⼈的面部，有些⽣⽓，戴上了⼀副墨镜，这时⼀个男⼈从画⾯右侧⾛进来抱住了她。”视频画面显示，其不仅遵循了这个复杂指令，还能够按指令的时序去完成连续的动作，两个主体之间也能比较顺畅地进行交互，且人物表情较为准确传达了指令所描述的情绪。

据界面新闻了解，人物动作是当下视频生成模型共同面临的挑战，即使是Sora在人物动作上做得也不够好。OpenAI在今年年初公布的视频样片显示，Sora还是以运镜和基础动作为主，复杂动作较差，但豆包视频模型生成公布的样片在动作上有了明显提升。

一位多模态大模型科学家对比PixelDance和Sora公布的样片后告诉界面新闻，如果样片效果保真的话，字节跳动的视频生成大模型确实是相当不错。从学术角度或者模型能力角度来说，其肯定达到了Sora的水平，尤其在人物动作上非常棒。

火山引擎总裁谭待此前也透露，豆包视频模型经过剪映、即梦AI等业务场景的持续打磨和迭代，优化了Transformer结构，大幅提升了豆包视频生成的泛化能力。同时，豆包视频生成模型基于DiT架构，让视频在大动态与运镜中自由切换，拥有变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力。在镜头切换时可同时保持主体、风格、氛围的一致性是豆包视频生成模型的技术创新所在。

而从OpenAI近期公布的最新短片来看，Sora也在着重提升其在人物动作上的能力。该短片处理的是多人坐在椅子上飞行的场景，无论是照片质量还是细节处理上，都更接近照片的水准，人物动作也更加自然。

若PixelDance正式面向公众开放，或意味着其在技术上已较为成熟。对于豆包视频生成模型的发布节奏，谭待曾透露，豆包系列大模型并不是按照某个固定的时间计划发布的，有好东西就尽快推出。

“我们的逻辑是推出的产品要质量可靠，有充分的用户反馈，不能是半成品。就像视频和语言模型发布一样，不一定要抢第一，要推出成熟的产品。”谭待说。

未经授权禁止转载

界面新闻

界面新闻是中国具有影响力的原创财经新媒体，只服务于独立思考的人群

最新文章

本田与日产据悉将开始合并谈判

广东拟禁止中小学设置校园商超

知情人士：华为车BU拟于2025年1月1日并入引望

Meta被罚2.51亿欧元

“南大碎尸案”被害人家属起诉张译主演电视剧侵权，出品方回应

连锁健身房们花式自救

库迪就差把店开到瑞幸里

保时捷否认网传裁员相关信息，但收缩已在所难免

饿了么：骑手休息措施已在全国上线

商业航天独角兽东方空间姚颂离职？知情人士回应

江苏将全面放宽落户限制

保时捷回应中国区裁员

汇源称濮阳员工遭当地政府人员殴打，涉事屠宰厂曾为肉羊产业链扶贫项目

爱尔眼科医生诉艾芬诽谤案落锤：维持一审不予受理的裁定

骑手过度跑单将被强制下线？美团：试点中

成都一中校就设置“学霸就餐区”道歉

蜜雪冰城涨价

云南省委原常委、省政府原副省长李石松被“双开”

国务院国资委：把提升中央企业控股上市公司投资价值、强化投资者回报作为一项长期工作来抓

外交部：强烈不满、坚决反对！

赖小民之后第二例，内蒙古“巨贪”李建平涉案超30亿被执行死刑

霍尼韦尔计划分拆航空航天业务，今年前9个月该业务收入114.7亿美元

雅戈尔集团收购银泰百货，值吗？

阿里巴巴：拟74亿元向雅戈尔集团等出售银泰100%股权，预计亏损约93亿元

江西原副省长胡强被公诉：贪腐近20年，曾陷“周公子”炫富风波

11月企业所得税收入同比大涨37%，经济回升动能有望增强

欧洲、南非、东南亚最大储能订单，都被中企拿下了

中国过境免签政策全面放宽优化

汇聚金融活水，助力“丝路电商”扬帆起航——中国银行上海市分行多举措支持“丝路电商”先行区建设

贵州茅台也开始炒债了，还要招聘债券交易员

2025年火车票明天起售

TikTok向美国最高法院提交紧急请求，特朗普会见周受资：我对TikTok有好感

2024年，Goyard“超越”了爱马仕

成都地铁27号线一期即将开通，这份安全科普小贴士请收好！

阿萨德离开叙利亚后首次发表声明

蒙冀铁路公司就“在建包银高铁内蒙古段被举报施工材料不合格”情况展开调查

2024年稳扎稳打，华林证券多领域斩获诸多奖项

内地生去澳门大学读本科只能走高考这条路了

特朗普2.0时代下，全球能源格局将如何演变？

央行：继续做好金融支持融资平台债务风险化解工作，支持房地产市场止跌回稳

鹿晗黄子韬合体直播，顶流转型靠抖音？

淘宝头部女鞋“苏茵茵”开线下店，困难比卖衣服的多

韩国法院即将审理总统弹劾案，之后会如何？

格力与小米再掀专利侵权口水战

统一阿萨姆还是瓶装奶茶的王者

山西省政协主席吴存荣被查，曾称当官不干事也是腐败

雅萌美容仪半个财年只赚28万元

微信分付测试进行中，对标谁？

常州披露8死8伤爆炸事故报告：“厂中厂”出租乱象如何监管？

胖东来对代购下狠手

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉