重磅新闻!字节跳动火山引擎AI创新巡展,发布两款革命性视频生成大模型!

科技   2024-11-11 15:00   福建  


在9月24日,深圳字节跳动旗下的火山引擎在深圳举办的AI创新巡展上,震撼发布了两款视频生成大模型——豆包视频生成-PixelDance和豆包视频生成-Seaweed。这一发布标志着火山引擎正式进军AI视频生成领域,并开始向企业市场开放测试邀请。




字节发布两款视频生成大模型





亮点:


火山引擎总裁谭待在活动现场展示了这两款大模型在语义理解和多个主体运动的复杂交互画面上的卓越效果,同时多镜头切换的内容一致性也达到了业界领先水平。


谭待表示,豆包视频生成模型自落地之日起就致力于商业化探索,应用领域涵盖电商营销、动画教育、城市文旅和微剧本,包括音乐MV、微电影和短剧等。


此外,豆包的两款模型将持续演进,不断解决关键问题,探索更多可能性,以加速拓展AI视频的创作空间和应用落地。



特点:


DiT架构: 

豆包视频生成模型基于DiT架构,通过高效的DiT融合计算单元,能更充分地压缩编码视频与文本,让视频在大动态与运镜中自由切换,拥有变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力。


扩散模型训练方法: 

全新设计的扩散模型训练方法攻克了多镜头切换的一致性难题。


深度优化的Transformer结构:

提升了视频生成的泛化能力。





即梦AI内测




字节跳动透露,新款豆包视频生成模型正在即梦AI内测版小范围测试,未来将逐步开放给所有用户。


剪映和即梦AI市场负责人陈欣然指出,AI能够和创作者深度互动,共同创作,带来很多惊喜和启发,即梦AI希望成为用户最亲密和有智慧的创作伙伴。



大厂纷纷发力




国内AI视频生成激战正酣:头部互联网大厂纷纷发力。


今年2月,OpenAI发布视频大模型Sora开启AI视频新时代,此后半年时间内,国产AI视频大模型也密集诞生。


快手“可灵”:6月份,快手发布视频生成大模型“可灵”,支持通过文生视频、图生视频、视频续写功能,生成最长2分钟、30fps的1080p高分辨率视频。


LumaAI Dream Machine 1.5: 专注于3D内容生成技术的AI初创公司LumaAI发布了Dream Machine 1.5,每120秒能生成120帧画面,还能快速生成5秒钟的电影级别视觉效果视频片段。


阿里云通义万相:9月19日,阿里云CTO周靖人宣布通义万相全面升级,并发布全新视频生成模型,可生成影视级高清视频,应用于影视创作、动画设计、广告设计等领域。


美图奇想大模型(MiracleVision):9月23日,美图公司公布旗下美图奇想大模型视频生成能力全面升级,实现生成能力、生成效率以及模型性能的三重进阶,视频生成时长与画质、流畅性、真实性及可信度等方面提升显著。



我是一位持续探索【+AI】的90后,所有AI内容均自己实操过分享出来。


【目前聚焦】


1️⃣目前聚焦AI:AI写作、AI仿写、AI提示词、coze扣子工作流开发


2️⃣让更多普通人上手使用AI解决问题!


3️⃣探索可复制人人可上手盈利的AI服务


 如果你想购买AI提示词、定制AI工作流,可以咨询!
                    


AI智联万物
保持着对世界的连接,一起探索AI场景和赋能职场,分享超级个体成长之路。
 最新文章