Luma推出 Dream Machine 1.5 - 新的人工智能视频生成器

文摘   科技   2024-08-21 07:16   江苏  











01


引言



Luma最近发布了其人工智能视频生成器的升级版本Dream Machine 1.5 ,这距离上次发布仅过去了两个月。新版本具有更好的文本到视频转换、更智能地提示理解、自定义文本渲染和改进的图像到视频功能。

在正式发布之前,互联网上已经流传了几天的DEMO视频,这些视频都非常精彩。今天,我们终于可以一睹 Dream Machine 1.5 的风采,看看它是否不负众望,与竞争对手相比又如何。


闲话少说,让我们开始吧。






02


 什么是Dream Machine?


Dream Machine 是 Luma 开发的一款人工智能视频生成器。该工具可根据文字提示或现有图像创建高质量、逼真的视频。

其主要功能包括:
  • 生成速度快:Dream Machine 是一款速度惊人的视频生成器。它能在 120 秒或更短的时间内生成 120帧。
  • 逼真的动作一致性:先进的建模技术可确保视频高度逼真且无缝一致。

  • 角色的高度一致性:在模拟真实世界物理特征的同时保持人物的完整性,确保视频连贯逼真。

  • 自然的镜头移动:平滑、自然的镜头移动,与每个场景的情感基调完美契合。

这些功能在纸面上看起来很棒,但实际效果如何呢?让我们深入了解 Dream Machine 1.5,看看有哪些变化。





03


 如何访问Dream Machine?


推荐前往 Luma's Dream Machine 页面,免费创建一个账户,网站如下:

网址:https://lumalabs.ai/dream-machine

页面展示如下:

生成视频非常简单,只需在提示词字段中指定要生成视频的描述,然后按回车键即可。视频生成完成后,大家可以选择再延长 5 秒钟,新生成的视频将无缝地接续前一个视频。


由于需求量大,我们暂时将免费用户限制为每天生成4次 。付费用户没有等待时间和每日次数限制。






04


 生成示例


下面是一些使用 Dream Machine 1.5 制作的一些视频。

Prompt: A teddy bear in sunglasses playing electric guitar, dancing and headbanging in the jungle in front of a large beautiful waterfall 


提示:一只戴着墨镜的泰迪熊在美丽的大瀑布前的丛林中弹着电吉他、跳着舞、摇着头

生成的视频如下:


如果你想知道用旧版 Dream Machine 生成的视频是什么样子,下面就是之前版本生成的结果:

使用 Dream Machine 1.5 制作的视频看起来不错,但与使用旧版本制作的视频相比,我并没有发现有太大的改进。事实上,我觉得旧版本的输出效果更吸引人。你怎么看?


我们再来试个例子,提示词如下:

Prompt: An astronaut running through an alley in Rio de Janeiro. 


提示:一名宇航员在里约热内卢的一条小巷中奔跑。

生成的视频如下:

遗憾的是,这段视频并没有达到预期。因为宇航员并没有跑步,而这正是提示词中的重要部分。


当我使用 Runway 的 Gen-3 视频生成器尝试同样的提示时,效果明显好转,宇航员真的如描述的那样在奔跑。





05


  表情作为提示词


有趣的是,Dream Machine 还能很好地理解表情符号。看看这些用单个表情符号提示生成的视频示例吧。

Prompt: 🧜‍♀️ 


提示:🧜‍♀️

生成的视频如下:

Prompt: 🧙‍♂️ 


提示:🧙‍♂️

生成的视频如下:

Prompt: 👩‍🚀 


提示:👩‍🚀

生成的视频如下:






06


文本视频渲染


Dream Machine 1.5 的突出功能之一是文本渲染功能。这项功能可让您直接在视频中加入文字,这在其他人工智能视频生成器中并不常见。

Prompt: “wow” in blue balloons in the sky 


提示:天空中蓝色气球上的 "wow"

生成的视频如下:

平心而论,Luma 的文本渲染能力令人印象深刻。这项功能对于制作带有字幕、标题或其他文本元素的视频特别有用。







07


  总结


最佳人工智能视频生成器的竞争已进入白热化阶段,2024 年无疑是人工智能视频模型的元年。最近,我们看到了许多新平台的出现,如 Kling AI、Runway Gen-3、Vidu,以及现在的 Dream Machine。

这些工具各有特色,但说实话,Dream Machine 1.5 在视频质量方面仍无法与其他工具相提并论,尤其是与 Kling AI 和 Runway Gen-3 相比。虽然文本渲染功能令人印象深刻,但总体而言,它仍有一些不足之处。

如果你正在寻找一款工具来制作下一部人工智能生成的预告片或音乐视频,我希望这篇文章能给你一些有用的启示。





点击上方小卡片关注我




添加个人微信,进专属粉丝群!




AI算法之道
一个专注于深度学习、计算机视觉和自动驾驶感知算法的公众号,涵盖视觉CV、神经网络、模式识别等方面,包括相应的硬件和软件配置,以及开源项目等。
 最新文章