首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

AI 视频巨头重磅更新！提示词都不用费劲写了，从未有过这样的视频创作方式

科技 2024-11-28 12:09 广东

AI 视频，还能往哪个方向卷？Luma AI 的答案有些与众不同。对手还在练一招一式，它却像风清扬传授独孤九剑，讲究灵活变通，如行云流水，任意所之。

Luma AI 或许不如可灵、Runway 知名，但论实力也在第一梯队，它的视频模型叫作 Dream Machine，今年 6 月发布，最近进行了重磅升级，是推出产品以来声势最大的一次。

其中包括两项更新，一是发布自己的图像模型 Luma Photon，将文字、图像、视频一锅端；二是打造了生成 AI 视频的全新工作流，我们可以像和 ChatGPT 聊天一样，让 AI 生成视频，不用对提示词字斟句酌。

对于生成视频这件事，Dream Machine 首创了一种很新的方式。

指路👉https://dream-machine.lumalabs.ai/

聊着聊着，就把视频给生成了

打开 Dream Machine，我们先看到的是「Board」，可以将它理解为无限的创意画布，在这里，我们使用自然语言，自由地生成图像或者视频。

开始一块 Board，我的提示词写得非常简单：「创建一个日式悬疑少年漫画的角色。」

AI 扩写了我的提示词，一次生成了 4 张图片，但是不行，年代不对。

没关系，再在对话框输入一句，「放在现代背景」。

AI 表示懂了，又生成了 4 张图片，右上这张孤身走暗巷，已经接近我想要的感觉了，但仍然不够，我想要他抬起头，露出五官。

不难，继续微调，忘掉复杂的提示词，和 AI 打直球就可以。

右下这张不错，虽然形象幼态了点。接下来，我想让 AI 生成一个视频，主角在同一条巷子里从白天走到黑夜。

Dream Machine 生成视频的首尾帧功能，就是为这种需求准备的——我们挑好头尾的两张图片，让 AI 补足中间的过程。

那么，我们只需基于满意的图片，让 AI 生成几张白天场景的，沟通方式还是一样的简单粗暴。最终选定的两张图片，细节略有落差，但同框也不违和。

万事俱备，只等生成视频，AI 过渡得还算自然。

看到这里，你应该明白 Dream Machine 和其他视频工具的区别了。

其他视频工具，通常是给你一个填入提示词的文本框，然后让你设置运镜、时长等参数。设置一次，生成一次。

但 Dream Machine 的界面，看起来非常像和聊天机器人交互，底部是输入框，文生图、图生图、图生视频、文生视频，都可以在这里进行。

专业创作者可以继续写传统的提示词，但我们也拥有了「讲人话」的权利，压力给到 AI，Dream Machine 能够理解上下文，帮我们完善提示词，我们可以从一个非常粗糙的想法开始，和它边聊边改边优化。

又因为 Dream Machine 是无限画布形式的，我们可能在一个环节反复生成，素材都会保留下来，不会互相覆盖。

我们的思维，不会局限在一段提示词、一个视频，而是像水一样流淌，更多的想法，可能就在这个过程里产生了。

更可控的图片，更可控的视频

Dream Machine 的全新工作流就像大树的主干，其中一些好玩且实用的功能则像枝桠，相得益彰，才能枝繁叶茂。

起到关键作用的，就是 Dream Machine 最新发布的图像模型 Luma Photon。

图片怎么生成得更符合我们的审美？Dream Machine 支持风格参考和角色参考功能。

先说风格参考，我们可以导入自己的图片，AI 会将风格融入到创作中。官方给出了一个例子：按蒙德里安风格，生成小鸟版的《戴珍珠耳环的少女》。

按这个思路实操一下，基于男性侦探的形象，参考梵高《星月夜》的风格，生成女性侦探。

二次元遇上后印象派，化学反应很奇妙。

角色参考功能，则可以通过一张图片，就实现角色的一致性，让这个角色出现在更多的图片和视频里。

马斯克是行走的素材库，这样的例子太没挑战性了，我决定让甄嬛瞬移到哈利波特的世界，看场景变了之后，她还能不能气场两米八。

结果有些不好评价，看得出来是甄嬛的面容，但娘娘的长相入乡随俗，五官尤其眼睛，变得更像欧美人了。

其实，不另外找图片参考，Dream Machine 也可以让图片、视频不泯然于众人，这时候就要用到「头脑风暴」功能，它会根据你生成的图片，推荐一些艺术家的风格。

就像甄嬛进霍格沃茨这张，我们可以用吉卜力工作室风格二创。宫崎骏说过，AI 是对生命本身的侮辱，但现实是，吉卜力已经是 AI 的一个选项，尽管有形无神。

不仅如此，提示词里的一些关键词，被框选了起来，能用下拉的选项替换，Dream Machine 称之为「概念药丸」，我们不用自己手写提示词，一键更换艺术风格，或者画面元素。

把「吉卜力」换成「新海诚」，把「独角兽」换成「龙」，不过点击几下的功夫。

Luma Photon 模型，基于 Luma 的通用 Transformer 架构构建。通过开发自己的图像模型，Luma AI 可以减少对 Midjourney 等外部图像模型的依赖，同时也能解决文生视频不稳定的问题。

当然，视频是老本行，镜头运动这种可控性功能，Dream Machine 也少不了。

紫禁城的甄嬛，和霍格沃茨的甄嬛，能不能实现丝滑的转场呢？用推拉镜头，画面有动感，人物没有严重的变形，可以打个 80 分。

视觉的思维，讲故事的方式

巧的是，前两天 Runway 也官宣了自己的图像生成模型 Frame，和 Luma 更新是同一个晚上，看演示就知道非常注重审美，目前正逐步向 Gen-3 Alpha 开放资格。

Runway Frame

图片的生成质量、美学高度，以及视觉风格的一致性和可控性，越来越被视觉模型重视了。

这对创作者来说是好事，当我们用 AI 进行平面设计、角色设定时，其实就是在生成一个独特的世界，讲一个独特的故事。

Runway 的 CEO Cristóbal Valenzuela 认为，Runway 不是一家 AI 公司，而是一家媒体和娱乐公司，AI 公司的时代已经结束了。

他不是在唱衰 AI，恰恰相反，他认为 AI 是一种基础设施，真正的革命不在于技术本身，而在于它所实现的东西：新的表达形式、讲述故事的新方式、连接人类体验的新方法。这和 Luma 的进化方向不谋而合。

这次更新之后，Luma AI 首席执行官兼联合创始人 Amit Jain，给 Dream Machine 下了一个很有趣的定义——视觉思维合作伙伴。

概念有些抽象，他的意思其实就是，让生成图片、视频这样的视觉创作，像聊天一样简单、直观。

交互的方式，影响着我们思考的方式。画布式的工作流，能将脑洞可视化，记录所有的创作过程和结果，呈现生成视频的完整思路。

无限画布通常在图像模型较为常见，比如 Recraft 和 Ideogram 的 Canvas。Dream Machine 的画布更加规整，相同提示词生成的素材和变体横向排列，不同的则竖向排列。

边聊边生成边优化的过程，会让人觉得，一个独立的小世界仿佛在画布里诞生。

先让 Dream Machine 用超写实电影 CG 风格，创造一个工业废土背景游戏的主角。

然后用环绕镜头，让主角动起来，并塑造环境的空间感。

接着，我们可以再和 AI 聊，让 AI 继续生成废土世界观里室内室外的各种场景，让 AI 建议我们怎么塑造得更有末日气息。

某种程度上，这个画布，就是我们个人故事的设定集。

当然，Luma AI 的 bug 也很多，包括但不限于，用一张图片实现角色一致性，效果并不理想；积分如流水，图片和视频还是要反复抽卡；图片模型可以生成准确的英文，但中文不行......

但意思传达到位了——少谈参数，以交互为出发点，构建一个 AI 创作工具。

更好的视频模型，不只是有更快的生成速度、更可控的镜头运动、更独特的美学，它应该也提供更好的讲故事的方式，让文字、图像、视频都作为表达想法的工具。

Dream Machine，造梦机器。

只管去创作吧，如同 Luma AI 的这句话：「不需要写复杂的提示词，问就好了。」未来 AI 留给我们的问题，不再关于技术，而是关于我们用它构建什么。

http://mp.weixin.qq.com/s?__biz=MjM5MjAyNDUyMA==&mid=2651030986&idx=1&sn=c705795a4f6ffaa7bb43495b83032fe5

AI 第一新媒体，「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative AI

最新文章

首发体验| AI学会发红包了！国产Agent一句话控制手机电脑，我看到了「摸鱼自由」的未来

字节跳动起诉前实习生并索赔 800 万/华为百万级轿车 48 小时预订量达 2108 台/支付宝上线「AI 帮找工作」功能

Sora 泄露事件背后，艺术家为什么要集体反抗 OpenAI？

AI 视频巨头重磅更新！提示词都不用费劲写了，从未有过这样的视频创作方式

OpenAI 再获软银 15 亿美元投资 / 比亚迪回应要求供应商降价:非强制要求/《王者荣耀》卫冕 10 月全球手游收入冠军

Sora 遭遇严重泄露！艺术家愤怒「复仇」OpenAI，测试渠道全网疯传

史上最薄 iPhone 或全面取消实体SIM卡/预售价百万起，华为发布尊界S800/英伟达展示AI语音模型

Mate 70 发布！华为最强 AI 手机来了，余承东高呼对得起「那四个字」

网易云音乐怒斥 QQ 音乐「剽窃式创新」/华为Mate70系列支持 AI 手势隔空传送/库克来华：没中国就没苹果今天的成就

国行 iPhone 16 实现 AI 自由，三步就够了

微信内测原图原视频 14 天自动清理功能/iPhone17系列仅Pro机型搭载5倍光学变焦/AI助力，陶哲轩宣布等式理论计划成功

AI 聊天机器人让用户去死，大学生吓到崩溃，官方紧急道歉

AI或成华为Mate70最大卖点/苹果Siri大升级，2026年拟超ChatGPT/可口可乐AI广告翻车|Hunt Good周报

刚刚，黄仁勋获港科大荣誉博士，演讲大秀中文，称 AI 可能是人类历史上最重要的技术

你画 AI 猜，这个开源 AI 图像神器，在玩一种很新的 P 图

小米将承担 SU7 自动泊车异常维修费用/麦当劳和支付宝力推「碰一下点餐」/OpenAI 正考虑推出自研浏览器

国产大模型黑马的首个推理模型来了，和 o1 PK后，我发现了AI深度思考的大问题

《黑神话：悟空》获金摇杆奖年度游戏/胖东来回应「员工结婚不许要彩礼」/OpenAI 薪酬曝光，奥特曼年薪仅 55 万

农夫山泉钟睒睒炮轰张一鸣，要求道歉/马斯克：AGI最晚2026年实现，人形机器人超100亿/曝华为鸿蒙智行销售车型明年翻倍

初代星舰最后一飞！首次在太空点燃猛禽发动机，马斯克、特朗普现场观看

iPhone 17 Air 厚度曝光，将是苹果最薄手机/余承东展示华为Mate70 细节/阿里通义千问发布新开源 AI 模型

马斯克与 OpenAI 决裂内幕全曝光！这封邮件让他破防，怒斥「我受够了」

从 GPT-2 开始玩 AI 的博士生，把论文做成了上线 Steam 的独立游戏｜AI 新职人

华为Mate70系列开启预售，预约人数超200万/《黑神话：悟空》获TGA年度游戏提名/英伟达AI芯片被曝存在过热问题，交付推迟

马斯克新 AI 破解千年难题却被紧急喊停？这个「玩笑」怎么让 AI 圈一夜未眠

首发 | Kimi 首个多模态功能体验，AI 一键为音乐生成 MV，月之暗面不再只卷长文本

华为 Mate 70 定档海报提前曝光/AI 疑似证明黎曼猜想，已被叫停/vivo X200 系列更新改善炫光

看着这个 AI 奶奶把骗子耍得团团转，可把我高兴坏了

马斯克再谈约架扎克伯格：随时奉陪/传满血版 o1 下月推出/苹果或将推出 AI 智能家居中控屏 | Hunt Good 周报

Kimi 发布新模型对标 OpenAI o1！月之暗面创始人回应近期争议

给马斯克上了瑞士卷大考后，我终于拿捏这个国产 AI 视频模型的最强新功能

17 岁高中生写了个神级 Prompt，直接把 Claude 强化成了满血 o1

余承东曝Mate70将在本月26日发布/美团哈啰单车在郑州停运，哈啰已恢复/OpenAI 拟打造AI 经济区与中国竞争

AI 最可怕的不是取代人类，是已经让我们不相信看到的是真照片

iPhone 15成Q3全球销量最高智能手机/OpenAICEO辟谣AI发展「撞墙」论/B站上市后首次单季度盈利

OpenAI 最新产品全曝光！奥特曼驳斥 AI 发展撞墙，Ilya 认错，秘密寻找下一个重大突破

苹果广告又翻车，给 AI 产品做创意怎么就不能 Think different

OpenAI 下一代模型遭遇重大瓶颈，前首席科学家透露新技术路线

曝小米AI眼镜将于明年发布，雷军预期出货30万台/马斯克新职务官宣，狗狗币大涨/苹果或将推出 AI 智能家居中控屏

黄仁勋最新演讲：每家公司都将成为 AI 制造商 | 万字实录

OpenAI 总裁宣布回归！结束「最长假期」，将专注重大技术挑战

2025 放假安排公布，增加两天假期 / 李子柒恢复更新，播放量破亿 / 百度发布首款 AI 眼镜

百度发布首款 AI 眼镜！比 Meta 爆款更卷，苹果也在押注的智能眼镜正在爆发

支付宝崩了上热搜，官方致歉/字节豆包发布新模型，AI 一句话 P 图/罗永浩发文怒喷餐厅卖预制菜

人类智力锁死在了 2021，OpenAI CEO 预言 AGI 可在 5 年内实现 | 万字专访实录

独家首测：全新 Mac mini 的 Type-C 接口能供电了？实测后，我们发现了苹果的秘密

OpenAICEO ：AGI将于2025年到来 / iPhone 部分旧款机型降至半价 / 开封夜骑爆火，官方喊话夜骑大学生

黄仁勋两万字访谈实录：希望英伟达拥有 5 万名员工和 1 亿个 AI 助手

传 Sora 两周内推出/OpenAI 元老、北大校友翁荔宣布离职/Google 版「贾维斯」泄露 | Hunt Good 周报

打败 Midjourney，匿名屠榜的 AI 生图黑马，让人人都能设计海报

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉