点击下方卡片,关注「魔方AI空间」公众号
写在前面
随着 可灵 、即梦、清影等国内AI视频软件的推出,不少人都体验了AI文字生视频的快乐,但是也有很多小伙伴发现,为什么自己生成的效果和别人不同,难道通过文字生成视频有什么小技巧吗
下面我来分享下文生视频提示词的基本用法和结构。
一、结构化
当提示词具备清晰的结构时,生成效果最为显著。采用以下结构可以更有效地引导生成期望的结果:
❝简单公式: [镜头动态] + [主体描述] + [动作描述]
❝复杂公式: [镜头动态] + [光影描述] + [主体描述] + [主体运动] + [环境描述] + [主体细节描述]+[其他描述:情绪氛围/美学风格]
我采用可灵为例,如果我们用 无结构提示词 示例: “一只狗在跳。”来展示不同提示词能够起到的效果。
在运气不好的情况下,我们生成的视频效果就会和下图一样毫无动态。
再让我用刚刚的 有结构提示词 扩充,进行示例:
❝镜头跟随(镜头动态)一只活泼的小狗在草地上(主体描述),它欢快地跳跃着(情绪氛围+主体动作)。小狗的毛发在阳光下闪闪发光,显得格外精神(主体细节描述),背景是一片开阔的草地,微风轻轻吹过,草丛随之摇曳(环境描述),真实照片风格(美学风格)
我采用同样参数生成:
可以看到效果好很多,也不会浪费积分去抽卡了,效果更加可控。
通过使用结构化的提示词,可以更精确地传达创作意图,从而获得更符合预期的视频内容。
二、优化描述
除了采用结构化的方式,在优化提示词时,我建议还需要做以下的描述优化,来提升生成效果。
注意强调关键信息
在提示的不同部分重复或强化关键词有助于提高输出的一致性。例如“一只活泼的小狗在草地上欢快地跳来跳去,欢快跳跃着。”其中的“跳来跳去”、“跳跃”就是重复词,这样有助于强调视频的动态效果。
要生成的内容描述尽量详细
尽量让你的提示集中在场景中应该出现的内容上。例如,“背景是一片开阔的草地,微风轻轻吹过,草丛随之摇曳”就会比“背景是草地”的内容会更加精致生动。
善用负面提示词
为了进一步保障视频生成质量,可以在提示词中写明不需要的效果。我们可以在“不希望呈现的内容中”填上不需要出现在视频内的词汇,例如:“动画、模糊、变形、毁容、低质量、拼贴、粒状、标志、抽象、插图、计算机生成、扭曲”等。
三、分镜描述
如何编写一段生动视频提示词呢?视频提示词要具体明确且符合物理规律,使用简单且清晰的语言明确描述要生成的内容。
具体来说,就是采用影视拍摄手法中分镜描述的语言去进行叙述。
当我们在阐述一个画面的时候,需要明确场景中的主体和事件是什么,这是推动整个场景发展的关键因素。
例如下图这个描述“一个中国古代男性在慷慨激昂的发表演讲”。
然后我们需要对场景进行详细的描述,包括地点、人物形象、任务动作等细节。
使用生动的动词来营造动态和戏剧化的氛围,如“活蹦乱跳”、“极速前行”等。例如:“他的手势坚定有力,眼神中闪烁着决心和热情。”
最后在视频提示词创作中,我们还应该加强镜头语言的描述。
镜头语言是通过摄影机的移动或焦距变化来表现画面内容的一种方式。常用的镜头运动包括推、拉、摇、移、升、降等。每种镜头运动都有其特定的作用和效果:
推镜头:逐渐聚焦在某一角色的面部表情上,突出表现该角色的情感变化。 拉镜头:逐渐远离主体,展示环境或背景,形成一种运动的主体不变、静止的背景变化的造型效果。 摇镜头:跟随主体运动的表现方式,可以突出主体的同时,又可以交待主体运动方向、速度、体态及其与环境的关系。
通过以上的讲解,初步了解AI视频应该如何写提示词了吗?
本文转载自知乎: 作者:德里克文 链接:https://zhuanlan.zhihu.com/p/711848787 本文仅用于学术分享,如有侵权,请联系将删文处理!!
技术交流
加入「AIGCmagic社区」群聊,一起交流讨论,涉及 AI视频、AI绘画、Sora技术拆解、数字人、多模态、大模型、传统深度学习、自动驾驶等多个不同方向,可私信或添加微信号:【m_aigc2022】,备注不同方向邀请入群!!
往期文章
• 开源实操 | DiffIR2VR-Zero:模糊视频8K高清修复技术
• 太强了!快手的LivePortrait:肖像动画框架 | 可精准控制眼睛和嘴唇动作
• 商汤重磅推出Vimi——亮相WAIC,成为“镇馆之宝” | 2024世界人工智能大会
• FoleyCrafter:自动为视频配音 | 开源AI配音技术 | AI视频有声时代真的来了
• AI视频进入有声时代 | 谷歌 DeepMind 发布V2A:轻松给AI视频配音
• 变天啦!?| Luma 发布视频生成模型 Dream Machine,直逼电影级效果!
• UniAnimate:可控人体视频生成新框架,跳舞视频生成技术再添一员
• MOFA-Video:图像到视频的可控生成框架,可本地一键部署
• AIGC |「视频生成」系列之Hunyuan-DiT:基于DiT架构的最佳中文实践
• 「文生一切」大模型Lumina-T2X:一个框架整合图像、视频、音频和3D生成(附体验地址)