虽然Sora的话题很火,但目前开放能使用的超现实视频生成技术还都不太理想,包括Runway、Pika之类的文本到视频工具还无法满足平时短视频生产需要。最近Github上有一个比较好的项目,就是基于MoneyPrinter项目优化完善后的MoneyPrinterTurbo项目。使用这个项目工具,只需提供一个视频【主题】或一组【关键词】 ,就可以全自动生成视频文案、视频素材、视频字幕、视频背景音乐,最后合成一个或多个高清短视频。
完整的 MVC架构,代码 结构清晰,易于维护,支持API和Web界面。
支持视频文案 AI自动生成,也可以自定义文案。
支持多种 高清视频 尺寸。
竖屏 9:16,1080x1920;横屏 16:9,1920x1080。
支持 批量视频生成,可以一次生成多个视频,然后选择一个最满意的。
支持 视频片段时长设置,方便调节素材切换频率。
支持 中文 和 英文 视频文案。
支持 多种语音 合成。
支持 字幕生成,可以调整 字体、位置、颜色、大小,同时支持字幕描边设置。
支持 背景音乐,随机或者指定音乐文件,可设置背景音乐音量。
视频素材来源 高清,而且 无版权。
支持 OpenAI、moonshot、Azure、gpt4free、one-api 等多种模型接入。
GPT-SoVITS 配音支持 优化语音合成,利用大模型,使其合成的声音,更加自然,情绪更加丰富。 增加视频转场效果,使其看起来更加的流畅。 优化视频素材的匹配度。 OLLAMA 支持。
工作原理:
这个自动生成工具,其实是把短视频的主题分解、素材准备和视频合成等流程全自动化了。具体说就是先借助大模型工具分解短视频主题,通过分解后的【关键词】生成短视频文案,同时根据关键词到无版权素材网站搜索相关视频片段,然后借助tts工具实现文案配音生成,借助openai的fast-whisper实现视频语音识别和字幕生成,借助MoviePy工具实现视频的剪辑合成等工作。过程中使用的背景音乐、视频都是已有素材,并非大模型动态生成的。(类似于剪映的AI生成视频功能)
安装使用(以windows环境为例,其他系统环境类似。工具安装稍有门槛,需要外网环境,如果不想折腾可以直接使用文后提供的同款在线平台)
git clone https://github.com/harry0703/MoneyPrinterTurbo.git
cd MoneyPrinterTurbo
conda create -n MoneyPrinterTurbo python=3.10
conda activate MoneyPrinterTurbo
pip install -r requirements.txt
2.安装ImageMagick,注意不要修改安装路径,下载地址https://imagemagick.org/archive/binaries/ImageMagick-7.1.1-29-Q16-x64-static.exe
3.修改配置文件:将config.example.toml文件复制并命名为 config.toml,按照config.toml文件中的说明,配置好 pexels_api_keys 和 llm_provider,并根据 llm_provider 对应的服务商,配置相关的 API Key。
4.配置大模型:如果要使用 GPT-4.0 或 GPT-3.5(前提是能够访问外网),需要有 OpenAI 的 API Key,如果没有,可以将 llm_provider 设置为 g4f(不一定好用)。或者可以使用 月之暗面 的大模型。注册就送 15元体验金,可以对话1500次左右。然后设置 llm_provider="moonshot" 和 moonshot_api_key 。