利用大模型,一键生成短视频,看看MoneyPrinterTurbo这个宝藏工具

百科   科技   2024-03-28 11:53   北京  
速读:分享一款自动生成短视频工具。

虽然Sora的话题很火,但目前开放能使用的超现实视频生成技术还都不太理想,包括Runway、Pika之类的文本到视频工具还无法满足平时短视频生产需要。最近Github上有一个比较好的项目,就是基于MoneyPrinter项目优化完善后的MoneyPrinterTurbo项目。使用这个项目工具,只需提供一个视频【主题】或一组【关键词】 ,就可以全自动生成视频文案、视频素材、视频字幕、视频背景音乐,最后合成一个或多个高清短视频。

这个工具有以下功能特性
  • 完整的 MVC架构,代码 结构清晰,易于维护,支持API和Web界面。

  • 支持视频文案 AI自动生成,也可以自定义文案。

  • 支持多种 高清视频 尺寸。

  • 竖屏 9:16,1080x1920;横屏 16:9,1920x1080。

  • 支持 批量视频生成,可以一次生成多个视频,然后选择一个最满意的。

  • 支持 视频片段时长设置,方便调节素材切换频率。

  • 支持 中文 和 英文 视频文案。

  • 支持 多种语音 合成。

  • 支持 字幕生成,可以调整 字体、位置、颜色、大小,同时支持字幕描边设置。

  • 支持 背景音乐,随机或者指定音乐文件,可设置背景音乐音量。

  • 视频素材来源 高清,而且 无版权。

  • 支持 OpenAI、moonshot、Azure、gpt4free、one-api 等多种模型接入。
另外项目后期还有以下完善计划
  • GPT-SoVITS 配音支持
  • 优化语音合成,利用大模型,使其合成的声音,更加自然,情绪更加丰富。
  • 增加视频转场效果,使其看起来更加的流畅。
  • 优化视频素材的匹配度。
  • OLLAMA 支持。

工作原理

这个自动生成工具,其实是把短视频的主题分解、素材准备和视频合成等流程全自动化了。具体说就是先借助大模型工具分解短视频主题,通过分解后的【关键词】生成短视频文案,同时根据关键词到无版权素材网站搜索相关视频片段,然后借助tts工具实现文案配音生成,借助openai的fast-whisper实现视频语音识别和字幕生成,借助MoviePy工具实现视频的剪辑合成等工作。过程中使用的背景音乐、视频都是已有素材,并非大模型动态生成的。(类似于剪映的AI生成视频功能)

安装使用(以windows环境为例,其他系统环境类似。工具安装稍有门槛,需要外网环境,如果不想折腾可以直接使用文后提供的同款在线平台)

1.下载项目,(建议)使用Conda创建环境并安装依赖

git clone https://github.com/harry0703/MoneyPrinterTurbo.git
cd MoneyPrinterTurbo
conda create -n MoneyPrinterTurbo python=3.10
conda activate MoneyPrinterTurbo
pip install -r requirements.txt

2.安装ImageMagick注意不要修改安装路径,下载地址https://imagemagick.org/archive/binaries/ImageMagick-7.1.1-29-Q16-x64-static.exe

3.修改配置文件将config.example.toml文件复制并命名为 config.toml,按照config.toml文件中的说明,配置好 pexels_api_keys 和 llm_provider,并根据 llm_provider 对应的服务商,配置相关的 API Key。

4.配置大模型:如果要使用 GPT-4.0 或 GPT-3.5(前提是能够访问外网),需要有 OpenAI 的 API Key,如果没有,可以将 llm_provider 设置为 g4f(不一定好用)。或者可以使用 月之暗面 的大模型。注册就送 15元体验金,可以对话1500次左右。然后设置 llm_provider="moonshot" 和 moonshot_api_key 。

5.启动web界面MoneyPrinterTurbo 项目根目录下执行webui.bat命令启动web界面,启动后会自动打开浏览器,即可使用MoneyPrinterTurbo工具。
该项目的部署和使用有一定的门槛,不能自己部署的也可以使用录咖网站基于该项目提供的免费AI视频生成器服务,可以直接在线免费使用中文版:https://reccloud.cn,英文版:https://reccloud.com。
关于项目的更多信息和生成视频的demo可以访问项目网站了解:https://github.com/harry0703/MoneyPrinterTurbo
小结:
这个工具把短视频生成的流程进行了自动化,因为采集素材的网站来源有限,无版权素材内容比较单一,所以直接生成的短视频效果可能不够理想。但因为整个自动化流程已经比较完善,所以如果想进行生产化制作,可以在素材库方面自己进行优化和改造。
今天先分享这些,【恶人笔记】只分享好人的东西,有什么需求可以后台留言,不定时更新~~

恶人笔记
恶人不是坏人
 最新文章