速读:分享一款免费的视频翻译配音工具。
喜欢美剧、日剧、韩剧韩综的朋友,应该都会知道字幕组这个伟大的存在,追剧追番的路上少不了这些组织的帮助。今天分享一款AI工具,可以不用催更字幕组大人了,自己电脑上就可以完成视频翻译配音字幕。
这款工具叫pyVideoTrans,是一个开源的视频翻译配音工具(开源协议GPL-v3),可将一种语言发音的视频,翻译为另一种语言发音的视频,并嵌入该语言字幕。比如有一个英文电影,发音是英文,没有英文字幕,也没有中文字幕,使用这个工具处理后,可以转成带中文字幕,并且带有中文配音的电影。
因为是免费开源软件,这个工具在个性化定制和扩展性方面也做得非常自由。除了核心的视频翻译配音功能外,还提供了一系列附带工具,比如:
语音识别文字:可将视频或者音频中的声音识别为文字,并导出为字幕文件。
音频视频分离:可将视频分离为一个无声视频文件和一个音频文件
文字字幕翻译:可将文字或srt字幕文件,翻译为其他语言的文字或字幕
视频字幕合并:可将字幕文件嵌入到视频中
音视字幕合并:可将视频文件、音频文件、字幕文件三者合成为一个文件
文字合成语音:可将任意文字或srt文件,合成为一个音频文件。
人声背景分离:可将视频里的人类声音和其他声音分开为2个音频文件
下载油管视频:可在线下载Youtube视频
工具目前支持的翻译渠道非常多,包括Microsoft微软翻译、Google翻译、百度翻译、腾讯翻译、DeepL翻译、ChatGPT翻译、AzureGPT翻译、Gemini Pro翻译、DeepLx翻译、OTT离线翻译、FreeGoogle翻译、FreeChatGPT翻译等,并且通过API方式不断支持更多的在线和离线翻译渠道,比如最近非常火的ChatTTS也能完美支持。
工具的自动化流程原理是这样的:将原始视频先使用 ffmpeg 分离出音频文件和无声mp4,然后利用 openai-whisper/faster-whisper模型识别出音频中的人声,并保存为srt字幕,接着将srt字幕翻译为目标语言并保存为srt字幕文件,再将翻译结果合成为配音音频文件。接着将配音音频文件、字幕srt文件、原无声mp4合并为一个视频文件,即完成翻译。很啰嗦,一张官网图就清楚了:
工具使用流程
项目网址:https://github.com/jianchang512/pyvideotrans
解压后双击sp.exe即可打开使用。
工具默认已经内置了tiny模型可以直接使用,这是最小最快的模型,同时也是最不精确的模型,如果需要其他模型来提高效果,可以去以下页面下载:https://github.com/jianchang512/stt/releases/tag/0.0
双击 sp.exe 打开软件,默认左侧选中的第一个是简单新手模式,方便新手用户快速体验使用,大部分选项已默认设置。当然也可以选择标准功能模式,实现高度自定义,完整的进行视频翻译+配音+嵌入字幕整个流程,左侧其他按钮其实都是该功能的拆分,或者其他简单辅助功能。
标准功能模式可自定义的选项更多:
关于软件的使用问题和更多功能演示可以到以下页面查看https://pyvideotrans.com/guide
目前该工具还在持续维护和优化,自己去试试吧。
今天先分享这些,【恶人笔记】只分享好的东西,有什么需求可以后台留言,不定时更新~~