一键视频翻译 + 配音 + 字幕,开源神器!

公众号关注 “GitHub 宝典”

设为 “星标”,每天带你逛 GitHub!

 

20240928130820482

如今,观看多语言无字幕的视频终于不再是门槛了!

一部英文电影,一部日本动漫,通过 AI 工具,能够瞬间翻译成中文字幕,甚至还能克隆原视频音色进行中文配音。

今天,就给大家推荐 GitHub 上一款开源且强大的视频多语言 AI 配音/翻译工具:Linly-Dubbing

20240928130820259

GitHub:https://github.com/Kedreamix/Linly-Dubbing

它能够一键自动下载全平台视频,对视频识别语音进行多语言字幕翻译,甚至还可以对原视频进行人声分离。

然后对克隆视频原语音的音色,再重新中文配音以及对口型匹配,最后对视频进行合成,全过程自动化,一键完成。

项目特点

  • 多语言支持: 支持中文及多种其他语言的配音和字幕翻译,满足国际化需求。

  • AI 智能语音识别: 使用 WhisperX/FunASR 进行语音识别,提供精确的语音到文本转换和说话者识别。

  • 大型语言模型翻译: 使用大语言模型(如GPT),快速且准确地进行翻译,确保专业性和自然性。

  • AI 声音克隆: 使用 GPT-SoVITS,对原视频配音进行克隆生成高度相似的语音,保持情感和语调的连贯性。

  • 数字人对口型技术: 通过对口型技术 Linly-Talker,使配音与视频画面高度契合,提升真实性和互动性。

  • 自动下载视频: 利用 yt-dlp 强大的开源命令行工具,一键自动下载几乎全平台视频。

安装指南

官方在 GitHub 上有给出详细的安装与配置步骤,可以一步一步按要求执行命令进行部署。

详细文档:https://github.com/Kedreamix/Linly-Dubbing

在启动程序前,会下载所需要的模型,如 Qwen、XTTSv2、CosyVoice、faster-whisper-large-v3 等,时间可能会稍微有点久,耐心等待下。

另外,作者还详细介绍了该工具技术实现上的一些细节,如果你是一名技术开发人员,值得借鉴学习。

演示示例

最后

以上,就是关于 Linly-Dubbing 工具的介绍。

通过整合目前最新的 AI 技术,为我们提供无缝、高质量的多语言视频配音和翻译服务。

可用在对国际教育、全球娱乐等内容做本地化,说不定也是一款流量变现神器!

文中所提到的所有开源项目与工具,已收录至 GitHubDaily 的开源项目列表中。

该列表包含了 GitHub 上诸多高质量、有趣实用的开源技术教程、开发者工具、编程网站等内容。

从 2015 年至今,累计分享 3500+ 个开源项目,Star 增长 24000+,有需要的,可访问下方 GitHub 地址自取:

GitHub:https://github.com/GitHubDaily/GitHubDaily

20240928130821744

好了,今天的分享到此结束,感谢大家抽空阅读,我们下期再见,Respect!

 

暂无介绍....

延伸阅读:

如何在阿里云服务器上安装爱快软路由系统

众所周知,爱快的软路由系统做的还是比较好的,我个人来说,公司和家里都在用,还有很多很多不可描述的功能,最近闲置了几台阿里...

admin
2024年10月26日
免费文字转语音在线支持318种声音和74种语言

2 天 2024-10-24 12-42-542461×1348 243 KB  一款免费的文本转语...

admin
2024年10月26日
GitHub 中文化插件

经常逛github的MJJ们也许有些大佬英文很好,但也有些英文一般的,每次都全网页翻译也不方便,安装这个油猴插件,可以汉...

admin
2024年10月26日
让电子书变身有声书-开启你的有声阅读之旅

电子书的普及使得阅读变得更加便捷。然而,有时我们希望在开车、健身或日常家务时也能“阅读”这些书籍。此时,ebook2au...

admin
2024年10月16日
宝塔部署NodeJS项目

有朋友咨询,刚接触服务器,我想部署多个Nodejs项目到服务器,到底该如何操作,借此机会,一起来学习一下。一、上传文件二...

admin
2024年10月16日