最近發現到這款相當強大的 AI 開源工具「VideoTrans」,提供三大功能:影片轉字幕、字幕翻譯、語音配音,除了能分開使用外,也提供一鍵執行,意味著你只需要設定好,按一個鍵,就能完成一部影片的字幕 -> 翻譯 -> 配音,即使是沒有 GPU 的人也能使用(不過有 CUDA 速度會快很多)。
「VideoTrans」超強 AI 開源工具,一次完成影片轉字幕後自動翻譯、接著再配音
VideoTrans 是一個開源工具,有新版本的話都會在 GitHub 專案中分享,寫這篇文章時最新版是 v1.23,沒下載過的人,就點擊完整包下載載點,檔案還蠻大的,高達 1.82GB,已內含 base 模型。未來新版本就直接下載升級包即可,不用再重新下載:
下載好後記得解壓縮到英文目錄底下,不要用中文,有可能會出現問題。解壓縮好用後能直接開始使用,雙擊 sp 這個檔案:
功能
VideoTrans 有簡體中文,所以不用擔心會不會看不懂。提供的功能非常多,功能表位於左側,而標準功能模式就是文章一開始提的影片轉字幕、字幕翻譯、翻譯後配音功能
- 標準功能模式
- 識別字幕翻譯
- 視頻識別字幕
- 字幕視頻合併
- 字幕創建配音
- 音視頻轉文字
- 文字合成語音
- 視頻音頻分離
- 音視字幕合併
- 文件格式轉患
- 兩個音頻混流
- 文本字幕翻譯
- 下載油管視頻
- 背景人聲分離
一次完成影片轉字幕後自動翻譯、配音
選擇標準模式後,上方有一些設置,看起來很複雜,但事實上很簡單,首先就是選擇你要轉換的影片,然後設置保存到哪裡:
翻譯引擎預設是微軟,微軟是完全免費使用且不用,所以建議一開始用微軟就好,其他都要設定,像是 Google 需要設置代理地址,ChatGPT 要填入自己得 API Key:
選擇影片的原始語言、以及目標語言,支援多國語言,中文也分成簡體和繁體:
TTS 配音支援 edgeTTS、GPT-SoVITS、clone-voice、openaiTTS、elevenlabsTTS、以及 TTS-API,不知道怎麼選就用 edgeTTS:
設定配音語言,中文也有分成中國發音和台灣發音:
可選擇 faster 模型或 openai 模型,完整包下載下來已經包含 faster base,所以這一個不用另外下載,其他都要:
有 bse、small、medium、large-v2 和 large-v3 五種選項:
模型可以到這個網頁下載:
像這樣,一切都設定好後,按下方的開始處理就能執行。另外如果你有 NVIDIA 顯卡,記得將 CUDA 加速打勾,會比純 CPU 快非常多:
首先將影片轉成字幕,右側會顯示字幕結果:
再來是將字幕翻譯成指定語言,我使用的是阿達某一部 YouTube 影片,轉成英文並配音:
英文翻譯完成後,就會開始執行配音,中間你都不用再操作什麼:
顯示已完成就代表好了,這時打開你儲存的資料夾位置:
就會看到六個檔案,包含已經配音好的影片檔、純配音檔案、翻譯字幕檔、原始字幕檔、以及原始語音檔:
我測試的是阿達這部影片:
用這款工具製作成英文配音影片,我只取前 20 秒:
另外這工具也有提供完整的使用手冊,不知怎麼使用的人建議可先閱讀一下,幫助支持選單中,第一個「文檔/官網」就是:
寫的相當詳細:
這工具的功能實在太多,所以剩下就讓大家自己玩玩看。