用 Whisper 翻譯影片字幕,打造無國界視聽享受

隨著 AI 技術的進步,現在我們可以輕鬆利用 Whisper 這類工具,將外語影片自動產生字幕,甚至直接翻譯成中文,讓語言不再是追劇、學習的障礙。這篇文章會以親身經驗,帶你從 Windows 與 Ubuntu 的安裝、字幕產生到翻譯全流程,並分享過程中遇到的問題與解決方法,讓你也能打造屬於自己的無國界視聽體驗。
前置作業
- 安裝 uv
|
|
- 建立虛擬環境
|
|
- 切換到剛建立環境
|
|
deactivate
即可。- 安裝 ffmpeg
|
|
安裝 whisper
|
|
使用 whisper 產生字幕
|
|
到這裡,日文字幕就已經產生完成。
翻譯字幕
前置作業
我自己是用 4070 TI 跑 Local LLM,字幕翻譯工具選擇 tutumomo/srt-subtitle-translator。
相關建置細節這邊不贅述,推薦參考:
-
ollama:
Ollama 在 Windows 下的安装与配置.md如果要讓 Ubuntu 也能連線,記得設定環境變數
OLLAMA_HOST=0.0.0.0
。
另外,模型通常很大,建議設定OLLAMA_MODELS
指定到其他磁碟目錄,避免塞爆系統槽。 -
open-webui(選用):
【Day 03】Ollama UI 本機建置
我因為電腦沒裝 Docker,改用 uv 直接安裝,但它需要 node(npm) 和微軟 C++ 開發 SDK(6GB),所以沒事還是建議用 Docker。open-webui 除錯測試很方便,但帳號信箱請不要亂填,登入會用到。 -
Sakura-14B-Qwen2.5-v1.0:
Q78KG/Sakura-14B-Qwen2.5-v1.0
目前用這個模型翻譯效果很滿意,但官方沒提供 ollama 版本,hugging face 下載 GGUF 不能直接用,好像要額外加工。不過後來發現有人已經上傳到 ollama 上了。
|
|
字幕翻譯
|
|
啟動後,選取 srt 檔案就能直接進行字幕翻譯。
其他參考
-
精准转写:利用 Whisper 处理音视频转文字不完全指南 - 少数派
裡面提到很多特別內容,推薦點進去看。 -
gnehs/subtitle-translator-electron: ↔️ Translate subtitle using ChatGPT
Local LLM 測試時無法使用,所以就放棄。不過網路上還是有很多人用這個資源。 -
yxc0915/srt_translator: srt字幕的批量AI翻译工具
後來找到,UI感覺比較好。 -
jhj0517/Whisper-WebUI: A Web UI for easy subtitle using whisper model.
-
SYSTRAN/faster-whisper: Faster Whisper transcription with CTranslate2
彩蛋
|
|