最新消息:

使用Whisper+ChatGPT提升影视字幕翻译效率

产品 admin 1225浏览 0评论

OpenAI开源的Whisper对音频/视频文件的语音识别率很高,而ChatGPT很擅长翻译,因此一些字幕组开始采用Whisper+ChatGPT结合来完成影视字幕的翻译,其中Whisper负责将音频/视频文件转录为字幕文本,然后调用ChatGPT、Google Translte之类翻译软件对字幕文本翻译。

大致技术流程:

1、调用Whsiper转录音频/视频文件,得到带时间轴的文本字幕 。

2、人工校对审核

3、使用ChatGPT、Google Translate、DeepL之类翻译软件将文本字幕翻译为指定语言字幕

Whisper+ChatGPT能够大幅提升字幕翻译效率,但仍然需要人工校对审核,并不能完全自动化。

由于Whisper是基于Python的,对于很多字幕组人员,要熟悉Python环境及命令行操作较为麻烦,因此有很多人直接使用基于Whisper的CPP版本 whisper.cpp 版本 WhisperDesktop 或 Buzz ,也有使用N46Whisper,基于Google Colab,避免自己搭建维护环境。

汇总一下字幕翻译常用的工具集
Buzz

https://github.com/chidiwilliams/buzz

Buzz 是一款基于 OpenAI Whisper 的开源、可离线的实时语音转文字工具,支持 Windows、macOS、Linux,它可以将麦克风的语音实时转换为文字,也支持将视频、音频文件转换为文字、字幕。

Buzz算是目前对Whisper封装得比较易用的开源项目。

N46Whisper

https://github.com/Ayanaminn/N46Whisper

N46Whisper 是基于 Google Colab 的应用(也支持ChatGPT)。开发初衷旨在提高乃木坂46(以及坂道系)字幕组的工作效率。但本应用亦适于所有日语视频的字幕制作。

此应用基于AI语音识别模型 Whisper

应用输出文件为ass格式,内置指定字幕组的字幕格式,可直接导入 Aegisub 进行后续翻译及时间轴校正。

对不熟悉技术以及电脑配置一般的,可以考虑N46Whisper。
Subs AI

https://github.com/abdeladim-s/subsai

这项目对基于Whisper的几个衍生项目都有支持,包括:openai/whisper ,linto-ai/whisper-timestamped ,ggerganov/whisper.cpp ,guillaumekln/faster-whisper。

V2sub

https://www.v2ex.com/t/930940

功能还不错,非开源。

PyAutoSRT

https://github.com/botbahlul/PyAutoSRT

于PySimpleGUI的桌面应用程序,可为任何视频或音频文件自动生成字幕文件和翻译字幕文件(使用非官方在线谷歌翻译API)

subtitle-translator

Node.js版:https://github.com/gnehs/subtitle-translator

Electorn版:https://github.com/gnehs/subtitle-translator-electron

基于ChatGPT翻译影视字幕。
SubtitleEdit Online

https://www.nikse.dk/subtitleedit/online

在线字幕翻译

AISubtitle

https://github.com/cgsvv/AISubtitle

writeout.ai

https://github.com/beyondcode/writeout.ai

转录并翻译音频文件,基于OpenAI Whisper API和OpenAI API

srt-ai

https://github.com/yazinsai/srt-ai

使用 AI 将 SRT 文件翻译成任何语言
caption2text

https://github.com/F-loat/caption2text

PWA 版字幕转换为文本工具,支持 ass 及 srt 格式,可批量导出为 word 及 text 文件

更多音频转录(Transcribe)服务

更多AI工具

转载请注明:出家如初,成佛有余 » 使用Whisper+ChatGPT提升影视字幕翻译效率

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址