字幕组借助AI来自动生成和翻译字幕

444次阅读
没有评论

共计 1202 个字符,预计需要花费 4 分钟才能阅读完成。

看已经有字幕组借助AI来自动生成和翻译字幕了,先把视频放到Google Drive,然后从Google Colab上运行代码,并且在Colab加载整个Whisper模型,这样并不受API请求限制的影响,可以快速完成转录。语音转字幕后,再借助ChatGPT的API对字幕逐行翻译,最后人工再校对就好了。

这种借助各种AI工具和Colab这样的平台运行代码,让原本繁琐的工作完全自动化起来,整个自动化的思路特别特别好👍🏻

🔗 github.com/Ayanaminn/N46Whisper/blob/main/README_CN.md

“N46Whisper 是基于 Google Colab 的应用。开发初衷旨在提高乃木坂46(以及坂道系)字幕组的工作效率。但本应用亦适于所有日语视频的字幕制作。

此应用基于AI语音识别模型 Whisper

应用输出文件为ass格式,内置指定字幕组的字幕格式,可直接导入 Aegisub 进行后续翻译及时间轴校正。”

“根据我们使用若干视频的测试结果,输出字幕的识别准确率可以达到90%以上,这无疑能极大地节省听译及打轴所需的人手和时间”


更新:

2023.3.15:

  • 添加根据空格自动分行功能。
  • 修订文档以及其它一些优化。

2023.3.12:

  • 添加chatGPT翻译并生成双语字幕功能.
  • 修订文档以及其它一些优化。

2023.01.26:

  • 更新脚本以反映近期Whisper的更新。

2022.12.31:

  • 添加了允许用户从挂载的谷歌云盘中直接选择要转换的文件的功能。本地上传文件的选项仍然保留。
  • 修订文档以及其它一些优化。

如何使用

  • 点击这里 在Google Colab中打开应用.
  • 上传要识别的文件并运行应用
  • 识别完成后ass文件会自动下载到本地.

AI翻译

应用现在可以使用AI翻译工具对转录的文本进行逐行翻译。

目前支持chatGPT 并默认翻译成中文 zh-CN.

翻译后的文本将于原文合并在一行,以 /N分割,生成双语对照字幕。

例如:

字幕组借助AI来自动生成和翻译字幕

双语字幕效果为:

字幕组借助AI来自动生成和翻译字幕

用户需要自己的OpenAI API Key来使用翻译功能. 要生成免费的Key,进入自己账户设定 https://platform.openai.com/account/api-keys

请注意免费Key有用量限制,翻译速度会较慢。用户可以自己选择付费方案。

自动分行

当一行中有若干句话时,用户可选择按空格分割成多行。分割后的若干行均临时采用原行相同的时间戳,且添加了adjust_required标记提示调整时间戳避免叠轴。

普通分割只有在单(词)句字符长度大于5时才进行分割: 分割前:

字幕组借助AI来自动生成和翻译字幕

分割后:

字幕组借助AI来自动生成和翻译字幕

可以看到,尤其以第7行为例,短句和语气词被保留,只有长句被分割。字符长度5为默认值,一般来说日语大部分短句和语气词都可以过滤掉。

全面分割则是对任何空格都另起一行,分割后:

字幕组借助AI来自动生成和翻译字幕

此外可以看到,在两种情况下英文单字都不会被分割。

正文完
 
jiffish
版权声明:本文于2023-03-21转载自宝玉xp,共计1202字。
转载提示:此文章非本站原创文章,若需转载请联系原作者获得转载授权。
找不到电子书?想要学习怎么寻找电子书?联系站长