最新消息:

RTranslator,开源实时翻译应用,外语沟通神器

产品 admin 134浏览 0评论

实时翻译最有名的要数微软的Microsoft Translator,一直以来,Microsoft Translator在语音识别、翻译速度、翻译质量上都显著强于 iTranslate、SayHi等第三方应用。

ChatGPT为代表的大模型热起来后,虽然有大量基于ChatGPT、Whisper的翻译应用诞生,但在实时翻译速度和质量上距离Microsoft Translator还是有一定差距,尤其是由于调用ChatGPT等大模型的价格导致此类应用或是收费,或是需要使用用户自己的API。

RTranslator 是一款开源、免费和离线实时翻译的Android应用程序,按照官方说法是世界上第一款开源实时翻译应用。

项目地址:https://github.com/niedev/RTranslator

RTranslator主要有三种模式:

1、对话模式

2、对讲机模式

3、文本翻译模式

1、对话模式

对话模式是RTranslator的主要功能。在此模式下,可以有多个用户同时参与交流并实时翻译。

您可以连接使用此应用程序的另一部手机。如果用户接受您的连接请求:

  • 当您说话时,您的手机(或蓝牙耳机,如果已连接)将捕获音频。
  • 捕获的音频将被转换为文本并发送到对话者的手机。
  • 对话者的电话会将收到的文本翻译成他的语言。
  • 对话者的手机会将翻译后的文本转换为音频,并从其扬声器(或通过对话者的蓝牙耳机(如果连接到他的手机)再现它。

所有这一切都是双向的。

每个用户可以拥有多部连接的电话,以便您可以翻译两个以上的人之间的对话,并且可以任意组合。

实测貌似蓝牙连接会经常中断,官方说明中也提到了此bug,希望早日修复。

 

2、对讲机模式

对话模式主要针对日常生活中与某人进行对话而设计,例如在街上询问信息或与店员交谈。

在此模式下,智能手机麦克风将同时收听两种语言(可在对讲机模式的同一屏幕中选择)。

RTranslator将检测对话者所说的语言,将音频翻译成另一种语言,将文本转换为音频,然后从电话扬声器中复制它。TTS 完成后,它将自动恢复收听。

3、文本翻译模式

文本模式就是常用的翻译软件功能

 

RTranslator 翻译引擎使用了Meta的 NLLB ,语音识别使用了OpenAI的 Whisper ,都是相应领域中开源模型的领先者,实测效果还不错。

RTranslator 目前只支持离线模式,因此在首次安装进入时,会下载1.2G的NLLB、Whisper的相关资源包。

整体而言,RTranslator 整体功能很不错,由于项目还处于初期,因此有不完善的地方可以理解,而且产品完整度很不错了。

RTranslator目前只支持Android,由于RTranslator 的示范性,相信后续会有类似的iOS开源应用诞生。

 

 

转载请注明:出家如初,成佛有余 » RTranslator,开源实时翻译应用,外语沟通神器

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址