米兰·(milan)中国官方网站-Meta 开源首个 AI 语音翻译系统，闽南话和英语可以直接语音互译！

作者：米兰·(milan)文化更新时间：2026-03-15 01:50:23 点击数：

作者 | 李梅

编纂 | 陈彩娴

呆板翻译是当今人类消弭语言障碍、重修巴别塔的新东西。然而，于世界现存的 7000 多种已经知语言中，很多低资源语言还有未获得充足的存眷，特别是有近一半的语言没有尺度的书面体系，这是构建呆板翻译东西的一年夜障碍，以是今朝 AI 翻译重要集中于书面语言上。

于使用 AI 鞭策天然语言翻译这件事上，Meta 一直致力在“No Language Left Behind”（没有一种语言被落下）的方针。

好比汉语方言之一闽南话，此刻也有了专属的呆板翻译体系，讲闽南话的人可以与讲英语的人举行无障碍对于话了。

这是由 Meta 开源的第一个由 AI 驱动的非书面的、语音到语音的翻译体系。来听听这项事情的卖力人、Meta AI 研究员 Peng-Jen Chen 与小扎的对于话，Chen 出生在台湾。

视频见：https://mp.weixin.qq.com/s/38dd-zUEtQkl2woo28wNjQ

该体系可以将闽南话的语音翻译成英语语音，反之亦可。会讲闽南话的读者可以来查验一下，是否是翻译效果还有挺不错？

据相识，这个开源翻译体系是 Meta 的通用语音翻译(UST) 项目的一部门，该项目致力在开发新的人工智能要领，帮忙实现所有现存语言的及时语音到语音的翻译。今朝，Meta 已经经开源了该翻译模子及评估数据集，研究论文以下：

论文地址：https://research.facebook.com/file/799432337944526/Speech-to-speech-translation-for-a-real-world-unwritten-language.pdf

1降服练习数据的挑战

闽南话是汉语方言之一，是一种低资源语言，没有尺度的书写体系，人工的英语到闽南话翻译职员也相对于很少，以是为模子网络及标注练习数据就变患上越发坚苦。

图注：讲闽南话（Hokkien）的人的数目

为此，来自 Meta AI 的研究团队采用了一种非凡放方案，使用汉语平凡话（属在高资源语言）作为中间语言来构建伪标签及人工翻译。他们起首将英语（或者闽南话）语音翻译成平凡话文本，然后再翻译成闽南话（或者英语）并将其添加到练习数据中。这类要领经由过程使用来自近似高资源语言的数据，极年夜地提高了模子机能。

语音挖掘是练习数据天生的另外一种要领。利用预练习的语音编码器，可以或许将闽南话语音嵌入编码到与其他语言不异的语义空间中，以是闽南话没有书面情势也不造成问题。闽南话语音可以与语义嵌入相似的英语语音及文本对于齐，然后从文本中合成英语语音，孕育发生并行的闽南话及英语语音。

图注：无需人类标注的语音翻译模子

2新的建模要领：语音到语音

很多语音翻译体系都依靠转录或者者是语音到文本的体系。可是，闽南话的情势重要是白话，缺少尺度的书面文字体系，没法转录成文本作。以是，Meta 所构建的是一个语音到语音的翻译体系。

研究职员利用语音到单位（speech-to-unit，S2UT）翻译，将输入语音直接翻译成一系列的声学单位，这也是 Meta 先前最早创始的一种路径。然后，从这些声学单位中天生波形。此外，研究职员还有采用了 UnitY 作为双通道解码机制，第一通道解码器天生相干语言（即汉语平凡话）的文本，第二通道解码器创立单位。

图注：UnitY 模子架构

3新的正确性评估体系

语音翻译体系的评估东西凡是是 ASR-BLEU 指标，该指标起首利用主动语音辨认 (ASR) 将翻译后的语音转录为文本，然后将转录文本与人工翻译的文本举行比力，计较 BLEU 分数。

但要评估闽南话的语音翻译体系，难处还有是于在它没有尺度的书面文字体系。以是，为了实现主动评估，研究职员开发了一个体系，将闽南语语音转录为一种称为 Tâi-lô 的尺度化注音符号。如许就能于音节的层面上计较 BLEU 分数，从而比力差别要领的翻译质量。

除了了开发这类评估闽-英语音翻译的要领外，研究职员还有基在闽南话语料库 Taiwanese Across Taiwan，创立了第一个闽-英双向语音到语音翻译基准数据集。该基准数据集将开源，以利便更多研究职员从事闽南话语音翻译事情。

4不止闽南话

这项事情所用技能可以进一步扩大到很多其他书面及非书面语言。

为此，Meta 还有发布了 SpeechMatrix，它是一个年夜型的语音到语音翻译语料库，利用了 Meta 的立异数据挖掘技能 LASER，从欧洲议会灌音的真实演讲中挖掘数据。该数据库包罗 136 种语言对于的语音对于齐，共 41.8 万小时的语音。挖掘的数据及模子都是免费的，研究职员可以创立本身的语音到语音翻译 (S2ST) 体系。