近日，快商通KristonAILab和新加坡大学联合发表的论文《ModelingCode-SwitchLanguagesUsingBilingualParallelCorpus（使用平行语料为中英文语码转换建模）》被第58届计算语言学年会ACL2020录用，论文介绍了一种通过机器学习算法建立语言模型的方法，主要用于解决中英混合文本数据缺失问题，是语音识别领域对多语种切换语音识别的突破。

ACL是计算语言学和自然语言处理领域的会议，被CCF与清华共同列为A类会议。今年，ACL共接收到超过3000篇投稿，虽未公布录取率，但依照历史平均录取率23.7%来看，被收录的论文代表了人工智能领域的水平。

多语种切换语音识别现状：需求火热，技术难突破

随着全球化的演进，多语言通信成为越来越普遍的现象。例如在新加坡等东南亚地区，英语作为大部分人的第一外语，会被自然而然地穿插在以中文为主的日常交流中。相对应地，对多语种切换语音识别也成为当下火热的需求。

然而，多语种切换语音识别一直是语音领域面临的重要挑战之一的原因，是因为多语种切换数据的缺失。

语音识别系统训练，需要语音和文本两方面的数据。通常，多语种切换的表达多在口语交流中出现，因此，文本形式的多语种切换表达资源匮乏。

使用平行语料为中英文语码转换建模

快商通KristonAILab瞄准海外痛点需求，提出了一种基于注意力机制的双语语言建模算法（BLAM），该算法综合考虑两种语言的词序列上下文关系以及两种语言间的语法差异。具体地，文章定义了两种损失函数，分别用于对单一语言的语法进行约束以及对多语种切换表达的语法进行约束。然后将两种约束用于训练基于注意力机制的深度神经网络模型。

这种方法，是现阶段语音识别领域对多语种切换的突破，其算法具有以下优点：

1、两种语言均可以作为主语语言，语码转换时两种语言的比例不影响语音识别的性能；

2、语言模型混淆度（PPL）相对目前的多语种切换语言模型建模算法能降低20%以上，语音识别词错率相对目前的多语种切换语音识别算法能降低25%以上；

3、该算法可用于多语种切换的规范化，即，将两个语种混杂的文本规范化为统一的语种表达；

该算法可进一步扩展，用于句子生成以及机器翻译。

注：快商通旗下KristonAILab于2012年创建，专注语音识别、自然语言处理、声纹识别大数据分析等人工智能技术的研究和应用，现由IEEEFellow李海洲教授领导。截至2020年初，KristonAILab团队共申请发明专利400余项，荣获国际算法权威大赛NISTSRE2018全球前三、中国AI奖——吴文俊人工智能科技进步奖。