图源：Alexis Conneau 等人在 2020 年发表的“Unsupervised cross-lingual representation learning for speech recognition”论文如今的商用 ASR 模型主要使用英语数据集进行训练，因此对英语输入具有更高的准确性。由于数据可用性和市场需求，学术界和工业界对英语的长期关注度更高。法语、西班牙语、葡萄牙语和德语等商业流行语言的识别准确度虽然也较为合理，但显然存在一个训练数据有限且ASR输出质量相对较低的语言长尾。此外，大多数商业系统都是基于单一语言，这无法适用于许多社会特有的多语言场景。多语言可以采用背靠背语言的形式，例如双语国家的媒体节目。亚马逊最近推出了一款集成语言识别（LID）和ASR的产品，在处理这一问题上取得了长足进步。相比之下，跨语言（也称为语码转换）是个人使用的一种语言系统，该系统可以将两种语言的单词和语法结合在同一个句子中。这是一个学术界继续取得有趣进展的领域。正如自然语言处理领域采用多语言方法一样，我们将会看到ASR在未来十年也会效仿。随着我们学习如何利用新兴的端到端技术，我们将会训练可以在多种语言之间进行迁移学习的大规模多语言模型。Meta的XLS-R就是一个很好的例子：在一个演示中，体验者可以说21种语言中的任何一种，而不需要指定某种语言，模型最终都会翻译成英语。通过理解和应用语言之间的相似性，这些更智能的ASR系统将为低资源语言和混合语言用例提供高质量的ASR可用性，并将实现商业级别的应用。
2 丰富的标准化输出对象“在未来十年，我们相信商业 ASR 系统将输出更丰富的转录对象，其中包含的内容将不止简单的单词。此外，我们预计，这种更丰富的输出将得到W3C等标准组织的认可，以便所有API都将返回类似构造的输出。这将进一步释放世界上每个人的语音应用潜力。”尽管国家标准技术研究院（NIST）在探索“丰富转录”方面有着悠久传统，但在将其纳入ASR输出的标准化和可扩展格式方面仍是浅尝辄止。丰富转录的概念最初涉及大写、标点和日记化，但在某种程度上扩展到说话人角色和一系列非语言性言语事件。预期的创新包括转录来自不同说话者、不同情绪和其他副语言特征的重叠语音，以及一系列非语言甚至非人类的语音场景和事件，还可以转录基于文本或语言多样性的信息。Tanaka等人描绘了一个用户可能希望在不同丰富程度的转录选项中进行选择的场景，显然，我们预测的附加信息的数量和性质是可指定的，这取决于下游应用。传统的ASR系统能够在识别口语单词的过程中生成多个假设的网格，这些已被证明在人工辅助转录、口语对话系统和信息检索中大有裨益。在丰富的输出格式中包含n-best信息将鼓励更多用户使用ASR系统，从而改善用户体验。虽然目前不存在用于构建或存储语音解码过程中当前生成或可能生成的附加信息的标准，但CallMiner的开放语音转录标准（OVTS）朝这个方向迈出了坚实的一步，使企业易于探索和选择多个ASR供应商。我们预测，在未来，ASR系统将以标准格式产生更丰富的输出，从而支持更强大的下游应用程序。例如，ASR系统可能会输出全部可能网格，并且应用程序可以在编辑转录内容时使用这些附加数据进行智能自动转录。类似地，包括附加元数据（如检测到的区域方言、口音、环境噪声或情绪）的ASR转录可以实现更强大的搜索应用。
