Mozilla使用“比实时更快”运行的英语模型更新DeepSpeech

 
由Mozilla的机器学习小组维护的DeepSpeech是一套语音转文本和文本转语音引擎，今天早上收到了更新(至0.6版)，该更新结合了迄今为止最快的开源语音识别模型之一。在高级研究工程师Reuben Morais的博客文章中，他介绍了新功能和增强功能以​​及即将推出的其他聚光灯功能。
DeepSpeech的最新版本增加了对TensorFlow Lite的支持，TensorFlow Lite是Google的TensorFlow机器学习框架的一种版本，该框架针对计算受限的移动和嵌入式设备进行了优化。它已将DeepSpeech的程序包大小从98MB减小到3.7MB，并且将其内置的英语模型大小减小了-在流行的基准上具有7.5%的字错误率，并且接受了来自WAMU(NPR)，LibriSpeech， Fisher，Switchboard和Mozilla的Common Voice English数据集-从188MB到47MB。此外，它还将DeepSpeech的内存消耗减少了22倍，并将启动速度提高了500倍以上。
这种更有效的英语模型-在Raspberry Pi 4的单个内核上“比实时运行”更快，并且比以前小50%(包括推理代码和训练有素的模型)，可在Windows，macOS，和Linux以及Android。
DeepSpeech 0.6整体上具有更高的性能，这在某种程度上要归功于新的流解码器，该解码器可实现“一致的”低延迟和内存利用率，而与所转录音频的长度无关。此外，该平台的两个主要子系统-可以接收音频特征作为输入并输出字符概率的声学模型，以及将字符概率转换为文本成绩单的解码器-现在都可以流式传输了。 Morais说，这意味着不再需要精心调整的静音检测算法。
新的DeepSpeech在音频结束后260毫秒提供转录，比实现流解码器之前的速度快73%。至于音频文件在第2和3秒钟的中间成绩单请求，它们会在短时间内返回。
在性能方面，这还不是所有的改进。现在，得益于TensorFlow 1.14的升级和新可用API的采用，DeepSpeech的模型训练速度提高了两倍。此外，它能够以不同的采样率(例如，电话数据为8kHz)完全训练和部署模型，并且新的解码器可显示抄录中每个字符的时间和置信度元数据。
最后，DeepSpeech现在提供具有.NET，Python，JavaScript和C绑定的Windows软件包，其中第一个可在NuGet Gallery中获得，并可直接从Visual Studio安装。 DeepSpeech的存储库中提供了一个示例，其中包含演示从音频文件以及麦克风或其他音频输入设备进行转录的代码。
Mozilla在自然语言处理方面的工作扩展到前面提到的Common Voice数据集，该数据集最近通过18种语言的1,400个小时的语音更新得到了更新。 Mozilla称，它是同类最大的多语言数据集之一-远远大于八个月前公开发布的Common Voice语料库，该语料库包含来自20,000名英语志愿者的500个小时(400,000条录音)，并且很快就会发布变得更大。该组织表示，通过Common Voice网站和移动应用程序正在积极进行70种语言的数据收集工作。