用超声波拍摄舌头的运动，让AI从舌头视频中直接预测说话内容，说话者完全不需要发出声音。15.6%的词错误率，已接近百万小时数据训练的唇读水平。
说话比打字快4倍，正逐渐成为人机交互的主流接口。但很多场景没法开口：咖啡馆、地铁、开放式办公室。耳机让听变隐私了，说话什么时候也能隐私化？
答案是超声波。跟肌电图、雷达、唇读相比，超声可以直接干净地拍到舌头的运动，不需要通过噪声很大的间接信号去推测。更重要的是，它是真正不可见的不出声说话——旁观者完全看不出你在说话。英语40个音素中，舌头能形成约34个不同的音位类别，而嘴唇能区分的还不到一半。
研究团队自己采了50小时的数据。两个质量条件缺一不可：超声必须清晰拍到舌头，受试者必须实际说出预定文本。两件事同时做到并不容易，疲劳、含混不清的发音、探头操作不当都会导致数据废掉。他们选择采集有声数据而非无声数据，因为音频可以让转录验证变得简单，而有声和无声状态下的舌头运动模式非常接近。受试者朗读AI生成的短篇故事，既比孤立语句更自然，又能控制词汇覆盖范围。
训练目标很直接：从超声舌头视频预测说出的话。团队用了预训练模型，一个ResNet-18 2+1D做视频编码，用Whisper Base做语音解码。方法很巧妙：训练舌头视频编码器产生跟Whisper听到对应音频时几乎一样的嵌入向量，然后让Whisper把这些嵌入解码成文字。训练初期大约震荡了2万个样本，之后开始出现令人鼓舞的误判，比如把acoustic识别成a key stick，把hard认成heart，说明模型确实在从信号本身学习语音结构。
通过更多数据、消融实验和后期处理优化，包括束搜索、句子长度感知和LLM裁判评分，词错误率最终降到了15.6%。作为对比，唇读技术在100万小时训练数据上的词错误率是12.5%，而此前唯一的超声无声语音跨说话人基线高达83.8%。
模型还展示了一个意料之外的泛化能力：带美式口音的朋友临时走进来，拿起探头就能直接使用。非美式口音目前仍然是个难题。硬件方面，探头需要进一步小型化和减重，超声凝胶也要换成更实用的材料比如水凝胶，最终目标是轻量可穿戴设备甚至贴片。
原文：https://alephneuro.com/blog/silent-speech