神经音频编解码

SoundStorm是由Google Research开发的一种音频生成技术，它通过并行生成音频令牌来大幅减少音频合成的时间。这项技术能够生成高质量、与语音和声学条件一致性高的音频，并且可以与文本到语义模型结合，控制说话内容、说话者声音和说话轮次，实现长文本的语音合成和自然对话的生成。SoundStorm的重要性在于它解决了传统自回归音频生成模型在处理长序列时推理速度慢的问题，提高了音频生成的效率和质量。

StreamVC是由Google研发的实时低延迟语音转换解决方案，能够在保持源语音内容和韵律的同时，匹配目标语音的音色。该技术特别适合实时通信场景，如电话和视频会议，并且可用于语音匿名化等用例。StreamVC利用SoundStream神经音频编解码器的架构和训练策略，实现轻量级高质量的语音合成。它还展示了学习软语音单元的因果性以及提供白化基频信息以提高音高稳定性而不泄露源音色信息的有效性。