Audible 团队用可控 TTS 与 BookLLM 改进有声书语音合成
Audible 技术团队利用可控 TTS 与 BookLLM 改进有声书语音合成,通过自动识别角色对话(准确率达 97%)并为其生成自然语言语音描述,解决了传统 TTS 在长文本长时收听中角色区分度不足的问题。该方法在 MUSHRA 测试中使对话区分度提升了 3.7 点,并在英语和 Spanish 的测试中实现了统计学显著的听觉体验改善。
发布时间:
Audible 技术团队利用可控 TTS 与 BookLLM 改进有声书语音合成,通过自动识别角色对话(准确率达 97%)并为其生成自然语言语音描述,解决了传统 TTS 在长文本长时收听中角色区分度不足的问题。该方法在 MUSHRA 测试中使对话区分度提升了 3.7 点,并在英语和 Spanish 的测试中实现了统计学显著的听觉体验改善。
Sierra 发布 𝜏-Entity 基准,用于测试语音智能体在不同音频环境和 caller 行为下准确采集姓名、电话等实体信息的能力。基准包含 200 个任务和六种语言,测试结果显示当前语音智能体在面对噪声和多字段交互时仍面临较大挑战。
Sierra 推出并开源了 𝜏-i18n 语音智能体多语言评测基准,将 𝜏-Voice 扩展至西班牙语、巴西葡萄牙语、印地语、韩语和普通话五种新语言。该基准引入了语言包机制,并提供任务完成率、交互表现和生成质量三个维度的独立评估指标。
研究人员提出了一种直接从语音中检测语码转换的轻量级方法,利用预训练语音编码器中的帧级语言信息来识别单个话语中是否存在多种语言。基于CS-FLEURS中14个语言对的测试结果表明,Whisper-small编码器实现了0.798的平均F1分数,优于CNN基线的0.776和HuBERT线性基线的0.751。
研究表明,在预训练阶段增强多语言语音模型的语言判别能力,可有效缩小其与单语言模型之间的性能差距。通过在 HuBERT 模型中引入辅助语言分类器和分语言 k-means 目标,模型在双语基准下的 phone-ABX 错误率从 11.6% 降至 10.4%,词汇性能(sWUGGY)从 52.1% 提升至 56.7%。