Mistral 发布 Voxtral 3 语音模型系列与实时语音智能体 SDK

思考

总结

Voxtral 3 引入了尖端的语音代理 SDK 和先进的语音模型，专为跨 50 多种语言的实时、多步骤对话而设计。它结合了准确的转录、具有情感适应性的自然语音合成以及深度的工具集成，以实现无缝的工作流自动化。它可通过 Mistral 的欧盟托管 API 或自部署使用，在确保数据主权的同时，为联系中心、虚拟助手和免提副驾驶提供低延迟、类人的交互。

语音转录和语音生成已经取得了长足的进步，但构建能够倾听、推理、互动并处理复杂工作流端到端语音代理仍然很困难。 

一个可靠的语音代理需要非常出色地（并且同时）做好四件事： 

1. 跨语言、口音、说话人和打断情况都能准确倾听，

2. 深入推理用户在特定上下文中所表达的含义，

3. 带有情感和表现力地自然说话，以及 

4. 通过连接的系统跨多个步骤采取行动。 

要让这四者在实时中可靠地协同工作仍然是一个挑战。 

为了解决这个问题，我们推出了 Voxtral 3：全新的一系列先进的 语音转文本 和 文本转语音 模型，以及一个将倾听、思考、工具调用和说话整合到一个实时流式传输管道中的语音代理 SDK。

Voxtral 3 旨在打造自然的对话体验，从联系中心代理和服务台到虚拟助手和免提副驾驶。通过支持数十种语言、富有表现力的语音、复杂的推理以及与您自己的工具和数据的深度集成，使用 Voxtral 构建的代理可以理解细微的意图、推理复杂的请求，并在连接的系统上执行多步骤操作。

与其他 Mistral 模型一样，Voxtral 3 系列专为自主部署而设计。从今天开始，通过 Mistral 的欧盟托管 API 或在您自己的基础设施上进行自部署，它使组织能够控制音频处理的位置、数据的处理方式以及是否保留对话。

亮点

1. 跨 50 多种语言的准确转录。语音转文本模型 Voxtral Small Transcribe 3 在多语言转录方面处于领先地位，可识别谁说了什么（说话人分块），并使用关键短语来提高准确性（上下文偏置）。它能检测某人何时结束发言，以便代理可以毫不延迟地做出回应（发言结束检测）。

2. 适应对话的自然语音。文本-语音转换模型 Voxtral Mini TTS 3 引入了新的声音，这些声音可以根据对话上下文调整其情感、语速和重音，支持 35 多种语言和 50 多种方言。

3. 听候（语音）差遣的类人智能。全新的语音代理 SDK 将倾听、推理、工具调用和说话结合到一个实时的体验中。代理可以在电话或网页的实时对话期间检索信息、与业务系统交互并完成任务。

4. Pro Voice 实现极其精准的语音自适应。对于基础语音克隆无法满足的专业用例，Voxtral 的 Pro Voice 自适应技术仅需 30 分钟的音频，就能跨语言重现说话者独特的个性、情感幅度和说话风格。

5. 您的语音 AI，部署在您的基础设施上。使用 Mistral 托管在欧盟的 API，或在您自己的基础设施上部署 Voxtral 3。将敏感对话保留在您的环境中，并控制是否保留任何音频。

立即试用 Voxtral  | 了解更多

它能够识别 50 多种语言，并具有行业领先的准确率。

Voxtral Transcribe 3 在转录、说话人日志（谁在何时发言）和上下文偏差（context biasing）功能方面代表了一个重要的里程碑。支持的语言列表已扩展至 50 种，包括 24 种欧盟官方语言以及许多低资源（low-resource）的亚洲和印度语言。

Small 版本在说话人日志和多语言转录（包括英语、法语和西班牙语）方面取得了行业领先的成果。它的性能优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。Mini 变体拥有 40 亿（4B）参数，能够以 $0.0035/分钟的价格实现快速且准确的转录。

这两个模型都支持上下文偏差，可以通过提供关键术语和自由文本来引导转录，并提高技术术语的召回率。这使它们能够用于具有特定领域词汇的生产环境中，而无需进行微调。

Voxtral Realtime Transcribe 3 是一款专为智能体（agentic）用例构建的实时转写模型。它在 35 种以上的语言中以低于 500 毫秒的延迟实现高质量转写，并支持说话人日志（diarization）和上下文偏置（context biasing）。

原生支持轮次结束预测（end-of-turn prediction），结合声学和语义信息以准确预测用户何时结束发言。这既能实现低延迟的语音智能体应用，又能最大程度减少用户被提前打断时的误截断率。

它能以正确的语气、您或您客户的品牌专属声音以及当地口音进行回答。

Voxtral Mini TTS 3.0 提供批处理和实时版本，在 35 种以上语言和 50 种以上方言中实现了顶尖的表现力和指令遵循能力。每 100 万字符 13 美元，Voxtral Speech 3 的运行成本低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash 的同类模型。

该语音模型能更好地隐式解释上下文的语义，在各种情感和语言中生成自然的语音。新增和改进的功能包括：通过 30 分钟以上的采样音频进行声音克隆、自定义提示词指令遵循（IF）、上下文 TTS 以及词汇库，所有这些都旨在实现部署中的语音可靠性。显式 IF 的变量包括 emotion、pacing 和 emphasis。

提示词

让我们在这里结束争论：它是 GIF。

默认

非标准音素提示：dʒ ɪ f

所有听起来自然的语音都依赖于情感，情感决定了其语调、节奏、语速、重音和过渡。Voxtral TTS 原生可解释文本提示的上下文以确定情感和声音风格，使模型在无需额外指令或声音提示的情况下，天生就能更好地生成自然语音。

展示 Voxtral 在表现力方面的爬坡能力，包含数字和专有名词。

提示词

感谢致电 Mistral！我了解到您在登录 AI Studio 时遇到了困难。请问我可以确认一下您的电子邮件地址吗？我这里显示的是 elena.vance82@yahoo.com，请问对吗？

Voxtral 1

Voxtral 3

语音听起来覆盖 35 种语言和 50 多种方言的本地口音。

Voxtral TTS 支持超过 35 种语言及地区方言。我们的多语言评估遵循发音、正式与非正式语体、拼写、冗长程度以及地区惯例（时间、日期、温度、地址、货币）方面的方言差异。

Voxtral 3 多语言库

声音预设支持 18 种语言：阿拉伯语（阿联酋、现代标准）、巴西葡萄牙语、加泰罗尼亚语、中文（普通话）、荷兰语、英语（美式、英式）、法语（法国）、德语、希腊语、印地语、意大利语、韩语、挪威语、俄语、西班牙语（西班牙）和越南语。

语音代理掌控整个对话。

Voxtral 3 引入了一个基于 LiveKit 构建的语音代理 SDK，将语音输入、推理和语音输出作为一个流式管道运行。Voxtral Mini Transcribe Realtime 3 负责聆听并检测呼叫者何时停止说话，通用模型（如 Mistral Small）负责推理并调用工具，而 Voxtral Speech 3 则以迄今为止的对话语调进行回复。各个阶段无需等待前一个阶段完成，因此每轮对话都可在不到一秒的时间内完成，并且当呼叫者插话时，代理会停止说话。

在通话过程中，代理可以通过函数调用、网络搜索以及对您自身系统的检索来验证呼叫者身份、核对账单或预定预约。它通过 SIP 接听和拨打电话，通过 WebRTC 在浏览器和应用中运行，并可连接到您现有的电话、IVR（交互式语音应答）和联系中心软件。

每个阶段都是一个独立模型，因此您无需重写代理即可更改 LLM、声音或语言，并且可以在欧洲的 Mistral API 上或您自己的基础设施上运行整个技术栈。

开始使用。

Voxtral 3 现已通过 Mistral API 提供，托管在我们的欧洲、美国和全球端点上。

您可以在 Studio 游乐场中测试语音代理、音频转录、语音生成和声音克隆。 

要在本地或私有云中运行完整技术栈，请与我们的团队联系。