一人背对镜头站在湖边远眺群山

它解决的是「四件事同时做」

Mistral 在 10 月发布的 Voxtral 3,官方把问题定义得很清楚:一个能用的语音智能体必须同时做好四件事——听准(跨语言、口音、多人、被打断)、想明白(结合上下文理解意图)、说得像人(带情绪和表达)、并且能通过接进来的系统把事情办完。过去这四件事各自都有不错的模型,拼成一条实时链路就崩。

这次给的不是一个模型,而是一套:语音转写模型家族(Voxtral Small / Mini Transcribe 3 及实时版)、语音合成模型(Voxtral Mini TTS 3.0),外加一个基于 LiveKit 的语音智能体 SDK,把「听、想、调工具、说」放进同一条流式管线。

听得准:五十多种语言、能分清谁在说

转写侧的关键词有三个。一是说话人分离(diarization),能标出谁在什么时候说话,这在客服录音转写里几乎是刚需。二是上下文偏置(context biasing),把关键术语和一段自由文本喂进去,就能提高专有名词的识别率,不用做微调——这条对企业最实用,客户的产品名、地名、内部黑话都能这么救。三是轮次结束检测,同时用声学和语义信息判断对方说完没有,既降低延迟,也减少「对方还没说完就被抢话」的误判。

语言覆盖 50 种以上,包含 24 种欧盟官方语言和不少低资源亚洲语言。Mistral 声称 Small 版在多语种转写和说话人分离上超过了 Whisper、Scribe v2 和 Gemini 3.5 Transcribe——这是厂商自评,且是自家基准,看数字时留一分。

说得像人:情绪由上下文决定

TTS 侧支持 35 种以上语言、50 种以上方言,明确暴露了三个可调变量:情绪、节奏、重音。它会在没有额外指令的情况下,从文本上下文推断该用什么语气——报价、道歉、催单,语气不该一样。语音克隆与专业版 Pro Voice 都只需 30 分钟音频,能复刻说话人的音色、情绪幅度与表达习惯,并跨语言保持。

在中文(普通话)上,语音预设已经提供。

价格与架构:按分钟算账

转录批量价:Mini 每分钟 0.0035 美元,Small 每分钟 0.0040 美元,实时版每分钟 0.008 美元(延迟在 500 毫秒以内,覆盖 35 种以上语言)。语音合成按字符计价,每百万字符 13 美元,官方称比 OpenAI TTS-1、Deepgram、ElevenLabs Flash、Gemini Flash 更便宜。

架构上有一个设计决策很关键:每一段都是独立模型。想换推理用的大模型、换音色、换语言,都不用重写整个 agent。整条链路可以跑在 Mistral 的欧洲节点,也可以部署在客户自己的基础设施上——对数据敏感行业,这是选型的硬条件。

冷静剂:三个必须先压测的点

第一,所有 "超越竞品" 的结论都来自厂商基准,中文电话场景的真实表现要自己测:方言口音、背景噪音、多人抢话、专业术语,这四项跑一遍再谈选型。

第二,按分钟计价听着便宜,但要换成客户听得懂的口径——「一通 3 分钟的电话大约多少钱」「一天 500 通是多少」。转写和合成是两笔钱,实时链路还要算上推理模型的 token 费。

第三,「能接管整通电话」和「能稳定接管整通电话」是两回事。官方说每轮在一秒内完成,但真实网络抖动、工具调用超时、客户突然改口,都是另一套考题。

对做企业数字化/小团队的实际启发

第一,客服和售前外呼是最先能落地的地方,但顺序要反过来:先做辅助人——实时转写加话术提示,坐席看着屏幕说。这一步客户当场能感知效果,出错也不致命。

第二,把客户的产品名、地名、型号整理成一份「偏置词表」,作为交付物的一部分。这件事不用训练模型、不用改架构,却能立刻把转写准确率往上抬,是投入产出比最高的一步。

第三,给客户谈 AI 客服时,把 "数据留在哪" 提前说清楚。能自部署、能选区域,这类能力在政企和医疗客户那里往往比降几分钱更重要。