Skip to content

语音大模型与全双工实时对话(Moshi / Mimi / Omni)

解析原生语音大模型:级联延迟瓶颈、Mimi 12.5Hz 语义-声学 RVQ、Delay Pattern 与 Moshi 全双工内心独白架构。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是语音大模型与全双工实时对话?

早期语音助手是“语音转文字(ASR)→ 文字大模型(LLM)→ 文字转语音(TTS)”三段拼接的:不仅来回倒腾延迟动辄两三秒,还把说话人的语气、情绪、停顿全丢光了,更没法随时打断。

端到端语音大模型(如 GPT-4o、Moshi) 直接用神经音频编解码器(如 Mimi RVQ)把声音变成离散音频 Token 喂给模型,实现听懂语气、原生发声、几百毫秒超低延迟,甚至像真人一样边听边说、随时插话打断的全双工实时对话。

01 为什么要发明它:告别“对讲机式”语音助手 ​

回想一下你用早期语音助手的尴尬体验:你说完一句话,屏幕先转圈两三秒——背后其实是三个互不认识的模块在接力传纸条:语音转文字(ASR) 先等你整句话说完把声音抄成干巴巴的纯文本,再交给 文本大模型(LLM) 写回信,最后交给 语音合成(TTS) 照本宣科念出来。

这种级联架构有三个怎么优化都治不好的硬伤:

  1. 慢半拍:三段延迟层层叠加,答复动辄 2~5 秒,而真人聊天接话平均只要 200 毫秒;
  2. 丢情绪:一旦声音被压缩成干瘪文字,你语气里的着急、叹气、反讽、笑声全灰飞烟灭;
  3. 像对讲机不能抢话:助手开始朗读后就自动“捂住耳朵”,你哪怕中途插话喊“停,换个话题”,它也只能靠生硬的音量检测硬切,绝无可能像真人一样边听边“嗯嗯”附和、随时自然转弯。

2024 年起,GPT-4o 与开源先锋 Moshi(Kyutai, 2024) ↗ 彻底拆掉了三段传纸条管线,让同一个大模型直接“听声音、吐声音”,把延迟一口气打到 200 毫秒,开启了原生全双工语音大模型时代。

类比 · 传纸条的翻译班子 vs 面对面聊天的真人朋友

老式 ASR+LLM+TTS 像隔着玻璃墙传纸条的三人小组:听写员必须等你闭嘴才开始抄字,纸条传到大脑再传给播音员,黄花菜都凉了。而 Moshi / GPT-4o 原生全双工模型 就像坐在你对面的真人朋友——两只耳朵一直开着听你说话,脑子里飞快默念着准备回什么,嘴巴同步发声;你刚一皱眉插话,它 0.2 秒内就会自然停嘴、顺着你的话茬接下去!

核心设问

一秒钟高质量人声有 24,000 个采样点,而且说话时每 80 毫秒就同时包含 8 层声学码本,纯语音训练还容易“声音好听但脑子空空”。模型怎样既压低音频帧率、又同时预测多层码本,还能在 200 毫秒内边听边想边说?

02 核心直觉:驯服实时语音的三把钥匙 ​

钥匙一:Mimi 12.5Hz 编解码——把 1 秒声音压成 12.5 个“分层胶囊” ​

早期音频编解码器(如 EnCodec ↗)每秒切 75 帧,聊一分钟就吐出几万个音频 Token,大模型根本扛不住。Moshi 打造了全新因果流式编解码器 Mimi,借助 残差矢量量化(RVQ) 把帧率猛降到 12.5 Hz(每 80 毫秒仅 1 帧),还做了绝妙的语义-声学分工:

  • 第 1 层码本(语义层):专门用自监督语音模型 WavLM 蒸馏,只负责记“说了什么词、什么意思”;
  • 第 2~8 层码本(声学层):专门补全“是谁的音色、带不带笑意、屋里有没有回声”。

钥匙二:Delay Pattern——像“阶梯队列”一样错位并行吐码本 ​

每帧有 8 层码本,一层接一层串行预测会把序列拉长 8 倍;可如果同时瞎猜 8 层,第 2 层还没看见第 1 层决定了什么音节,声音就会乱套。MusicGen(2023) ↗ 发明的 Delay Pattern(错位延迟) 用一个极聪明的排班法完美破局:

类比 · 合唱团的“卡农轮唱”排班表

想象 8 位乐手按时间节拍合奏,第 2 层码本比第 1 层晚 1 拍进场,第 3 层再晚 1 拍……形成斜梯队。这样在每一个节拍点,指挥(主干 Transformer)只需挥手一次,8 位乐手就能同时并行出声,而排在后面的声学乐手早就清清楚楚听到了前面语义乐手刚定下的主旋律,既省 8 倍步数又绝不跑调!

钥匙三:Inner Monologue(内心独白)+ 双流全双工架构 ​

纯用声音数据训大模型有个致命毛病——说话绘声绘色,一问科学常识就胡说八道,因为声音里的文字信息密度远不如纯文本。Moshi 的神来之笔是给模型加上一条同步前进的“内心独白(Inner Monologue)”文字轨,并采用 Temporal(主干)+ Depth(轻量深度头) 双层结构:

类比 · 脑子里先默念提纲,嘴巴紧跟 0.1 秒出声

在每个 80 毫秒的滴答声里,Moshi 7B 主干模型同时接收你刚刚说进来的 80ms 声音和自己上一帧的状态:

  1. 它先在脑海里用 Inner Monologue 提前一两帧默念出接下来要吐的文字(瞬间借用到纯文本大模型积累的深厚知识与逻辑!);
  2. 紧接着把主干思想和这句内心独白递给极轻快的 Depth Transformer 深度头,一口气串出当前帧的 8 个音频码本,经 Mimi 解码成 24kHz 声音飘进你的耳朵。

因为你的麦克风声音每一帧都在持续流入主干,听和说彻底不再互斥——你一插话,模型下一帧(80ms 后)自己就听见了,自然收声让你先说!

03 把关键公式读成人话 ​

先看 Mimi 的语义-声学分裂残差量化(Split RVQ):

z^t=Qsem(zt)⏟第 1 级语义 VQ (对齐 WavLM)+∑k=2KQaco,k(rt,k)⏟第 2∼K 级声学 RVQ

**把公式读成直觉:**如果把所有码本硬塞进同一条残差链里既学语义又学波形,两边会打架。Mimi 把第 1 级语义量化器单独拎出来对齐语音理解老师(WavLM),把第 2 到第 8 级留给精细声学细节,最后两者相加还原出完整声音特征——既能让大模型轻松听懂语义,又能原汁原味还原录音棚级音色。

再看 Moshi 在每个 80 ms 时间步 t 的双流全双工联合概率分解:

P(wt,St∣H<t,U≤t)=P(wt∣ht)⏟主干预测内心独白文字∏k=18P(st,k∣ht,wt,st,<k)⏟Depth 头依次生成 8 级语音码本

把公式读成直觉:- U≤t 是用户直到这一刻一直在说的实时语音流,H<t 是对话历史记忆。

  • 7B 的大主干先算出综合当前局势的隐状态 ht,顺手吐出这一刻的内心独白文字 wt(不需要说话时就吐静默占位符 `<pad>`);
  • 随后轻量级 Depth Transformer 站在 ht 和 wt 的肩膀上,在单步之内飞速依次吐出第 1 到第 8 层语音码本 st,1…st,8,整个推理耗时远低于 80 毫秒预算!

04 它在模型里怎么工作 & 与上下游的关系 ​

原生语音大模型把听觉与发声直接编织进了大语言模型的心脏:

05 范式对比与三个避坑备忘 ​

语音交互架构端到端延迟语气 / 情绪保留实时插话打断代表系统
传统级联(ASR+LLM+TTS)2∼5 s丢失(纯文本瓶颈)差(硬切 VAD)传统智能音箱
连续音频编码 + LLM (arXiv ↗)0.8∼1.5 s听觉好,发声靠 TTS半双工为主Qwen2-Audio
VALL-E / MusicGen (arXiv ↗)离线/流式 TTS强(零样本克隆)非对话架构VALL-E, MusicGen
Moshi 全双工双流 (arXiv ↗)160∼200 ms极强(原生韵律)原生全双工Kyutai Moshi
原生 Omni 多模态230∼320 ms极强(视听一体)原生支持GPT-4o, Qwen2.5-Omni
  1. 双声道录音绝不能有串音(Crosstalk)! 如果训练数据里说话人 A 的声音漏进了 B 的麦,或者线上客户端没开回声消除(AEC),模型会把扬声器里自己的声音误判成“用户插话”,结果每吐两个字就把自己吓得闭嘴。
  2. 内心独白的“提前量”要拿捏精准:内心独白文字必须比对应声音稍微早 1~2 帧(80∼160 ms)吐出来,才能真正先打腹稿再开口;如果落后了就退化成事后听写,提前太多又会让延迟变高、音字错位。
  3. 音频服务盯的是“零超时抖动”,不是平均吞吐:文本聊天偶尔卡 0.3 秒人几乎察觉不到,但 12.5 Hz 语音流只要有一帧算超了 80ms,耳机里就会立刻爆出难听的“咔哒”断流杂音——线上务必用 CUDA Graph 锁死单步推理耗时。

需要查阅 Delay Pattern 联合概率数学推导、双阶段文本-语音对齐训练配方,以及可直接运行的 apply_delay_pattern、revert_delay_pattern 与 DepthTransformerHead PyTorch 完整实现?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

传统语音助手由“语音识别(ASR)→ 文本大语言模型(LLM)→ 语音合成(TTS)”三段独立模块级联拼装而成,不仅端到端响应延迟动辄 2∼5 秒,更在“语音转文字”的瓶颈处永久丢弃了说话人的情绪、停顿、笑声、重音与环境声,且完全无法支持人类对话中最自然的全双工抢话打断(Barge-in)与反馈附和(Backchanneling)。2024 年起,以 GPT-4o(参见 GPT / Gemma / Mistral 系列)、Kyutai 开源的 Moshi 以及 Qwen2-Audio / Omni(参见 Qwen 系列)为代表的端到端原生语音大模型(Native Speech-to-Speech LLM) 彻底打破级联范式,将多级离散音频流与文本流统一纳入单一自回归 Transformer,把人机语音交互延迟压低至惊人的 160∼320 ms。

直观理解

传统“ASR + LLM + TTS”级联系统就像跨国电话里的“手写传纸条”:听写员必须等对方一整句话说完,才能抄成纯文字递给大脑,大脑写好回信再交给播音员念出来——慢半拍不说,对方语气里的委屈、嘲讽或叹气全丢在了纸条上。而 Moshi / GPT-4o 原生全双工模型 像一位耳聪目明的真人聊天伙伴:两只耳朵一边实时听着你的声音、一边脑子里悄悄默念着要回应的文字提纲(Inner Monologue),嘴巴同步顺滑发声;只要你突然插话,它不用等任何模块重启,在不到 0.2 秒内就会自然停顿顺着你的新话题接下去。

起源背景与演进脉络 ​

语音大模型架构在短短两年内完成了从“串联拼装”到“全双工原生对话”的四级跨越:

  1. 传统级联管线(ASR → LLM → TTS)的三大死穴:
    • 高累积延迟:必须等待端点检测(VAD)判定用户说完(∼500 ms)+ ASR 整句解码 + LLM 首字生成 + TTS 合成首句缓冲,端到端延迟通常 >2 s,远超人类对话平均 200∼300 ms 的自然话轮转换间隔。
    • 副语言信息归零:纯文本瓶颈彻底抹平了语速、音高、愤怒、犹豫与背景音,LLM 既“听不出”语气也“控不住”情感发声。
    • 半双工对讲机僵化:模型在“听”和“说”之间严格互斥,无法同时监听用户打断,也无法发出“嗯”“对”等自然附和音。
  2. 第一代离散音频生成(AudioLM / VALL-E / MusicGen,2022–2023):依托 残差矢量量化(RVQ) 编解码器(SoundStream / EnCodec),将波形离散为多层码本序列。VALL-E 采用“自回归预测第 1 层粗码本 + 非自回归并行补全其余 7 层”的二阶段方案;MusicGen 提出极其简洁优雅的 Delay Pattern(错位延迟排布),让单阶段自回归模型每步并行预测全部 K 层码本,开启高效音频自回归建模时代。
  3. 语义-声学解耦低帧率 Codec(SpeechTokenizer / Mimi,2023–2024):传统 EnCodec 帧率高达 75 Hz 且全部码本偏向波形重建,导致 LLM 难学语义且 10 秒语音就产生数千 Token。Moshi 团队设计的 Mimi Codec 采用全因果流式编解码器,将帧率压缩至极致的 12.5 Hz(每帧 80 ms),并将第 1 级量化器通过知识蒸馏显式对齐预训练自监督语音模型 WavLM,实现单一 RVQ 内的“语义码本(第 1 级)+ 声学码本(第 2–8 级)”解耦。
  4. 全双工原生多流对话(Moshi / GPT-4o Omni,2024):彻底取消“谁先说完谁再说”的半双工轮次切换,在每个 80 ms 时间步上同时并行建模用户音频流、系统音频流与系统文本“内心独白(Inner Monologue)”流,借助 RQ-Transformer(Temporal + Depth 双层结构)实现理论延迟仅 160 ms、实测约 200 ms 的真人级实时语音交互。

核心原理与数学推导 ​

1. Mimi 神经音频编解码:12.5Hz 因果流式与语义-声学分裂 RVQ ​

Mimi 将 24 kHz 原始波形下采样 1920×,以极低帧率 fs=12.5 Hz(每帧仅对应 80 ms 语音)输出 K=8 级离散码本索引 at=(at,1,at,2,…,at,8),每级词表大小 Va=2048,总比特率仅 1.1 kbps。

为避免语义蒸馏损失与声学波形重建损失在同一码本内互相掣肘,Mimi 设计了Split RVQ(分裂残差量化) 结构:编码器隐状态 zt 并行送入两条分支再相加还原:

z^t=Qsem(zt)⏟第 1 级语义 VQ (对齐 WavLM)+∑k=2KQaco,k(rt,k)⏟第 2∼K 级声学 RVQ (补全音色与细节)

同时,编码器与解码器内部的卷积与 Transformer 全部使用严格因果卷积与因果滑动窗口注意力,支持逐帧流式编码与还原,无需等待未来语音帧。

2. 多码本并行预测:MusicGen Delay Pattern ​

若每个时间步有 K=8 个音频码本,最朴素的展平(Flattening)方式会把序列拉长 K 倍(12.5×8=100 tok/s),算力暴增;若在同一时间步完全独立并行预测 K 个码本,又违背了第 k 级残差强依赖第 1…k−1 级粗码本的统计条件分布。

Delay Pattern(错位延迟模式) 以极小的固定延迟代价 K−1 帧完美化解矛盾:将第 k 级码本在时间轴上人为向右延迟 dk 步(典型如线性延迟 dk=k−1,或在 Moshi 中将语义码本延迟 0 步、声学码本统一延迟 τ=1∼2 步)。记错位后的序列为 a~t,k=at−dk,k(越界处填入特殊占位符 `<pad>`),则联合概率分解为:

P(A)=∏t=1T+dK∏k=1KP(a~t,k|A~<t)

在每个时间步 t,主干网络只需跑一次前向计算即可并行预测全部 K 个码本,同时第 k 级码本在预测 at′,k 时已经能够通过历史上下文 A~<t 完整看到同一语音帧的前序粗码本 at′,1,…,at′,k−1!

3. Moshi 架构:Inner Monologue 与 RQ-Transformer 全双工联合建模 ​

直接纯语音自回归训练容易出现“发音流利但逻辑胡说八道、缺乏事实知识”的灾难。Moshi 提出极具创造性的 Inner Monologue(内心独白):将模型要说出的语音对应的对齐文本词元流 Wt(帧率对齐 12.5 Hz,无新词时输出 `<pad>` 或 `<epd>`,语义词元提前于声学词元 τ 步生成)作为辅助主干流与系统语音流并行自回归预测。

在每个 80 ms 时间步 t,模型同时观测到双流音频 + 文本独白:

  • 用户音频流(输入条件):Ut=(ut,1,…,ut,8),全双工持续流入,不中断;
  • 模型内部文本流(输出):wt∈Vtext∪{⟨pad⟩,⟨epd⟩};
  • 模型语音流(输出):St=(st,1,…,st,8),受延迟偏移 τ 约束滞后于文本流 wt。

为在单步 80 ms 内精确建模 (wt,st,1,…,st,8) 之间的强条件依赖而不增加主干序列长度,Moshi 采用 Temporal + Depth 分层 RQ-Transformer:

  1. Temporal Transformer(主干,7B 参数):以 12.5 Hz 推进,把第 t−1 步全部输入(用户 8 路码本 + 系统 8 路码本 + 系统文本 Token)的嵌入求和作为单个向量送入主干,输出当前时间步的全局上下文隐状态 ht,并直接线性预测当前文本独白 wt:P(wt∣H<t,U≤t)=Softmax(Wtextht)
  2. Depth Transformer(轻量深度解码头,约 6 层):以 ht 为条件,在单步 t 内部沿码本深度 k=1…8 极速串行自回归生成系统语音的 8 个音频 Token,联合分布严格写作:
P(wt,St∣H<t,U≤t)=P(wt∣ht)∏k=1KP(st,k|ht,wt,st,<k)

通过先生成“内心独白文字”再紧跟生成“声音词元”,Moshi 既继承了预训练文本大模型的深厚世界知识与逻辑推理能力,又保留了端到端音频流的情感韵律与毫秒级实时响应。

4. 双流全双工建模如何原生涌现“打断”与“附和” ​

因为模型在每一帧都无条件接收用户实时音频 Ut 并同步预测自身输出 (wt,St),训练语料直接采用真实双人立体声电话录音(分离左右声道,保留大量重叠发言、打断停顿、笑声与附和词):

  • 当用户在模型说话中途插话时,Ut 从静音码变为清晰语音码,Temporal Transformer 在下一帧(80 ms 内)立即感知上下文突变,自发输出静音音频码与 `<pad>` 文本停止当前发言,并迅速转向回应用户的新意图——全程无需任何外部 VAD 规则或打断状态机。

架构与数据流图 ​

图表加载中...

主流语音大模型范式横向对比 ​

架构范式音频表征方式端到端延迟副语言 / 情感保留全双工实时打断代表模型
传统级联(ASR+LLM+TTS)纯文本中转2.0∼5.0 s极差(文本瓶颈丢弃)不支持(依赖外部 VAD)传统语音助手
连续编码器 + LLM(理解向)Whisper 连续特征 + 投影0.8∼1.5 s听觉强,发声仍靠外挂 TTS半双工为主Qwen2-Audio
离散单流交错(Speech-Text)HuBERT / 离散语音 + 文本交错0.5∼1.2 s中强半双工(轮次切换)Spirit-LM、GLM-4-Voice
多流 Delay + Inner Monologue12.5Hz 语义-声学分裂 RVQ160∼200 ms极强(韵律/笑声/情绪原生)原生全双工双流Kyutai Moshi
原生端到端多模态 Omni统一音视频文本联合流230∼320 ms极强(听视说统一)原生支持打断与多情绪GPT-4o、Qwen2.5-Omni

核心 PyTorch 参考实现 ​

下面给出完全可运行的 MusicGen / Moshi 风格 Delay Pattern 错位编解码对齐 + 轻量 Depth Transformer 多码本预测头 核心参考实现:

python
import torch
import torch.nn as nn
import torch.nn.functional as F


def apply_delay_pattern(
    codes: torch.Tensor, delays: list[int], pad_token_id: int = 2048
) -> torch.Tensor:
    """
    将原始多码本序列 codes [B, K, T] 按每层指定延迟 delays 错位排布为 [B, K, T + max_delay]。
    例如 MusicGen 线性延迟 delays=[0, 1, 2, 3],或 Moshi 语义-声学延迟 delays=[0, 1, 1, 1]。
    """
    B, K, T = codes.shape
    assert len(delays) == K
    max_d = max(delays)
    out_len = T + max_d
    delayed = torch.full((B, K, out_len), pad_token_id, dtype=codes.dtype, device=codes.device)
    for k, d in enumerate(delays):
        delayed[:, k, d : d + T] = codes[:, k, :]
    return delayed


def revert_delay_pattern(delayed: torch.Tensor, delays: list[int]) -> torch.Tensor:
    """从错位生成结果 [B, K, T_out] 还原严格时间对齐的原始多码本 [B, K, T]。"""
    B, K, T_out = delayed.shape
    max_d = max(delays)
    orig_T = T_out - max_d
    restored = torch.empty((B, K, orig_T), dtype=delayed.dtype, device=delayed.device)
    for k, d in enumerate(delays):
        restored[:, k, :] = delayed[:, k, d : d + orig_T]
    return restored


class DepthTransformerHead(nn.Module):
    """
    Moshi 风格轻量 Depth Transformer:
    在单个 80ms 时间步内,以 Temporal 主干隐状态 h_t 和内心独白词元 w_t 为条件,
    沿深度 k=1..K 自回归预测系统当前帧的 K 个 RVQ 音频码本 Logits。
    """

    def __init__(
        self,
        d_temporal: int,
        d_depth: int,
        num_codebooks: int = 8,
        audio_vocab_size: int = 2049,
        text_vocab_size: int = 32000,
        n_layers: int = 4,
        n_heads: int = 8,
    ) -> None:
        super().__init__()
        self.num_codebooks = num_codebooks
        self.temporal_proj = nn.Linear(d_temporal, d_depth)
        self.text_emb = nn.Embedding(text_vocab_size, d_depth)
        # 为每一级音频码本配置独立输入嵌入与输出分类头
        self.audio_embs = nn.ModuleList(
            [nn.Embedding(audio_vocab_size, d_depth) for _ in range(num_codebooks)]
        )
        self.audio_heads = nn.ModuleList(
            [nn.Linear(d_depth, audio_vocab_size, bias=False) for _ in range(num_codebooks)]
        )
        encoder_layer = nn.TransformerEncoderLayer(
            d_model=d_depth, nhead=n_heads, dim_feedforward=d_depth * 4, batch_first=True
        )
        self.depth_layers = nn.TransformerEncoder(encoder_layer, num_layers=n_layers)

    def forward(
        self, h_t: torch.Tensor, text_tok: torch.Tensor, audio_targets: torch.Tensor
    ) -> torch.Tensor:
        """
        h_t: [B, d_temporal] Temporal 主干当前帧隐状态
        text_tok: [B] 当前帧已预测的 Inner Monologue 文本 Token
        audio_targets: [B, K] 训练期 Teacher-Forcing 目标多码本 Token
        返回 logits: [B, K, audio_vocab_size]
        """
        B, K = audio_targets.shape
        device = h_t.device
        # 深度序列步 0 输入为 h_t + text_tok,步 k (1..K-1) 输入为第 k-1 级音频码本嵌入
        cond = self.temporal_proj(h_t) + self.text_emb(text_tok)  # [B, d_depth]
        seq_inputs = [cond]
        for k in range(K - 1):
            seq_inputs.append(self.audio_embs[k](audio_targets[:, k]) + self.temporal_proj(h_t))

        x = torch.stack(seq_inputs, dim=1)  # [B, K, d_depth]
        causal_mask = nn.Transformer.generate_square_subsequent_mask(K, device=device)
        depth_out = self.depth_layers(x, mask=causal_mask, is_causal=True)  # [B, K, d_depth]

        logits = torch.stack(
            [self.audio_heads[k](depth_out[:, k, :]) for k in range(K)], dim=1
        )
        return logits


if __name__ == "__main__":
    torch.manual_seed(0)
    # 1. 验证 Delay Pattern 错位与还原
    raw_codes = torch.randint(0, 2048, (2, 4, 10))
    delays = [0, 1, 2, 3]
    delayed = apply_delay_pattern(raw_codes, delays, pad_token_id=2048)
    recovered = revert_delay_pattern(delayed, delays)
    assert torch.equal(raw_codes, recovered)
    print(f"原始多码本: {raw_codes.shape} -> Delay 错位后: {delayed.shape} (无损还原通过)")

    # 2. 验证单步 Depth Transformer 预测 8 级 RVQ 码本
    head = DepthTransformerHead(d_temporal=512, d_depth=256, num_codebooks=8)
    h_t = torch.randn(2, 512)
    w_t = torch.randint(0, 32000, (2,))
    a_t = torch.randint(0, 2048, (2, 8))
    logits = head(h_t, w_t, a_t)
    loss = F.cross_entropy(logits.reshape(-1, logits.size(-1)), a_t.reshape(-1))
    print(f"Depth Transformer 输出 Logits: {logits.shape}, 多码本交叉熵 Loss: {loss.item():.4f}")

工程实践与常见陷阱 ​

工程实践

  1. 声学码本与语义码本加权采样温度分离:在推理 解码采样 阶段,第 1 级语义码本与 Inner Monologue 文本决定“说什么内容”,宜使用较低温度与 Top-p 保证逻辑严密;第 2–8 级声学码本控制音色纹理与高频自然度,可适当调整采样策略避免音频出现金属机械感或重复卡顿。
  2. 两阶段“文本先导 → 多流语音对齐”预训练配方:直接从零训练纯语音大模型极难习得百科知识。标准工程路径是先基于高质量纯文本预训练 LLM 初始化 Temporal Transformer 骨干,再用带强制时间戳对齐(Forced Alignment,如 Whisper-timestamped)的大规模音频-文本语料唤醒 Depth Transformer 与双流预测能力,最后在真实双人对话录音上微调全双工打断行为。
  3. 利用低帧率红利延长语音上下文:Mimi 的 12.5 Hz 帧率意味着 1 分钟完整语音仅占 750 个 Temporal 步,相比 EnCodec 75 Hz 缩减 6× KV Cache 显存占用,让 8B 级模型在消费级单卡上也能轻松实现 5 分钟以上连续全双工通话与实时 80ms 步进推理。

常见陷阱

  1. 双声道数据串音(Crosstalk)破坏全双工打断:若收集的双人对话录音存在麦克风串音(A 的声音漏进 B 声道),模型会把自己的回声当成用户打断,导致刚开口就不断自我闭嘴。训练数据构建必须做严格的回声消除(AEC)与声源分离清洗;线上客户端同样必须开启硬件级回声消除。
  2. Inner Monologue 对齐偏移(Text-Audio Offset)设置不当:如果文本词元落后于对应语音发音,内心独白就退化成了“事后听写(ASR)”,彻底丧失提前规划语义的作用;反之若提前过多(如提前 1–2 秒),则会推高首包发声延迟并拉大文本与声学对齐难度。Moshi 实证将声学相对文本延迟控制在 1∼2 帧(80∼160 ms)是知识质量与低延迟的最佳甜点。
  3. 只优化离线吞吐忽视尾延迟抖动(Jitter):语音流式服务与文本 Serving 调度 的核心指标完全不同——文本偶尔卡顿 300ms 用户几乎无感,而 12.5 Hz 音频流只要单帧生成超过 80 ms 预算就会立刻出现刺耳爆音(Buffer Underrun)。部署时必须启用 CUDA Graph 固化单步图执行,并固定步进批处理预算。

延伸阅读与参考论文 ​

  • Défossez, A., Mazaré, L., Orsini, M., et al. (2024). Moshi: a speech-text foundation model for real-time dialogue (Moshi & Mimi). Kyutai. arXiv:2410.00037 ↗
  • Wang, C., Chen, S., Wu, Y., et al. (2023). Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (VALL-E). Microsoft Research. arXiv:2301.02111 ↗
  • Copet, J., Kreuk, F., Gat, I., et al. (2023). Simple and Controllable Music Generation (MusicGen Delay Pattern). NeurIPS 2023. arXiv:2306.05284 ↗
  • Borsos, Z., Marinier, R., Vincent, D., et al. (2023). AudioLM: a Language Modeling Approach to Audio Generation. IEEE/ACM TASLP. arXiv:2209.03143 ↗
  • Zhang, X., Zhang, D., Li, S., Zhou, Y., & Qiu, X. (2023). SpeechTokenizer: Unified Speech Tokenizer for Speech Large Language Models. ICLR 2024. arXiv:2308.16692 ↗
  • Chu, Y., Xu, J., Yang, Q., et al. (2024). Qwen2-Audio Technical Report. Alibaba Qwen Team. arXiv:2407.10759 ↗