音频生成技术正在经历一场全新的范式迁移——从传统级联架构，逐步向端到端生成范式演进。长期以来，主流的做法是”曲线救国”：合成系统先将音频压缩成梅尔频谱图等中间表征，再依赖神经声码器”翻译”回波形。每一次转换都带来信息损失与误差累积，最终丢失了最需要保留的细腻音色与个性化细节。

能不能让 AI 直接学会声音本身的规律，跳过中间环节？

为破解这一技术瓶颈，美团 LongCat 团队正式发布 LongCat-AudioDiT。在该模型中，我们彻底抛弃梅尔谱等中间表示，直接在波形潜空间进行基于扩散模型的文本转语音（Text-to-Speech, TTS），从根源阻断数据转换的级联误差。

另外，我们做了两个关键改进：首先，我们识别并纠正了一个长期存在的”训练-推理不匹配”问题；其次，我们用自适应投影引导（APG）取代了传统的无分类器引导（CFG），从而大幅提升了最终的语音生成质量。

结果表明，LongCat-AudioDiT 在 Seed 基准测试中取得当前最优（SOTA）的零样本语音克隆性能，同时保持了具有竞争力的可懂度。 其中 LongCat-AudioDiT-3.5B 模型，在 Seed-ZH 测试集的说话人相似度（SIM）指标提升至 0.818，Seed-Hard 测试集达到 0.797，超过了 Seed-TTS、CosyVoice3.5、MiniMax-Speech 等知名模型，验证了波形空间直接生成范式的有效性。

今天，我们将 LongCat-AudioDiT（1B/3.5B）完整开源：

接下来，我们将为您拆解 LongCat-AudioDiT 的核心技术创新。

一、波形潜在空间直接生成架构：规避中间表征的信息衰减瓶颈

业界主流 TTS 系统长期受困于”多阶段”的复杂流程：先预测中间声学特征（如梅尔频谱），再依赖一个独立的神经声码器将特征”翻译”成最终波形。这种”预测+翻译”的范式，本质上是在两个不同空间里”传话”，必然会累积误差，导致最终合成的声音丢失了高保真、个性化的细节——而这恰恰是零样本语音克隆最需要保留的部分。

为此，我们构建了全新的 LongCat-AudioDiT 架构。其核心逻辑非常简单：

只用一个波形变分自编码器（Wav-VAE）和一个扩散 Transformer（DiT），在波形隐空间里完成声音的压缩、建模与重建。

1.1 Wav-VAE：为波形量身定制的压缩器

Wav-VAE 作为一个全卷积音频自编码器，它将原始波形压缩为紧凑的连续隐向量。其设计蕴含了多项关键创新：

  • 高效的下采样与多尺度建模：编码器通过多级 Oobleck 块实现层级下采样，每个块内堆叠了带空洞卷积的残差单元，能够捕获从局部到全局的时序依赖。最终将 24kHz 的波形压缩到约 11.7Hz 的帧率，压缩比超过 2000 倍。
  • 非参数捷径稳定训练：为了在激进下采样时保持训练稳定，每个编码器/解码器块都引入了非参数的”空间到通道”或”通道到空间”捷径分支，为梯度提供了直接的线性通路，大幅提升了收敛稳定性。
  • 对抗式多目标训练：Wav-VAE 的优化目标融合了多分辨率 STFT 损失、多尺度梅尔损失、时域 L1 损失、KL 散度正则，以及多尺度 STFT 判别器的对抗损失和特征匹配损失。这套组合拳确保了重建波形既保持精确的时频结构，又具备自然听感。

1.2 扩散 Transformer：在隐空间中学习从文本到声音的映射

有了高质量的隐空间，我们的 DiT 模型便在这个空间里学习条件流匹配（CFM）。

文本编码方面，我们选择了支持 107 种语言的 UMT5 作为文本编码器。一个关键的发现是：仅使用最后一层隐藏状态模型无法生成可懂的语音。我们推测这是因为高层语义抽象丢失了关键的词法、音素线索。因此，我们创新性地将原始词嵌入（第一层）与最后一层隐藏状态相加，经过 LayerNorm 平衡 scale 后送入后续模块。这种”高低结合”的策略大幅提升了生成语音的可懂度。此外，我们还引入了轻量的 ConvNeXt V2 序列模块对文本表征进行细化处理，加速了文本-语音对齐的收敛。

DiT 的骨干网络基于 Transformer，并集成了多项结构优化：

  • 全局自适应层归一化（Global AdaLN） 注入时间步信息，并通过全局共享的 AdaLN 块有效减少参数量。
  • QK-Norm + RoPE 稳定注意力训练，同时利用旋转位置编码捕捉相对位置关系。
  • 长跳跃连接 将输入直接加到输出，在实验中带来了一致的质量提升。
  • 表征对齐（REPA） 借助 mHuBERT 的自监督特征引导 DiT 中间层，虽不提升最终质量，但显著加速了收敛。

二、推理机制的双重关键突破：从精准对齐到生成净化

如果说波形潜在空间架构解决了声学建模的”空间选择”问题，那么我们对推理过程的两项关键改进，则从根本上优化了生成过程的”路径精度”与”质量纯度”。

2.1 修复流匹配 TTS 的「训练-推理」不匹配问题

我们首次发现并解决了流匹配 TTS 中长期存在的训练-推理不匹配问题。在标准 CFM 训练框架中，模型仅在掩码区域计算损失，而音频提示区域（prompt）并不参与优化；然而在推理阶段，这些同样提供音色条件的提示区域却会不受约束地通过扩散 ODE 自由演化，导致其分布轨迹偏离训练时的约束条件，最终造成生成语音的说话人音色漂移与稳定性下降。

为此，我们提出双重约束机制：

  1. 提示区域隐变量强制重置：在每一步推理迭代中，严格将提示区域的隐变量重置为其理论真值（即训练时的 ground truth），确保提示区域的演化轨迹与训练分布完全对齐，为生成部分提供稳定且纯净的声学条件；
  2. 无条件预测净化：在计算无条件速度场时，移除提示区域的隐变量输入，从而计算出完全正确的无条件速度，避免信息泄漏。

2.2 自适应投影引导（APG）：缓解 CFG「过饱和」问题

传统的扩散模型普遍使用无分类器引导（CFG），通过放大条件预测与无条件预测的差异来提升生成质量。但这种方法有一个副作用：引导强度越大，越容易导致频谱”过饱和”，从而使得音质劣化、语音听起来不够自然。

我们提出的自适应投影引导（APG）则换了一个思路：引导信号中真正有益的部分，和引发劣化的部分，在几何上是正交的。APG 将引导信号分解为平行与正交两个分量，保留正交分量（有益部分），同时抑制平行分量（劣化部分），从而在提升自然度的同时避免音质损失。

简单来说，CFG 是”无差别放大”，APG 是”精准筛选”。两项推理优化协同作用，在保持高说话人相似度的同时，显著提升了生成语音的自然度与声学质量。

三、核心洞察：VAE 重建越好，TTS 生成反而越差？

在 Wav-VAE 的实验中，我们观察到了一个非常有意思的现象：VAE 重建质量越好 ≠ 语音生成效果越好

单纯追求高重建分数，会导致潜空间维度膨胀。这使得下游的扩散模型难以学习，导致综合表现下降。

为了深入探究这个问题，我们系统性地对比了不同潜空间维度与帧率配置下的建模表现，最终确定了最优配置：64 维潜在维度 + 11.7Hz 帧率。这一配置既为生成模型留出足够的学习空间，又保留了足够的声学细节，实现了重建保真度与生成质量的最佳平衡。

四、模型性能：定义「零样本」下的声音复刻极限

我们在 Seed 基准上测试了 LongCat-AudioDiT 的表现，并与业界知名模型，比如 SeedTTS、CosyVoice3.5、MiniMax-Speech 等进行对比。

结果表明，LongCat-AudioDiT 在说话人相似度（SIM）方面取得了 SOTA 的表现，同时具有极具竞争力的可懂度。

说话人相似度（SIM）

  • 中文测试集（Seed-ZH）：LongCat-AudioDiT-3.5B 取得了 0.818 的相似度分数，大于之前 SOTA Seed-DiT 的分数 0.809。
  • 中文难句测试集（Seed-Hard）：LongCat-AudioDiT-3.5B 取得了 0.797 的 SOTA 分数。

文本准确率（WER/CER）

  • 中文 CER：LongCat-AudioDiT-1.1B 为 1.18%，LongCat-AudioDiT-3.5B 为 1.09%。在 NAR（非自回归）模型中表现非常出色。
  • 英文 WER：两个版本分别为 1.78% 和 1.50%。其中 LongCat-AudioDiT-3.5B 的 1.50% 达到所有参评模型中的第二最低的错误率，展现了极强的英文文本转语音准确性。
  • 中文难句 CER：LongCat-AudioDiT-3.5B 取得了 6.04% 的成绩，相比于同样基于扩散模型的 F5 TTS（8.67%）错误率大幅降低，表现稳健。

模型在准确率指标上保持了第一梯队的水平，没有为了追求相似度而牺牲可懂度。

值得一提的是，LongCat-AudioDiT 并没有使用高质量人工标注数据和多阶段的训练，仅仅通过 ASR 转写的预训练数据和单阶段预训练就取得了比多阶段训练的模型，如 Seed-TTS、CosyVoice3.5、MiniMax-Speech 等知名模型更好的表现。

总结来说，LongCat-AudioDiT 模型凭借其优秀的说话人相似度（SIM）和稳定的准确率（WER/CER），在零样本语音克隆任务中展现出强大的竞争力。

开源开放

LongCat-AudioDiT 以极简的架构、纯粹的波形潜空间建模，证明了绕开中间表征的扩散 TTS 路线不仅能走通，更能达到业界最佳水平。我们相信，这套”波形隐空间直通”的设计范式将为高保真语音合成与多模态音频生成提供新的思路。

今天，我们将 LongCat-AudioDiT 模型（1B / 3.5B）全部开源，期待与社区同仁共同推动语音生成技术的边界。

🚀 开源平台链接

我们也期待，这套技术能帮助更多开发者和研究者，构建出更自然、更富表现力的语音交互体验。