TY  - UNPB
TI  - X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation
UR  - https://arxiv.org/abs/2609.11412
DO  - 10.48550/arXiv.2609.11412
DA  - 2026-09-10
KW  - Juju Radar
KW  - 待阅读
KW  - 补看
KW  - 语音
KW  - 推理效率
N1  - Juju Radar · 2026-09-14  小鹏的 X-AuT 尝试给 Qwen3-ASR-0.6B 做减法，把音频编码器从 18 层逐步缩到 14 层。难点在于，删层会改变传给后面语言模型的表示，轻则漏字，重则提前结束。作者先测试哪些层可以一起删，再借助较大模型的指导和分阶段恢复训练，尽量补回识别能力。  在十个中英文测试集上，14 层版本的平均错误率为 5.75%，原版为 5.61%；音频编码器参数减少 20.7%。少删两层的 16 层版本，平均错误率反而降到 5.27%。目前公开的是 14 层完整权重、推理脚本和简化微调示例，不包含全部训练数据与三阶段训练流水线。  真正部署时，还得看整套流程。作者测得车载加速器上的编码器延迟下降 21.4%，端到端延迟只下降 4.7%；在 H800 上，两项分别下降 11.4% 和 2.6%。后面的文字解码仍然要花时间，不能把局部提速直接写成产品响应速度提升。结果来自单次实验，尚无多次运行的误差范围。论文 9 月 10 日提交、11 日公告，本期补看。  入选理由：渐进删层与恢复训练有具体部署取舍；公开14层权重，且披露编码器与端到端性能差异，适合工程读者。 重要度：8/10。 论文：https://arxiv.org/abs/2609.11412 本期资料：https://www.asteronline.cn/juju-radar/2026-09-14/ AI 辅助整理；原始 PDF 以链接附件保存，未独立复现。
ER  -