XPENG-AI/X-AuT
小鹏的 X-AuT 尝试给 Qwen3-ASR-0.6B 做减法，把音频编码器从 18 层逐步缩到 14 层。难点在于，删层会改变传给后面语言模型的表示，轻则漏字，重则提前结束。作者先测试哪些层可以一起删，再借助较大模型的指导和分阶段恢复训练，尽量补回识别能力。
仓库状态可能随时间变化，开放范围与使用条件请查看项目自身的许可证和说明。
小鹏的 X-AuT 尝试给 Qwen3-ASR-0.6B 做减法，把音频编码器从 18 层逐步缩到 14 层。难点在于，删层会改变传给后面语言模型的表示，轻则漏字，重则提前结束。作者先测试哪些层可以一起删，再借助较大模型的指导和分阶段恢复训练，尽量补回识别能力。
仓库状态可能随时间变化，开放范围与使用条件请查看项目自身的许可证和说明。