Agent写出专用推理引擎：快90%的前提是一台B200和特定文本

Coding Agent / 推理工程 · 8.7/10 · 建议看测试条件

Baseten工程师公开了一次推理引擎实验：让Claude Code使用Fable 5，针对Qwen-3.6-35B-A3B的NVFP4版本和单张B200，持续编写、部署、测量、再修改一个专用引擎。Agent可查阅vLLM、TensorRT-LLM已有优化，工程师设定性能和精度目标，必要时干预它过分偏向某一种请求形态。最终版本叫VibeQwen，约用了一周、17亿token和200个B200小时；这个代价也必须算进“自动优化”的账里。

Baseten报告，在有利于推测解码的重复、结构化文本上，单路输出每秒1792 token，对照调优过的vLLM 0.25.1为943，快约90%；首token从28毫秒降到12毫秒。32路并发时，输出吞吐为每秒10307对6030 token。它不是所有文本、所有并发和所有GPU都快90%。作者还允许与NVFP4参考实现有细微数值差异，但要求相对BF16基线的总体准确性不下降；两个实验性引擎目前都未承载生产流量。

这件事最可迁移的不是那个峰值数字，而是任务怎么交给Agent：先把性能、流量形态和精度检查设成硬门槛，再让它反复跑实验。通用引擎要照顾很多模型与硬件，专用引擎有空间为一个组合做激进优化；但如果测试负载或准确性门槛设错，Agent也会认真地把错误目标做到极致。Baseten的结果目前仍是厂商自测，等待独立复现和生产环境验证。