vLLM用少量在线参数，减少无效验证

推理基础设施 / 投机解码 · 7.8/10 · 持续观察

vLLM在10月14日发布的技术解读整理了在线估计方法与服务实验。对应实现与多项实验已在9月14日合并的PR中公开，这里补看其技术细节。投机解码先由小模型写出候选token，再交给目标模型验证；当服务并发高、GPU计算吃紧时，少验证那些很可能被拒绝的候选，可以节省计算。

难点是，小模型认为自己很有把握，并不代表目标模型会同意。vLLM用一个轻量逻辑回归，根据草稿分布估计接受概率，再用服务过程中已经产生的接受、拒绝结果持续校准。若一次草稿有K个位置，只需K+1个参数：共享斜率，加上各位置的偏置。这样没有专门置信度预测头的草稿模型，也能采用自适应验证，不必先重训预测头。

一项约450万条草稿的实验说明了校准的必要性：直接使用小模型最高概率时，预期校准误差为0.0736，在线估计后降至约0.0100。选用特征还受到输出分布约束——根据实际抽中的token概率进行裁剪，尽管部分判别指标更好，却会让保留下来的样本发生偏移，破坏投机解码原有的分布保证。

工程收益取决于模型组合、并发和后端。文章给出的并发64实验中，各测试数据集都有收益，但作者也指出，某些并发下，更短的固定草稿长度可能更快；目标模型的注意力后端还必须支持变长验证。它提供了一种值得复测的优化：利用在线反馈调整计算分配，而不把所有候选都按固定长度送进大模型。