vllm-project/vllm

收录：2026-10-15

难点是，小模型认为自己很有把握，并不代表目标模型会同意。vLLM用一个轻量逻辑回归，根据草稿分布估计接受概率，再用服务过程中已经产生的接受、拒绝结果持续校准。若一次草稿有K个位置，只需K+1个参数：共享斜率，加上各位置的偏置。这样没有专门置信度预测头的草稿模型，也能采用自适应验证，不必先重训预测头。

仓库状态可能随时间变化，开放范围与使用条件请查看项目自身的许可证和说明。