06 / 一句提示词，能不能变成本地小函数？
本地 AI 与新方法 · 8.5/10 · 近期论文补看 · 值得探索
“判断这段话的情绪，只输出正面、负面或中性。”这类需求不难描述，但如果每天要处理大量输入，每次都调用大模型，就会不断产生费用、延迟和对远程服务的依赖。Compile by Training 尝试先为这样的固定任务训练一个专用函数。
它让教师模型生成输入输出例子，再训练一个小型适配器，最后保存为 .paw 文件。之后的新输入交给共享的 0.6B 本地解释器处理，不必再次调用教师模型。同一个函数还可以保存、复用，并接进普通程序。
作者在特定的 FuzzyBench-Hard 子集上报告了 83.6% 的语义准确率，编译过程约需一分钟。这里的“编译”仍然包含训练，结果也会出错，不能像确定性程序那样保证正确。仓库采用 MIT 许可，默认训练配置建议约 40GB 可用加速器显存；本地执行轻量，不代表生成函数没有成本。
这篇论文于北京时间 9 月 4 日凌晨提交，作为近期补看。它值得继续尝试的场景是需求稳定、调用频繁、结果容易检查的任务。真正影响实用性的，将是初次训练成本能否被后续调用摊薄，以及换一种输入后还能保持多少准确率。