德国 Kolibri 开放权重：78B 总量，实际每步只用 3.46B

基础模型 / 开放权重 / 推理部署 · 8.8/10 · 建议看技术报告

德国公司 Aleph Alpha 于 10 月 3 日发布 Kolibri，同时在 Hugging Face 开放 FP8 权重，采用 Apache 2.0 许可。模型兼顾德语和英语，共约 781 亿参数，属于专家混合架构：每个 token 实际激活约 34.6 亿参数。它不是“普通电脑轻松跑”的小模型，FP8 权重本身约 78GB；官方列出的最低配置包括一张 H200 或两张 H100。

技术报告里有个值得看的取舍：团队没有把“德语模型”理解成只在训练末期翻译些英语问答。官方称，预训练数据约五分之一为德语，并专门调整词表压缩效率。50 层网络里，40 层只看附近 512 个 token，另外 10 层看完整上下文，目的是减少长文推理的计算负担。Aleph Alpha 给出的同团队服务测试显示，在两张 H100 上处理 256K 长请求时，Kolibri 能同时服务 18 路，而一款 123B 试验模型只能服务 3 路；这个对照说明了它为何选 78B 的规模，却不能推成对所有模型、所有服务器都快六倍。

官方称模型支持 100 万 token 上下文。这里要看模型卡里的下一句：原生长上下文训练到 262,144 token，100 万是扩展验证的长度；复杂任务或在意吞吐时，团队仍建议不超过 262,144 token。综合基准也主要由发布方测试，尚待独立评估。Kolibri 真正可检验的价值，是德语机构能否在自有设备上，以可接受的显存、延迟和准确率处理本地文件；开放权重让外部复测成为可能，但训练语料和完整训练流水线并未随权重一同开放。