让8B的小模型能达到32B大模型70%的性能，成本只要原来的1/10。
## 核心亮点
相比传统强化学习，在线策略蒸馏的计算效率提升了50-100倍。用Qwen3-8B在数学推理任务上，150步就能达到70%的AIME'24分数，而强化学习需要17920个GPU小时才能达到68%。
强化学习每个训练回合只教固定数量的比特，而蒸馏每个token都能给反馈。
训练新知识不会把原来的能力搞丢。他们做了个实验，用内部文档训练后，模型的指令跟随能力从85%掉到45%，用在线策略蒸馏一搞，直接恢复到83%，知识还保持在41%。
## 技术原理
在线策略蒸馏的核心思想很简单：让学生模型自己生成轨迹，然后老师模型给每个token打分。用的是反向KL散度作为损失函数，学生模型在老师模型的高概率行为上收敛。
具体实现就四步：
1. 初始化老师客户端
2. 从学生模型采样轨迹
3. 老师模型计算对数概率，算反向KL
4. 用强化学习的方式训练学生模型
感觉这会成为以后训练专用模型的标准套路，特别是那些对成本敏感但又想要性能的场景。就像Canva之于设计，HeyGen之于视频，在线策略蒸馏可能会成为AI模型定制的标配工具。
详情：thinkingmachines.ai/blog/on-policy-distillation/
