晚点独家丨字节讨论训超 5 万亿参数模型，张一鸣：不蒸馏、别被 Coding 这种短期热点影响
https://mp.weixin.qq.com/s/_SGStRsaJmpos2_deXUs8A
张一鸣认为：蒸馏能在短期内改善模型表现，但本质上仍是在复制 Claude 已有的能力。沿着这条路走，最多只能不断逼近对方，很难真正实现超越。
我一直有个疑问：蒸馏一定不能超越教师模型吗？本质它是一种数据来源之一，也不会有谁在后训练全部只用蒸馏的数据，为什么不能超越呢？
当然超越也分在总体还是局部的一个窄化任务上。
更大的问是：蒸馏的代价是什么？
@aigc1024