https://mp.weixin.qq.com/s/m9Q_YMwX_TNbs2KvxFWO8g
蒸馏，一个所有人都不用公开谈论，但是都默默关注的。
过去 一段时间，我向来自不同公司的人学习了蒸馏（可称为关于蒸馏的蒸馏）。这篇文章会梳理几个基础问：蒸馏是什么？大规模蒸馏如何实现？它的难度和门槛是什么？代价又是什么？
当然还有很重要的：蒸馏不是什么？——这是一个在出圈、扩散中，也被层层误解和曲解的概念。
一件有意思的事是，虽然大家不愿意公开谈论蒸馏，但我接触的多数人并不从心底认为蒸馏是可耻的。根源在于，目前对闭源模型的蒸馏是黑盒蒸馏，实际上大家利用的是模型在发布之后的使用阶段的产物。所以当 Anthropic 们来指责其他公司“蒸馏”它的时候，它也总是会被回旋镖击中：当年谁蒸馏了整个互联网和那么多人类书籍（还没付钱）。
*这是一次特别需要反馈的操作，希望更多从业者来交流你们的所见和态度。也许我们还能有更深入的 2.0 版本。
@aigc1024
