AI探索指南
21:55 · 2025年10月31日 · 周五
又一个必读内容,Huggingface 出品的 LLM 训练手册
非常详细的介绍了完整的 LLM 训练流程,包括训练指南(是否需要预训练)、预训练、后训练、基础设施
主要以他们自己训练的 SmolLM3 这个 3B 模型为例子
文章或者说手册包含了他们训练模型过程中对一系列决策、发现和死胡同的梳理,全是实践经验
详情:
https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook
Home
Powered by
BroadcastChannel
&
Sepia