看到《硅谷101》专访田渊栋，也就是上个月被Meta突然裁掉的大佬，说实际上在被裁之前就拿到别家的offer了。
讨论的主要话题：

关于离职与裁员： 田渊栋说，他实际上在被裁之前已经拿到了其他offer，并且已经向上司表达了不满，所以裁员只是加速了他的离开。

AI自动化的趋势： 他认为AI领域的裁员是自动化大趋势的一部分。随着AI工具越来越强，重复性的工程执行工作会减少，而更多人会转向探索性研究和AI在垂直领域的应用（but，普通人哪有这么容易转型？）。

开源模型的未来： 他认为开源会继续存在。一个模型是否有用是关键问题，而是否开源则取决于公司的战略和模型的具体用途。

LLM的局限： 他觉得LLM是一个“很有意思的路线”，但不确定是否是“正确的路线” （毕竟是杨立昆的学生）。LLM最大的问题是需要海量数据，学习效率远低于人类。人类可以从极少样本中获得深刻见解，这是模型目前缺失的。

强化学习（RL）的优势： 他认为强化学习最大的好处在于它是一种“主动学习”，能积极地影响数据分布。在推理等问题上，他认为RL优于SFT（监督微调），因为SFT可能只是在记忆过程，而非真正学会泛化。

对Scaling Law的看法： 他称Scaling Law是一个“悲观的未来”，因为它依赖指数级增长的数据和资源，这是不可持续的。他认为行业需要寻找更高效的智能发展路径。

在FAIR的遗憾与收获： 他最大的遗憾是自己没能做更多的工程工作，并指出当下最理想的是兼具顶尖研究和工程能力的人才。他最大的收获则是培养了“研究的品位”（research taste）。

对AI开发者的建议： 他建议不要盲目追逐市场的热点，因为技术周期变化太快。更重要的是找到自己真正想做的事情，并结合对未来的判断。

个人未来动向： 他尚未确定下一步，但他最理想的目标是能将前沿研究和工程应用结合起来。