AI探索指南

推荐大家看一下OpenAI最近关于Agent RFT的实战分享。对于一些已经深度做过Agent的同学来说，这可能是一个小范围的共识，但是对于刚开始做、或者做得比较浅的同学，这个思路大概率就是后面会经历的路径。 为什么Agent需要RFT？ 我们先来说一下怎么构建Agent。逻辑很简单：基于一个强大的基础模型，给他写System Prompt，教他Know-how，再配上一系列工具Tool。这样它就能调用工具来完成任务，而不只是回答问题。 在这个阶段，大家会不断调试PE。你会发现把Prompt写得更好…

此外，SFT是基于大量的静态数据集，比如10000个数据对（input + output），然后一次去训，更新模型权重。而RFT是更加实时动态迭代的，先跑10个sample（user prompt + agent output + 打分），然后训练模型，基于更新后的模型权重，再跑下一批10个sample，如此持续，越来越强。

这样带来的结果是，RFT的样本效率极高，OpenAI的分享里提到，100个sample就可能带来非常显著的提升。

这里的核心逻辑，其实跟DeepSeek R1的训练方式是类似的。只不过，R1的训练（比如数学或Coding）是纯rule-based的reward，有标准答案。而Agent RFT要与外部工具交互，场景更开放、更复杂，所以它必须依赖自定义的、更复杂的Reward方式。

RFT对业务的价值

RFT在OpenAI的多个业务（如Devin、Genspark）中都得到了显著的效果。这种提升是生产环境最看重的：消耗的Token数在下降，延时在降低，任务的准确率在提升。

哪怕你通过RFT之后，垂直任务的效果只是跟强大的基模打平，但是你的成本显著下降，耗时显著降低，这在业务侧的价值也是巨大的。

这其实跟几个月前的内部讨论思路差不多。当时我们也在研究怎么在垂直场景下让Agent表现更好，在测试中也拿到了非常显著的提升。目前应该很多团队都在这样做。所以，RFT这条路将来应该会在各个垂直领域里都展开。

推荐大家都可以去看一下原版分享，如果觉得吃力，可以把链接导入NotebookLM让他总结，也可以把DeepSeek R1的论文一起作为Source丢进去做比较。这样你就能更好理解SFT、RL、RFT之间的一些区别和相同之处。