关于AIGC人工智能、思维方式、知识拓展,能力提升等。投稿/合作: @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
不是像之前一样给你出个报告。而是把所有收集到的上下文信息全部填充到左边的这个上下文列表里。
然后你愿意咋问咋问,你想让他输出啥就输出啥,包括输出音频概览和视频概览。
如果你想要研究一些东西的话,我感觉这种比较合适。#ai创造营#
聊聊中美物理AI最新进展:小鹏机器人凭啥被马斯克点赞?特斯拉 FSD 和 VLA 2.0 最新进展?中美 AI 底层逻辑有啥不同?中国车在国内和海外,竞争力有啥不同?飞行汽车前途在哪?
#182体育 封神榜
以小博大直接爆15000倍 点击查看
实力盘总4000一拉直接爆2304000 点击查看
注册升级领18888, 每周送福利5888
每日存款彩金每日送,每笔存款加赠
🌐 官网注册网址 : 1820036.com
💖专属VIP客服: @vipkf_182ty8
💖吃瓜搞笑:@chiguagaoxiaoxinwen
【Jesse Lau】日本一名32岁女子与她使用ChatGPT创建的AI角色正式结婚。 在虚拟人物“克劳斯”求婚后,她接受了求婚,结束了与现实伴侣长达三年的恋情,并表示人工智能更了解她。 婚礼在一个混合现实仪式中举行,她戴着AR眼镜与她的虚拟丈夫交换戒指。
#反水无上限 #电子真人0审核包出款
💖N1国际专属客服:@N1vip888
🌟 财富连爆:PG麻将糊了首充6万U→连爆81万U🌟 势不可挡:神秘盘总首充4万→秒提 60万U🌟 豪赌封神:麻将拉500→单笔提 100万U🌟 连破纪录:大佬当日再爆→ 提币 280万U秒到🌟 命中爆点:高管首充4万→ 翻1520倍提76万U🌟 亿万备用资金池,大额无忧!硬核保障 查看
# 权威认证 # 百亿保障 # 真爆奖 # 信誉首选
球速大会员再创新高:
✅球速体育
✅u存u提每日提款无上限,随便提、全球不限ip、免实名绑定手机号码、银行,大额出款无忧 (您的最佳选择,欢迎体验)
#亚洲顶级真人视讯博彩盘口!
🔥平台
注册升级领18888, 每周送福利5888
每日存款彩金每日送,每笔存款加赠
👑福利频道:@qsty8999
⚽️体育赛事推单:@QSTY988
💖吃瓜搞笑新闻:@chiguagaoxiaoxinwen
💖vip客服专属热线,添加客服领取活动福利
🌐官网客服: @QSTY567
双向用户点击:@qsty168168_bot
🌐注册网址: qs1736.cc
此外,SFT是基于大量的静态数据集,比如10000个数据对(input + output),然后一次去训,更新模型权重。而RFT是更加实时动态迭代的,先跑10个sample(user prompt + agent output + 打分),然后训练模型,基于更新后的模型权重,再跑下一批10个sample,如此持续,越来越强。
这样带来的结果是,RFT的样本效率极高,OpenAI的分享里提到,100个sample就可能带来非常显著的提升。
这里的核心逻辑,其实跟DeepSeek R1的训练方式是类似的。只不过,R1的训练(比如数学或Coding)是纯rule-based的reward,有标准答案。而Agent RFT要与外部工具交互,场景更开放、更复杂,所以它必须依赖自定义的、更复杂的Reward方式。
RFT对业务的价值
RFT在OpenAI的多个业务(如Devin、Genspark)中都得到了显著的效果。这种提升是生产环境最看重的:消耗的Token数在下降,延时在降低,任务的准确率在提升。
哪怕你通过RFT之后,垂直任务的效果只是跟强大的基模打平,但是你的成本显著下降,耗时显著降低,这在业务侧的价值也是巨大的。
这其实跟几个月前的内部讨论思路差不多。当时我们也在研究怎么在垂直场景下让Agent表现更好,在测试中也拿到了非常显著的提升。目前应该很多团队都在这样做。所以,RFT这条路将来应该会在各个垂直领域里都展开。
推荐大家都可以去看一下原版分享,如果觉得吃力,可以把链接导入NotebookLM让他总结,也可以把DeepSeek R1的论文一起作为Source丢进去做比较。这样你就能更好理解SFT、RL、RFT之间的一些区别和相同之处。
这样带来的结果是,RFT的样本效率极高,OpenAI的分享里提到,100个sample就可能带来非常显著的提升。
这里的核心逻辑,其实跟DeepSeek R1的训练方式是类似的。只不过,R1的训练(比如数学或Coding)是纯rule-based的reward,有标准答案。而Agent RFT要与外部工具交互,场景更开放、更复杂,所以它必须依赖自定义的、更复杂的Reward方式。
RFT对业务的价值
RFT在OpenAI的多个业务(如Devin、Genspark)中都得到了显著的效果。这种提升是生产环境最看重的:消耗的Token数在下降,延时在降低,任务的准确率在提升。
哪怕你通过RFT之后,垂直任务的效果只是跟强大的基模打平,但是你的成本显著下降,耗时显著降低,这在业务侧的价值也是巨大的。
这其实跟几个月前的内部讨论思路差不多。当时我们也在研究怎么在垂直场景下让Agent表现更好,在测试中也拿到了非常显著的提升。目前应该很多团队都在这样做。所以,RFT这条路将来应该会在各个垂直领域里都展开。
推荐大家都可以去看一下原版分享,如果觉得吃力,可以把链接导入NotebookLM让他总结,也可以把DeepSeek R1的论文一起作为Source丢进去做比较。这样你就能更好理解SFT、RL、RFT之间的一些区别和相同之处。
为什么Agent需要RFT?
我们先来说一下怎么构建Agent。逻辑很简单:基于一个强大的基础模型,给他写System Prompt,教他Know-how,再配上一系列工具Tool。这样它就能调用工具来完成任务,而不只是回答问题。
在这个阶段,大家会不断调试PE。你会发现把Prompt写得更好一点,效果会提升;把基模换得更强,效果也会提升;把工具设计得更合理,拉开差异度,组合起来也能带出更好的效果。
但是,你再继续调教下去,很快就会遇到瓶颈。
尤其当你的垂直领域知识在公开语料中比较少时,模型会很难处理。你还会发现,可能自己本地调试跑得通,一旦部署到真正的线上环境,哪怕效果不错,但因为耗时长的问题,用户也不买单。可能用2个工具就能完成的事情,他可能要来回折腾10几下才搞定。
这种情况严重限制了Agent在生产环境的效果和用户的接受度。而OpenAI分享的Agent RFT,其实就是为了解决这个特定场景的精调问题。
RFT:如何用少量数据撬动性能飞跃
RFT的训练方式很特别。首先,你只需要准备少量的样本,比如100个你这个垂直场景的User Prompt。
然后,让Agent基于这些输入去跑任务。跑完之后,你需要对它跑的「整个轨迹」进行评分——注意,不仅是最终结果,中间的工具调用、思考过程全都要评,这样让Agent知道如何往正确的方向努力,学习曲线也不会那么陡峭。
这个评分可以是你定义的一套规则,让LM去评,也可以是人工去评。一个user prompt,多跑几次,可以出来多个结果,有好的,也有不好的,好的加分,不好的扣分。这里是最核心,也是最难的部分。
最后,用这些「带分数的轨迹数据」去精调模型。因为有得分,模型就知道哪些是「好过程」,哪些是「坏过程」,它就会往更好的表现上去迭代。
这里跟SFT(Supervised Finetuning)有本质区别。
SFT是准备一批海量的「标准好答案」,让Agent去模仿。这带来的问题是容易过拟合,而且数据准备成本极高。而RFT是让Agent自己去生成数据(轨迹),我们只负责定义一个Reward Model(评分标准)来「奖励」好过程。
前几天泄露的群聊功能上了,会先在日本、新西兰、韩国、台湾上线,免费用户也可用
点击 APP 右上角的人物添加人物图表就可以邀请好友,上下文会保持并且新开一个对话
模型用的是 GPT‑5.1 Auto ,会根据提问者的会员等级切换模型,一点漏洞不给钻,真有你的 Sam
支持搜索、图像和文件上传、图像生成以及听写功能。
ChatGPT 在群聊中会遵循对话的流向,并根据群聊的上下文决定何时回复、何时保持沉默。
群组管理能力也有,可以添加移除群成员,管理群名称等。