关于AIGC人工智能、思维方式、知识拓展,能力提升等。投稿/合作: @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
球速大会员再创新高:
✅球速体育
✅u存u提每日提款无上限,随便提、全球不限ip、免实名绑定手机号码、银行,大额出款无忧 (您的最佳选择,欢迎体验)
#亚洲顶级真人视讯博彩盘口!
🔥平台
注册升级领18888, 每周送福利5888
每日存款彩金每日送,每笔存款加赠
👑福利频道:@qsty8999
⚽️体育赛事推单:@QSTY988
💖吃瓜搞笑新闻:@chiguagaoxiaoxinwen
💖vip客服专属热线,添加客服领取活动福利
🌐官网客服: @QSTY567
双向用户点击:@qsty168168_bot
🌐注册网址: qs1736.cc
此外,SFT是基于大量的静态数据集,比如10000个数据对(input + output),然后一次去训,更新模型权重。而RFT是更加实时动态迭代的,先跑10个sample(user prompt + agent output + 打分),然后训练模型,基于更新后的模型权重,再跑下一批10个sample,如此持续,越来越强。
这样带来的结果是,RFT的样本效率极高,OpenAI的分享里提到,100个sample就可能带来非常显著的提升。
这里的核心逻辑,其实跟DeepSeek R1的训练方式是类似的。只不过,R1的训练(比如数学或Coding)是纯rule-based的reward,有标准答案。而Agent RFT要与外部工具交互,场景更开放、更复杂,所以它必须依赖自定义的、更复杂的Reward方式。
RFT对业务的价值
RFT在OpenAI的多个业务(如Devin、Genspark)中都得到了显著的效果。这种提升是生产环境最看重的:消耗的Token数在下降,延时在降低,任务的准确率在提升。
哪怕你通过RFT之后,垂直任务的效果只是跟强大的基模打平,但是你的成本显著下降,耗时显著降低,这在业务侧的价值也是巨大的。
这其实跟几个月前的内部讨论思路差不多。当时我们也在研究怎么在垂直场景下让Agent表现更好,在测试中也拿到了非常显著的提升。目前应该很多团队都在这样做。所以,RFT这条路将来应该会在各个垂直领域里都展开。
推荐大家都可以去看一下原版分享,如果觉得吃力,可以把链接导入NotebookLM让他总结,也可以把DeepSeek R1的论文一起作为Source丢进去做比较。这样你就能更好理解SFT、RL、RFT之间的一些区别和相同之处。
这样带来的结果是,RFT的样本效率极高,OpenAI的分享里提到,100个sample就可能带来非常显著的提升。
这里的核心逻辑,其实跟DeepSeek R1的训练方式是类似的。只不过,R1的训练(比如数学或Coding)是纯rule-based的reward,有标准答案。而Agent RFT要与外部工具交互,场景更开放、更复杂,所以它必须依赖自定义的、更复杂的Reward方式。
RFT对业务的价值
RFT在OpenAI的多个业务(如Devin、Genspark)中都得到了显著的效果。这种提升是生产环境最看重的:消耗的Token数在下降,延时在降低,任务的准确率在提升。
哪怕你通过RFT之后,垂直任务的效果只是跟强大的基模打平,但是你的成本显著下降,耗时显著降低,这在业务侧的价值也是巨大的。
这其实跟几个月前的内部讨论思路差不多。当时我们也在研究怎么在垂直场景下让Agent表现更好,在测试中也拿到了非常显著的提升。目前应该很多团队都在这样做。所以,RFT这条路将来应该会在各个垂直领域里都展开。
推荐大家都可以去看一下原版分享,如果觉得吃力,可以把链接导入NotebookLM让他总结,也可以把DeepSeek R1的论文一起作为Source丢进去做比较。这样你就能更好理解SFT、RL、RFT之间的一些区别和相同之处。
为什么Agent需要RFT?
我们先来说一下怎么构建Agent。逻辑很简单:基于一个强大的基础模型,给他写System Prompt,教他Know-how,再配上一系列工具Tool。这样它就能调用工具来完成任务,而不只是回答问题。
在这个阶段,大家会不断调试PE。你会发现把Prompt写得更好一点,效果会提升;把基模换得更强,效果也会提升;把工具设计得更合理,拉开差异度,组合起来也能带出更好的效果。
但是,你再继续调教下去,很快就会遇到瓶颈。
尤其当你的垂直领域知识在公开语料中比较少时,模型会很难处理。你还会发现,可能自己本地调试跑得通,一旦部署到真正的线上环境,哪怕效果不错,但因为耗时长的问题,用户也不买单。可能用2个工具就能完成的事情,他可能要来回折腾10几下才搞定。
这种情况严重限制了Agent在生产环境的效果和用户的接受度。而OpenAI分享的Agent RFT,其实就是为了解决这个特定场景的精调问题。
RFT:如何用少量数据撬动性能飞跃
RFT的训练方式很特别。首先,你只需要准备少量的样本,比如100个你这个垂直场景的User Prompt。
然后,让Agent基于这些输入去跑任务。跑完之后,你需要对它跑的「整个轨迹」进行评分——注意,不仅是最终结果,中间的工具调用、思考过程全都要评,这样让Agent知道如何往正确的方向努力,学习曲线也不会那么陡峭。
这个评分可以是你定义的一套规则,让LM去评,也可以是人工去评。一个user prompt,多跑几次,可以出来多个结果,有好的,也有不好的,好的加分,不好的扣分。这里是最核心,也是最难的部分。
最后,用这些「带分数的轨迹数据」去精调模型。因为有得分,模型就知道哪些是「好过程」,哪些是「坏过程」,它就会往更好的表现上去迭代。
这里跟SFT(Supervised Finetuning)有本质区别。
SFT是准备一批海量的「标准好答案」,让Agent去模仿。这带来的问题是容易过拟合,而且数据准备成本极高。而RFT是让Agent自己去生成数据(轨迹),我们只负责定义一个Reward Model(评分标准)来「奖励」好过程。
前几天泄露的群聊功能上了,会先在日本、新西兰、韩国、台湾上线,免费用户也可用
点击 APP 右上角的人物添加人物图表就可以邀请好友,上下文会保持并且新开一个对话
模型用的是 GPT‑5.1 Auto ,会根据提问者的会员等级切换模型,一点漏洞不给钻,真有你的 Sam
支持搜索、图像和文件上传、图像生成以及听写功能。
ChatGPT 在群聊中会遵循对话的流向,并根据群聊的上下文决定何时回复、何时保持沉默。
群组管理能力也有,可以添加移除群成员,管理群名称等。
#182体育 封神榜
以小博大直接爆15000倍 点击查看
实力盘总4000一拉直接爆2304000 点击查看
注册升级领18888, 每周送福利5888
每日存款彩金每日送,每笔存款加赠
🌐 官网注册网址 : 1820036.com
💖专属VIP客服: @vipkf_182ty8
💖吃瓜搞笑:@chiguagaoxiaoxinwen
这个需求很刚,也很烦。专门跑一趟照相馆,又贵,拍的还不好看,体验差。
现在有人在平台上开店,专门用AI给人P证件照。
流程比较简单。客户给一张自己拍的、比较清晰的生活照。商家反手就把照片和一段SOP化的提示词,一起喂给AI。
这个提示词就是核心。里面把服装、风格、表情、光线全都定死了。比如“蓝色西装、白色衬衫、职业风格、目视前方、双耳可见”。
AI一分钟就能出图,效果经常比外面照相馆的还好。关键是,你想换什么颜色的背景、想穿什么款式的正装,就是一句话的事,省了自己换衣服的麻烦。
这个模式很轻。零成本,高效率。
这类有固定规范、高频、但又很麻烦的线下小生意,最先被AI干掉
以前这好歹是个手艺活,得会PS,会布光。现在AI把这个门槛给干平了。掌握一个好提示词,就等于开了一个数字照相馆
#反水无上限 #电子真人0审核包出款
💖N1国际专属客服:@N1vip888
🌟 财富连爆:PG麻将糊了首充6万U→连爆81万U🌟 势不可挡:神秘盘总首充4万→秒提 60万U🌟 豪赌封神:麻将拉500→单笔提 100万U🌟 连破纪录:大佬当日再爆→ 提币 280万U秒到🌟 命中爆点:高管首充4万→ 翻1520倍提76万U🌟 亿万备用资金池,大额无忧!硬核保障 查看
# 权威认证 # 百亿保障 # 真爆奖 # 信誉首选
球速大会员再创新高:
✅球速体育
✅u存u提每日提款无上限,随便提、全球不限ip、免实名绑定手机号码、银行,大额出款无忧 (您的最佳选择,欢迎体验)
#亚洲顶级真人视讯博彩盘口!
🔥平台
注册升级领18888, 每周送福利5888
每日存款彩金每日送,每笔存款加赠
👑福利频道:@qsty8999
⚽️体育赛事推单:@QSTY988
💖吃瓜搞笑新闻:@chiguagaoxiaoxinwen
💖vip客服专属热线,添加客服领取活动福利
🌐官网客服: @QSTY567
双向用户点击:@qsty168168_bot
🌐注册网址: qs1736.cc
李飞飞 World Labs 的 3D 世界模型终于公测了!
支持从文本、单图、多图、视频、粗3D布局直接生成完整3D世界。 生成后可交互式编辑、扩展与组合。
而且可以导出Gaussian splats、三角网格和视频。
可以慢慢看看这个 3D 路径和纯视频路径哪个会赢了
但我感觉可以用这个造视频数据 哈哈
这里尝试:https://marble.worldlabs.ai/
支持从文本、单图、多图、视频、粗3D布局直接生成完整3D世界。 生成后可交互式编辑、扩展与组合。
而且可以导出Gaussian splats、三角网格和视频。
可以慢慢看看这个 3D 路径和纯视频路径哪个会赢了
但我感觉可以用这个造视频数据 哈哈
这里尝试:https://marble.worldlabs.ai/
它现在就会有个计划模式,如果你开启了这个 plan 模式的话,它在执行操作前就会自己进行规划任务。
然后会告诉你哪个任务执行完,哪个任务还没有执行,执行的结果是什么样的,会让你有一个清晰的认知,对目前的进度。
而且他们的表现形式和 UI 处理得很好,表现得很清晰。
然后是上下文压缩,我觉得很好,尤其是它会让你直观地看到正在进行上下文压缩。
给出了一个非常好的解决方案:你可以主动触发上下文压缩,也可以在达到上下文长度时由 AI 自动压缩。
在上下文达到 70% 的时候,我看见它出了一个窗口自动总结和上下文。这个时候你会感觉很安心,就会觉得一切尽在掌控。
它非常智能,不会因为上下文爆了而导致最后瞎改乱改,会把关键信息全部总结好存起来。
然后一些有感知的改动介绍完之后呢,再它整个的能力的提升。
--------------------------------------------------------
这里的话我就会讲一下我这个项目是怎么做的。
这个需求来自于我在健身的时候跟教练的对话,因为他每次都会给我发这次训练的表格。
后来我就想要是可以做个 AI 分析系统就好了,根据每次训练状态打分,然后是总的介绍和建议,最后将数据可视化展示,告诉我每个动作的要点和用图表直观的看到进步。
刚开始我就是简单的说了一下要求,也没有让他解析,就是想直接把数据放在文档里面。
它启动了一个 React 项目,中间有几次小的报错,然后右边内置的浏览器可以把报错内容发给左边的输入框,它就正常都修复了,没有进行干预,我也没有给提示。
生成结果,就三个圆环,数据统计非常简单,这个介绍等于没说。
然后我就想说,不行,就跟他讨论一下这种分析应该是有哪些元素?就比如说他需要更详细一点之类的。
这是第一次,我感觉到这个东西好像不太一样,他认真地读了我所有的数据,然后设定了一个非常详细的报告。
然后他就搞定了,因为整个的内容是非常详细的,中间的动作分析呢每一个动作都有。
你想想我训练的时候可能涉及到几十个动作,每一个动作的分析都有。训练科学的介绍和解释也比较详细。
后面我还对这个页面做了很多零碎的修改。
就比如说它原来是 emoji 图标。然后原来的图表没有调用这种正常的折线图或者什么图表,它都是自己写的一个,就是有很多问题。这些修改呢最后都完成了。
不过上下文我看已经到了百分之七八十了,我就心想这是不是见好就收就这样了。
再写的话,一般来说这种 Agent 这个时候它可能就要报错或者是遗忘上下文了。
但是心想反正都是了,他现在都写这么好了,我就直接让他做一做试试呗。
于是就让他把这个改成一个真正的产品,可以接受任何人的数据以及设置,进行分析。
我就看到他开始压缩上下文,压缩完上下文以后,他就开始正式地进行这个完整产品的迭代。
最后在运行的时候,经过几次 debug,完全是他自己进行的。它启动自带的浏览器,发现控制台有报错,然后自己去修复;经过一段时间的修复,终于搞定,所有功能都 OK。
-------------------------------------------------------------
来看一下这个产品最后的结果:
你首先是填写自己的基本信息,然后上传那个 CSV 表格。
之后的话填写你自己的 Gemini API,这个也是免费的。
再之后的话,它会去等待 Gemini 的分析。
最后的话分析结束是三个部分:
第一部分就是总览,你训练的怎么样。
第二部分是训练科学,就是你现在的 AI 给你的建议。
第三部分是每个动作的动作数据,然后动作的要点以及这个动作重要性,以及当前你现在的进度。
在之后的话,我看到它右上角有个部署,我就部署了一下,然后部署上去以后发现是需要连接那个 vercel 的。
然后上去之后发现它是 404 了,由于我也没有用过 vercel,所以说我也不知道它应该是什么问题。然后我看了那个 log 页面,我没有看,我也没有看出问题来。
于是我就 404 截图,还有 Vercel 那个平台的 log 页面截图发给他了。然后让他分析,没想到他真找到了问题,然后也修复了,修复了以后上传上去就好了。
而且他找到的问题和开发者朋友发现的问题是差不多的。
-----------------------------------------------------------------
整体下来最震惊我的是它的规划能力和多次修改的稳定性。
包括应该输入什么内容、每个部分的内容分析是什么样的,以及交互体验应该是什么样的,我都没有给他细说。
以前作为 Vibe coding,为了避免 AI 模型自己发挥或者报错,我们都要说得很细,但这次我故意什么都没说。
每次都是想到什么了,或者报错了,我才开始改,或者让他说。
但是它像信息的填写表单有哪些内容,包括中间 AI 去分析的时候,等待页面他都考虑到了。
然后会告诉你哪个任务执行完,哪个任务还没有执行,执行的结果是什么样的,会让你有一个清晰的认知,对目前的进度。
而且他们的表现形式和 UI 处理得很好,表现得很清晰。
然后是上下文压缩,我觉得很好,尤其是它会让你直观地看到正在进行上下文压缩。
给出了一个非常好的解决方案:你可以主动触发上下文压缩,也可以在达到上下文长度时由 AI 自动压缩。
在上下文达到 70% 的时候,我看见它出了一个窗口自动总结和上下文。这个时候你会感觉很安心,就会觉得一切尽在掌控。
它非常智能,不会因为上下文爆了而导致最后瞎改乱改,会把关键信息全部总结好存起来。
然后一些有感知的改动介绍完之后呢,再它整个的能力的提升。
--------------------------------------------------------
这里的话我就会讲一下我这个项目是怎么做的。
这个需求来自于我在健身的时候跟教练的对话,因为他每次都会给我发这次训练的表格。
后来我就想要是可以做个 AI 分析系统就好了,根据每次训练状态打分,然后是总的介绍和建议,最后将数据可视化展示,告诉我每个动作的要点和用图表直观的看到进步。
刚开始我就是简单的说了一下要求,也没有让他解析,就是想直接把数据放在文档里面。
它启动了一个 React 项目,中间有几次小的报错,然后右边内置的浏览器可以把报错内容发给左边的输入框,它就正常都修复了,没有进行干预,我也没有给提示。
生成结果,就三个圆环,数据统计非常简单,这个介绍等于没说。
然后我就想说,不行,就跟他讨论一下这种分析应该是有哪些元素?就比如说他需要更详细一点之类的。
这是第一次,我感觉到这个东西好像不太一样,他认真地读了我所有的数据,然后设定了一个非常详细的报告。
然后他就搞定了,因为整个的内容是非常详细的,中间的动作分析呢每一个动作都有。
你想想我训练的时候可能涉及到几十个动作,每一个动作的分析都有。训练科学的介绍和解释也比较详细。
后面我还对这个页面做了很多零碎的修改。
就比如说它原来是 emoji 图标。然后原来的图表没有调用这种正常的折线图或者什么图表,它都是自己写的一个,就是有很多问题。这些修改呢最后都完成了。
不过上下文我看已经到了百分之七八十了,我就心想这是不是见好就收就这样了。
再写的话,一般来说这种 Agent 这个时候它可能就要报错或者是遗忘上下文了。
但是心想反正都是了,他现在都写这么好了,我就直接让他做一做试试呗。
于是就让他把这个改成一个真正的产品,可以接受任何人的数据以及设置,进行分析。
我就看到他开始压缩上下文,压缩完上下文以后,他就开始正式地进行这个完整产品的迭代。
最后在运行的时候,经过几次 debug,完全是他自己进行的。它启动自带的浏览器,发现控制台有报错,然后自己去修复;经过一段时间的修复,终于搞定,所有功能都 OK。
-------------------------------------------------------------
来看一下这个产品最后的结果:
你首先是填写自己的基本信息,然后上传那个 CSV 表格。
之后的话填写你自己的 Gemini API,这个也是免费的。
再之后的话,它会去等待 Gemini 的分析。
最后的话分析结束是三个部分:
第一部分就是总览,你训练的怎么样。
第二部分是训练科学,就是你现在的 AI 给你的建议。
第三部分是每个动作的动作数据,然后动作的要点以及这个动作重要性,以及当前你现在的进度。
在之后的话,我看到它右上角有个部署,我就部署了一下,然后部署上去以后发现是需要连接那个 vercel 的。
然后上去之后发现它是 404 了,由于我也没有用过 vercel,所以说我也不知道它应该是什么问题。然后我看了那个 log 页面,我没有看,我也没有看出问题来。
于是我就 404 截图,还有 Vercel 那个平台的 log 页面截图发给他了。然后让他分析,没想到他真找到了问题,然后也修复了,修复了以后上传上去就好了。
而且他找到的问题和开发者朋友发现的问题是差不多的。
-----------------------------------------------------------------
整体下来最震惊我的是它的规划能力和多次修改的稳定性。
包括应该输入什么内容、每个部分的内容分析是什么样的,以及交互体验应该是什么样的,我都没有给他细说。
以前作为 Vibe coding,为了避免 AI 模型自己发挥或者报错,我们都要说得很细,但这次我故意什么都没说。
每次都是想到什么了,或者报错了,我才开始改,或者让他说。
但是它像信息的填写表单有哪些内容,包括中间 AI 去分析的时候,等待页面他都考虑到了。