关于AIGC人工智能、思维方式、知识拓展,能力提升等。投稿/合作: @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
锦秋基金小饭桌
让机器人创业者感受到极大的温暖&支持。
如果要推小绿书就直接在消息列表加个入口,改成小红书那样不得了,干嘛要抢公众号的入口呢,太神经了。

转发 @歸藏: 昨天还跟橘子聊了公众号长文推送这个话题。

可以理解,但很可惜,国内本来就少的长图文发布渠道就要彻底没了,发了粉丝都看不到。

可以理解你想要做短图文,但能不能除了信息流把公众号主页也改改,根本没办法分类和查找,做点东西全是四不像、半成品
焦虑的AI CEO 们听这期应该会很有共鸣
最近对各种摘要型 prompt,都默默删除了,发现缺失了用户自己的视角,很难真提取到有效信息,特别是对高质量的原始内容来说。

比如最近罗永浩采访宋方金这期,聊的很杂,信息量很多。有意思的是,听完后,我发现我感兴趣的,和另一个好朋友感兴趣的点,完全不一样。

Summary prompt 是一种快速产生“五分钟看完一部电影 ”的消费方式。然而在抖音上,“五分钟看完很多电影”后,依旧对原始电影模糊得不行。Summary 适合娱乐,并不适合学习。

Karpathy 的最新播客,也有同感。我刚看完原始视频,对比去看 Twitter 上的各种总结,绝大多数只是一种暴力压缩,是在把一部精华电影剪辑成五分钟速读文字。价值只有一个点:这期播客值得听,赶紧去看。可叹的是,绝大部分情况下起到的作用是:看了总结,以为已经得到了精华,就再也不去看原始内容了。

文学研究里,最基础的讨论前提是 back to text(回到原始文本)。学习领域,可能也如此。原始文本/音频/视频是一个巨大的 prompt,是酵母菌,是催化剂,用户本身才是那个面团。酵母菌 + 面团需要时间去发酵,然后面团才能蓬松起来,变成好吃的面点。

AI 的天花板,依旧在人。
这个世界越来越有意思。
AI探索指南
刚看完Andrej Karpathy这期暴论频出的播客: - 今年不是"智能体元年",我们身处"智能体的十年" - 现在的强化学习就像"通过吸管吸取监督" - LLM悖论:完美记忆 + 泛化能力差 - 人类糟糕的记忆是特性,不是bug - 当你记不住细节时,大脑被迫进入抽象模式,看到"森林"而不只是"树木"。 - 儿童:记忆最差,创造力最强(还没"过拟合"到社会规范) - 我们需要的AI只需要认知核心。剥离记忆,保留算法。 也许我们需要的不是更大的模型,而是更会遗忘的模型? - AI 不会立即取代人类,而会逐步提高工作占比,最终完成…
这里AK还有个精妙的类比:模型的预训练权重就像"一年前读过某本书的模糊回忆",而上下文窗口信息则像"工作记忆"——直接可访问。这解释了为什么in-context learning感觉更"智能":在预训练过程中,像 Llama 3 这样的模型将 1.5 万亿个标记压缩到它的权重中,每个标记仅存储约 0.07 比特的信息。相比之下,上下文学习的信息吸收速度要高 3500 万倍。

当你记不住细节时,大脑被迫提取general patterns(通用模式),看到"森林"而不只是"树木"。

而LLM被海量训练数据的完美记忆"分散注意力",反而阻碍了真正的抽象理解。

我们仔细会议人类的学习过程。读过的书大部分细节都忘了,但核心思想和方法论却越来越清晰。

原来这不是记忆力差,这是智能啊。

更震撼的类比:儿童 vs 成人 vs LLM

儿童:记忆最差,创造力最强(还没"过拟合"到社会规范)
成人:记忆中等,创造力中等(已经"坍塌"了部分)
LLM:记忆完美,创造力最低(被训练数据"过拟合")

AK提到Erik Hoel的研究:梦境可能就是大脑的anti-overfitting机制。连睡觉都是为了避免过拟合,引入随机性防止思维僵化。

这解释了为什么当前AI在"合成数据训练"上会失败。你让GPT对同一本书思考10次,会发现回答几乎一样。这就是"静默坍塌"。

模型的输出分布极其狭窄,AK开玩笑说"它实际上只有3个笑话"。在这种低熵数据上训练只会强化模型的偏见,让它变得更糟。

而且人类其实也经历类似的"坍塌"过程,儿童富有创造力是因为还没"过拟合"到社会规范,会说出令人震惊的话。但成年后我们也"坍塌"了,重复相同的思想,学习率下降,创造力递减。

梦境也可能是大脑的anti-overfitting机制,通过引入随机性防止思维僵化。

所以他提出了一个激进想法:我们需要认知核心。剥离记忆,保留算法。

让AI像"有方法论但没有百科全书的哲学家",强制它查找而非回忆,专注于思考的meta-skills。

他预测未来20年内,高效的认知核心可能只需要10亿参数,而不是现在动辄千亿参数的模型。

大部分参数都在处理互联网上的"垃圾和胡扯",如果优化训练数据质量,分离认知组件,就能实现极大压缩。

当前foundation model的路径是否根本错了?

也许我们需要的不是更大的模型,而是更会遗忘的模型?

重新理解AI的发展路径

早期深度强化学习专注游戏(如Atari)其实是走错了方向。真正目标应该是创造能在现实世界执行知识工作的智能体,不是游戏高手。

他回忆自己在OpenAI的早期项目,用键盘鼠标操作网页的智能体,目标是执行知识工作。但项目"太早了",智能体缺乏必要的"表示能力",会因稀疏奖励卡住。缺失的关键是强大的预训练模型。今天类似的计算机使用智能体之所以成功,正是因为建立在LLM之上,你需要先有LLM获得强大表示,再构建有效智能体。

他的另一个深刻观察:AI不是独立技术类别,而是自动化连续体的一部分。从编译器、代码编辑器到搜索引擎,再到现在的LLM,我们一直在"抽象阶梯"上向上攀登,让机器处理更多底层细节。

这解释了为什么AI经济影响主要集中在编程领域,代码本身就是文本,有成熟基础设施(IDE、版本控制),LLM可以无缝接入。相比之下,制作幻灯片这种视觉任务就困难得多,因为没有infrastructure让AI显示"diff"或跟踪变化。

但AK也泼了冷水:当前AI编程模型还没准备好真正自动化编程。他亲身体验发现,对于独特的智力密集项目,模型会失败——它们有认知缺陷,误解自定义代码,因为总是默认使用在线常见模式。他感慨"行业跳跃太大,试图假装这很神奇,但其实是垃圾"。

"九进军"的苦涩现实

从Tesla自动驾驶5年经验,AK深知从90%工作的demo到99.9%可靠产品的"九进军"有多艰难。每提升一个九,都需要massive effort。他提到自动驾驶演示从1986年就存在,2014年他在Waymo车上体验了完美驾驶,以为技术很接近完成。但现实是demo到产品的巨大鸿沟,在高风险领域尤其如此。

在Tesla的五年里,他们可能只推进了两三个"九",还有更多要走。这种现实主义让他对AGI时间线保持谨慎:这是"智能体的十年",不是"智能体之年"。

当前模型就像"有完美记忆的小孩"或"学者儿童"——能通过博士级测试,却认知上还有严重缺陷:缺乏持续学习、多模态能力、有效使用计算机的能力,以及大脑中海马体、杏仁核等关键组件的类似物。

未来的工作模式:自主滑块

AK预测不会出现"瞬间工作替代",而是"自主滑块"模式:AI处理80%常规任务,人类监督AI团队并管理最复杂的20%。有趣的是,当AI自动化99%工作时,处理最后1%的人类反而会变得极其有价值,成为整个系统的瓶颈,他们的薪资也会提高。

教育的范式转换

AK对教育未来的洞察:Pre-AGI时代教育是功利性的(为了工作),Post-AGI时代教育将像健身房一样,为了乐趣和个人充实。

他还分享了一个教学技巧:先展示痛点,再给解决方案。通过展示简单方法的局限性来激发学习动机,这样学习者会深刻理解为什么需要复杂解决方案。

最后,要真正掌握知识,就要试着向别人解释。解释的过程会迫使你面对理解中的空白,这又回到了他的核心观点:

限制和困难往往是学习的催化剂。

这 recall 了之前的观点,真正的技术突破往往需要重新思考基础假设。

也许AGI的关键不是让机器记住更多,而是学会智能地遗忘。
刚看完Andrej Karpathy这期暴论频出的播客:

- 今年不是"智能体元年",我们身处"智能体的十年"
- 现在的强化学习就像"通过吸管吸取监督"
- LLM悖论:完美记忆 + 泛化能力差
- 人类糟糕的记忆是特性,不是bug
- 当你记不住细节时,大脑被迫进入抽象模式,看到"森林"而不只是"树木"。
- 儿童:记忆最差,创造力最强(还没"过拟合"到社会规范)
- 我们需要的AI只需要认知核心。剥离记忆,保留算法。
也许我们需要的不是更大的模型,而是更会遗忘的模型?
- AI 不会立即取代人类,而会逐步提高工作占比,最终完成 99% 的工作,剩下1%无法取代。
- 以前的教育是为了找到工作,Post-AGI时代教育将像健身房一样,为了乐趣和个人充实。

播客开头,AK先重新校准了我们对 AI 的期望。

今年不是"智能体元年",我们身处"智能体的十年",区别在于,一切没那么快,虽然也没那么慢。

他说,现在强化学习就像"通过吸管吸取监督" ,模型尝试几百种方法,最后只得到一个"对错"信号,然后把这个信号广播给成功路径的每一步,包括那些纯属运气的错误步骤。

你瞎猜猜中了答案,然后把猜的过程也当成"正确方法"强化,这能学好吗?

AK还提到一个更荒诞的例子:有个数学模型突然开始得满分,看起来"解决了数学"。但仔细检查发现,模型输出的是"da da da da da"这样的完全胡言乱语,却骗过了LLM评判者。这就是用LLM做评判的问题——它们会被对抗样本攻击,因为这些乱码是它们从没在训练中见过的"样本外"内容。

更深层的问题是:人类读书时在做什么?

AK说:"我们读的书其实是prompts,让我做合成数据生成用的。"

我们读书时不是被动接收信息,而是在内心进行复杂的对话。新只是与已知知识调和,产生新理解,形成个人化的认知图谱。

但LLM呢?只是在预测下一个token,缺乏这种"内心对话"机制。

人类还有个神奇的"睡眠阶段"。白天我们建立起事件的上下文窗口,睡觉时发生蒸馏过程,将信息整合到大脑权重中。

LLM缺乏这种等效机制,每次启动都是零上下文的白纸。

AK发现了一个根本悖论:

LLM悖论:完美记忆 + 泛化能力差
人类悖论:糟糕记忆 + 强学习能力

为什么?因为遗忘强迫我们抽象。
公众号不仅有世界上最难用的编辑器,还有世界上最难用的推送系统。
双料第一,太强了。

经过我的测试,同一个账号,同样的内容
早晨8点多,用公众号,发布后2小时总共带来349阅读
早晨10点多,用小绿书,发布后15分钟不到就387阅读

甚至公众号的互动数据都明显比小绿书好
但是系统完全不给流量
绝了
AI探索指南
月入60万的AI产品长什么样? 2023年初,一个叫Dustin的小镇青年,手里既没钱也不会编程。但8周后,他做出了一个AI产品,第一个月就赚了3000美元。 两年半之后,这个叫Magi的产品月收入接近10万美元,折合人民币约60多万。 Dustin的职业经历带给了他两个重要认知: 第一,他是个完美主义者,服务客户的模式让他筋疲力尽; 第二,做数字产品可以同时服务成千上万人,而不是一次只能帮一个客户。 2014年,他和合伙人做了个WordPress插件公司,生意不错。但合伙人后来散了,他又连续做了几个产品,全都失败了。…
这三点总结起来就是:要么你有流量,要么你有资源,要么你有朋友。

Magi的界面和ChatGPT很像,但核心差异在左上角那个模型选择器,你可以随时切换不同的AI模型。
比如用Claude开始一段对话,觉得回答不够好,立刻切换到GPT-4继续聊,两个模型的回答会出现在同一个对话框里。

除了文本模型,Magi还整合了图像和视频生成模型,包括Dall-E、Flux、Ideogram等。你可以在同一个对话里既生成文字又生成图片,不用在不同工具间跳转。

技术架构上,前端用Bubble搭建,支付用Stripe,邮件营销用ConvertKit,AI模型接入主要靠Open Router和Fal.ai这两个中间平台。
Open Router把各家大语言模型的API统一成一个格式,Fal.ai则整合了图像和视频模型。对于OpenAI,Dustin还申请了最高级别的API权限,保证响应速度。

这套架构的妙处在于灵活——新模型出来了,接入成本很低;某个模型服务不稳定了,可以快速切换备选方案。

Magi没有免费版,只有付费订阅。单人版20美元一个月,团队版40美元支持5个用户,每增加一个用户加收20美元。

Magi瞄准的是重度用户和企业客户,这些人愿意为效率付费,而且对价格不那么敏感。
这也解释了为什么Dustin不做免费版——免费用户会稀释服务质量,而且很难转化为付费用户。与其服务一堆免费用户,不如专注服务好愿意付费的那群人。

这个故事最有价值的地方不是成功本身,而是它展示了一种可能性:即使你不会编程、没有资金、经历过失败,只要抓住一个真实的需求,用最简单的方式解决它,依然有机会做出一个赚钱的产品。
不是所有创业都需要从颠覆行业开始,有时候,把一个小问题解决得足够好,就已经是一门不错的生意了。

2025年的今天,AI工具还在以惊人速度更新迭代,每一次迭代都会产生新的使用场景,也会产生新的痛点。如果你也在观望要不要做点什么,Dustin的建议很简单:别想太多,先做出来再说。
8周时间,足够验证一个想法是不是伪需求了。
月入60万的AI产品长什么样?

2023年初,一个叫Dustin的小镇青年,手里既没钱也不会编程。但8周后,他做出了一个AI产品,第一个月就赚了3000美元。
两年半之后,这个叫Magi的产品月收入接近10万美元,折合人民币约60多万。

Dustin的职业经历带给了他两个重要认知:
第一,他是个完美主义者,服务客户的模式让他筋疲力尽;
第二,做数字产品可以同时服务成千上万人,而不是一次只能帮一个客户。

2014年,他和合伙人做了个WordPress插件公司,生意不错。但合伙人后来散了,他又连续做了几个产品,全都失败了。
那段时间他几乎要放弃,直到ChatGPT出现。

当所有人都在惊叹ChatGPT有多厉害时,Dustin却在记录它的不方便之处。
不能搜索聊天记录,不能建文件夹,没有各种小功能优化。

这些看起来都是小问题,但对于重度用户来说,每天都要遇到好几次。
更关键的是,他发现了另一个趋势:AI公司越来越多,每家都要收订阅费。

想要用最好的AI工具你可能需要订阅五六个不同的服务,这个问题才是真正的痛点。
于是Magi的核心想法就出来了:把所有顶级AI模型放在一个平台上,只收一份订阅费,顺便把那些烦人的问题都解决掉。

一个不会编程、没有钱的人,怎么做出一个AI产品?
Dustin的方法是找了个在线课程,自学无代码开发工具。8周时间搭出了第一版产品。

Magi的核心其实是个聚合平台,通过API接口调用其他公司的AI模型。
技术门槛确实不高,但这不妨碍它解决真问题。

Dustin说他发布产品时完全没信心,觉得不会有人买。结果第一个月就赚了3000美元,第二个月4000,第三个月直接跳到10000。一年后,月收入到了3万美元。

很多人好奇Dustin是怎么推广产品的,但答案可能会让你失望——他几乎没做什么传统意义上的推广。

他的第一个杠杆是10年积累的个人品牌。
他有个博客,10年下来积累了10万邮件订阅用户。
产品一发布,这些人就是第一批种子用户。

第二个杠杆是联盟计划。
大部分联盟计划只给一次性佣金,但Magi的推荐人可以获得持续收入——用户付12次费,推荐人就拿12次佣金。这种设计让推荐人的利益和产品长期发展绑定,自然更愿意用心推广。

第三个杠杆是人脉。
Dustin说自己是外向型人格,喜欢社交,这些年在行业里结识了不少营销高手。产品出来后,这些朋友帮了大忙。
AI探索指南
分享凯文·凯利现场访谈笔记整理👇(长文预警) 感谢科技薯的邀请,今天有机会可以去现场聆听凯文·凯利有关于智能体经济的分享。 在现场聊了很多,除了对谈KK还有KK跟一些优秀的年轻创业者的圆桌对谈,信息量很大,回来后整理了一些在现场印象比较深刻的观点。 关于未来,凯文·凯利抛出了一个判断:未来98%的AI智能体,可能不会跟人类直接打交道。 很多人幻想未来的AI会像电影《Her》里的萨曼莎那样,包括我们自己也每天都在讨论AI助手、AI客服这些,但KK说的是另一个版本:绝大多数AI会活在一个我们看不见的世界里,默默运转。…
限制公司规模的不再是管理复杂度,而是使命本身的边界。

在AI时代,我们该如何衡量AI Agent创造的价值呢?传统的GDP统计体系显然不够用了,当AI可以代替人类完成大量工作,用钱来衡量增长还有意义吗?

KK给出了一个可以深思的方向:也许我们需要新的度量标准,关于效率的,关于人类幸福的,甚至关于完成工作量的。

未来15年人口会越来越少,我们不可能靠增长人口来实现经济增长。更关键的是,AI现在做的很多事情压根没法用传统方式计量。

但这恰恰是引入AI经济的另一个理由,经济不一定非要增长,AI可以生产,但它不需要消费。
比如你让AI帮你写了一封邮件,节省了半小时,这算不算GDP?AI陪你聊天治好了焦虑,这又算不算?

也许我们需要衡量的不是效率,而是人类的幸福感和完成的工作量。
当AI把我们不想做的事情都做了,剩下的时间我们去做真正想做的事,这是不是一种新的价值创造方式?

所有人都在谈论AI提升效率,但没人说清楚效率提升之后,我们到底要什么。

领导力,在AI时代会变得更加重要。
在复杂系统中,人类领导者的作用依然是提供方向,做出选择。AI可以处理海量信息,但它不会替你决定向北还是向南。

很多人焦虑AI会取代管理层,但其实越是变量多、不确定性高的场景,领导者的价值就越大。需要人来提供高层次的治理,用几个简单的指令协调整个系统。

底层可以自动化,但顶层的方向制定、价值判断、资源协调,仍然需要人。
领导力的核心不是信息处理能力,而是在不确定性中做出判断的勇气。

关于AI投资泡沫。KK说,现在几千亿美元砸进AI产业,早期投资者大概率会亏钱。
但后面才是重点:投资者亏钱,不代表社会亏了。

拿25年前的互联网泡沫来做类比,那时候无数人疯狂投资光纤、服务器、门户网站,最后泡沫破灭,大批公司倒闭,投资人血本无归。
但那些光纤没有消失,那些技术积累没有消失,它们变成了今天互联网的基础设施。

AI也会是一样的路径,现在建的算力中心、训练的模型、开发的应用,即使有一半最后失败了,另一半也会成为未来的基石。
社会整体还是赚的,只是具体到某个投资人头上,可能就没那么幸运。
这是技术进步的代价,也是市场经济的规律。

那么,AI会不会让底层人失业呢?
KK回答:现在的研究显示,用了AI的员工生产力提高了25%左右,但并没有大规模裁员的迹象。那些大家以为会被AI取代的职业,程序员、客服、翻译,目前反而需求更旺盛了。

原因很简单,AI现阶段是助手,不是替代品。它会让你干活更快,但还没到完全取代你的程度。而且,它最先取代的是那些我们本来就不想干的重复性工作。

更关键的是,AI会创造新工作。
就像25年前没人知道什么叫网页设计师、SEO专家、UP主,这些职业都是互联网催生的,AI时代也会有一大堆现在想都想不到的新职业冒出来。

KK特别强调了一点:技术创新可能很快,但社会吸收很慢,文化、组织结构、法律政策,都需要时间适应。即使AI技术已经成熟了,真正融入社会可能还需要十年。
这反而是个好消息,因为我们有足够的时间调整、学习、转型。

现在进入AI领域,是不是太晚了?
KK的回答是:20年后当我们回看2025年,会发现那时的AI其实根本不算什么,就像2000年的互联网,当时觉得已经很发达了,但跟今天比简直是石器时代。

用他的话说,现在是Day One,是真正的起点。
大家都在同一条起跑线上,就没有早晚之分,关键是要看你愿不愿意跑。

最后问KK为什么总能保持乐观时,他说:乐观不是天生的性格,而是一种选择。今年比去年更乐观,明年会比今年更乐观,因为每一天都在给他更多理由选择乐观。

这个房间里的所有好东西,这座城市里的所有建筑,都是过去乐观主义者创造的。他们相信某个东西应该存在,即使大多数人都不相信,他们还是把它做出来了。

今天的世界由过去的乐观主义者塑造,明天的世界将由今天的乐观主义者塑造。
KK说他想成为那种人之一。

因为,悲观者正确,乐观者前行。
想要更乐观,就把时间轴拉长。你看的时间越长,就越容易乐观。
因为所有的短期波动、所有的危机,在时间的复利面前都不算什么。

KK不会告诉你下一个风口在哪,但他会不断提醒你,把时间拉长,把视野放宽,别急着要结果。
长期主义的精髓是,不是每件事都要在自己手里完成,而是要开启一个可以延续的进程。
分享凯文·凯利现场访谈笔记整理👇(长文预警)

感谢科技薯的邀请,今天有机会可以去现场聆听凯文·凯利有关于智能体经济的分享。

在现场聊了很多,除了对谈KK还有KK跟一些优秀的年轻创业者的圆桌对谈,信息量很大,回来后整理了一些在现场印象比较深刻的观点。

关于未来,凯文·凯利抛出了一个判断:未来98%的AI智能体,可能不会跟人类直接打交道。
很多人幻想未来的AI会像电影《Her》里的萨曼莎那样,包括我们自己也每天都在讨论AI助手、AI客服这些,但KK说的是另一个版本:绝大多数AI会活在一个我们看不见的世界里,默默运转。

就像现在的互联网基础设施,你看得见各种应用,比如微信和淘宝,但你看不见背后数万台服务器的协同运作。
未来的AI世界或许也应该是如此,只有极少数面向消费者的智能体会跟我们对话,更多的则在幕后做着复杂的交易、协调和决策。

如果98%的AI都在互相打交道,那它们用什么交易?
KK给出的答案是:加密货币。

加密货币一直在寻找除了价值存储之外的用途,因为它作为日常货币实在太贵、太慢、太不好用。
但智能体经济的到来,让一切都变了。

尤其是第三代稳定币的出现是个关键转折点,它们基于L1级别的区块链,成本低到可以忽略不计,同时又完全安全、可信。
当两个AI需要为一次API调用支付0.0001美元时,传统支付系统根本玩不转,手续费可能比交易金额还高,而且审批流程会把实时交易拖慢。

这就是为什么Circle、USDC这些稳定币公司在拼命布局,它们看到的不是人类用户的钱包,而是未来数十亿个智能体的微支付需求。
所以这场货币革命的主角,不是人,是机器。

关于未来的公司形态,KK的判断是:会出现海量的一人公司,但同时,百万员工级别的巨型公司也会继续存在,而且效率更高。

这听起来有点矛盾,但现在的AI很大幅度降低了创业门槛,已经有很多服务商专门帮你搞定注册、财务、法务这些杂活,配上AI工具,一个人真的可以撑起一家公司。
不需要十个人二十个人的团队,一个人加几十个AI助手就足够。

对大公司来说,AI解决的是另一个痛点:如何在正确的时间让正确的人做正确的事。
这是所有大公司都头疼的问题,你有一万个聪明人,你如何在正确的时间将正确的人与正确的任务匹配起来?

现在AI可以实时分析每个项目的需求,匹配最合适的人才,协调跨部门协作。这样,大公司才不会因为臃肿而失去竞争力,反而可以继续扩张。
AI探索指南
刚看完Andrej Karpathy这期暴论频出的播客: - 今年不是"智能体元年",我们身处"智能体的十年" - 现在的强化学习就像"通过吸管吸取监督" - LLM悖论:完美记忆 + 泛化能力差 - 人类糟糕的记忆是特性,不是bug - 当你记不住细节时,大脑被迫进入抽象模式,看到"森林"而不只是"树木"。 - 儿童:记忆最差,创造力最强(还没"过拟合"到社会规范) - 我们需要的AI只需要认知核心。剥离记忆,保留算法。 也许我们需要的不是更大的模型,而是更会遗忘的模型? - AI 不会立即取代人类,而会逐步提高工作占比,最终完成…
这里AK还有个精妙的类比:模型的预训练权重就像"一年前读过某本书的模糊回忆",而上下文窗口信息则像"工作记忆"——直接可访问。这解释了为什么in-context learning感觉更"智能":在预训练过程中,像 Llama 3 这样的模型将 1.5 万亿个标记压缩到它的权重中,每个标记仅存储约 0.07 比特的信息。相比之下,上下文学习的信息吸收速度要高 3500 万倍。

当你记不住细节时,大脑被迫提取general patterns(通用模式),看到"森林"而不只是"树木"。

而LLM被海量训练数据的完美记忆"分散注意力",反而阻碍了真正的抽象理解。

我们仔细会议人类的学习过程。读过的书大部分细节都忘了,但核心思想和方法论却越来越清晰。

原来这不是记忆力差,这是智能啊。

更震撼的类比:儿童 vs 成人 vs LLM

儿童:记忆最差,创造力最强(还没"过拟合"到社会规范)
成人:记忆中等,创造力中等(已经"坍塌"了部分)
LLM:记忆完美,创造力最低(被训练数据"过拟合")

AK提到Erik Hoel的研究:梦境可能就是大脑的anti-overfitting机制。连睡觉都是为了避免过拟合,引入随机性防止思维僵化。

这解释了为什么当前AI在"合成数据训练"上会失败。你让GPT对同一本书思考10次,会发现回答几乎一样。这就是"静默坍塌"。

模型的输出分布极其狭窄,AK开玩笑说"它实际上只有3个笑话"。在这种低熵数据上训练只会强化模型的偏见,让它变得更糟。

而且人类其实也经历类似的"坍塌"过程,儿童富有创造力是因为还没"过拟合"到社会规范,会说出令人震惊的话。但成年后我们也"坍塌"了,重复相同的思想,学习率下降,创造力递减。

梦境也可能是大脑的anti-overfitting机制,通过引入随机性防止思维僵化。

所以他提出了一个激进想法:我们需要认知核心。剥离记忆,保留算法。

让AI像"有方法论但没有百科全书的哲学家",强制它查找而非回忆,专注于思考的meta-skills。

他预测未来20年内,高效的认知核心可能只需要10亿参数,而不是现在动辄千亿参数的模型。

大部分参数都在处理互联网上的"垃圾和胡扯",如果优化训练数据质量,分离认知组件,就能实现极大压缩。

当前foundation model的路径是否根本错了?

也许我们需要的不是更大的模型,而是更会遗忘的模型?

重新理解AI的发展路径

早期深度强化学习专注游戏(如Atari)其实是走错了方向。真正目标应该是创造能在现实世界执行知识工作的智能体,不是游戏高手。

他回忆自己在OpenAI的早期项目,用键盘鼠标操作网页的智能体,目标是执行知识工作。但项目"太早了",智能体缺乏必要的"表示能力",会因稀疏奖励卡住。缺失的关键是强大的预训练模型。今天类似的计算机使用智能体之所以成功,正是因为建立在LLM之上,你需要先有LLM获得强大表示,再构建有效智能体。

他的另一个深刻观察:AI不是独立技术类别,而是自动化连续体的一部分。从编译器、代码编辑器到搜索引擎,再到现在的LLM,我们一直在"抽象阶梯"上向上攀登,让机器处理更多底层细节。

这解释了为什么AI经济影响主要集中在编程领域,代码本身就是文本,有成熟基础设施(IDE、版本控制),LLM可以无缝接入。相比之下,制作幻灯片这种视觉任务就困难得多,因为没有infrastructure让AI显示"diff"或跟踪变化。

但AK也泼了冷水:当前AI编程模型还没准备好真正自动化编程。他亲身体验发现,对于独特的智力密集项目,模型会失败——它们有认知缺陷,误解自定义代码,因为总是默认使用在线常见模式。他感慨"行业跳跃太大,试图假装这很神奇,但其实是垃圾"。

"九进军"的苦涩现实

从Tesla自动驾驶5年经验,AK深知从90%工作的demo到99.9%可靠产品的"九进军"有多艰难。每提升一个九,都需要massive effort。他提到自动驾驶演示从1986年就存在,2014年他在Waymo车上体验了完美驾驶,以为技术很接近完成。但现实是demo到产品的巨大鸿沟,在高风险领域尤其如此。

在Tesla的五年里,他们可能只推进了两三个"九",还有更多要走。这种现实主义让他对AGI时间线保持谨慎:这是"智能体的十年",不是"智能体之年"。

当前模型就像"有完美记忆的小孩"或"学者儿童"——能通过博士级测试,却认知上还有严重缺陷:缺乏持续学习、多模态能力、有效使用计算机的能力,以及大脑中海马体、杏仁核等关键组件的类似物。

未来的工作模式:自主滑块

AK预测不会出现"瞬间工作替代",而是"自主滑块"模式:AI处理80%常规任务,人类监督AI团队并管理最复杂的20%。有趣的是,当AI自动化99%工作时,处理最后1%的人类反而会变得极其有价值,成为整个系统的瓶颈,他们的薪资也会提高。

教育的范式转换

AK对教育未来的洞察:Pre-AGI时代教育是功利性的(为了工作),Post-AGI时代教育将像健身房一样,为了乐趣和个人充实。

他还分享了一个教学技巧:先展示痛点,再给解决方案。通过展示简单方法的局限性来激发学习动机,这样学习者会深刻理解为什么需要复杂解决方案。

最后,要真正掌握知识,就要试着向别人解释。解释的过程会迫使你面对理解中的空白,这又回到了他的核心观点:

限制和困难往往是学习的催化剂。

这 recall 了之前的观点,真正的技术突破往往需要重新思考基础假设。

也许AGI的关键不是让机器记住更多,而是学会智能地遗忘。
刚看完Andrej Karpathy这期暴论频出的播客:

- 今年不是"智能体元年",我们身处"智能体的十年"
- 现在的强化学习就像"通过吸管吸取监督"
- LLM悖论:完美记忆 + 泛化能力差
- 人类糟糕的记忆是特性,不是bug
- 当你记不住细节时,大脑被迫进入抽象模式,看到"森林"而不只是"树木"。
- 儿童:记忆最差,创造力最强(还没"过拟合"到社会规范)
- 我们需要的AI只需要认知核心。剥离记忆,保留算法。
也许我们需要的不是更大的模型,而是更会遗忘的模型?
- AI 不会立即取代人类,而会逐步提高工作占比,最终完成 99% 的工作,剩下1%无法取代。
- 以前的教育是为了找到工作,Post-AGI时代教育将像健身房一样,为了乐趣和个人充实。

播客开头,AK先重新校准了我们对 AI 的期望。

今年不是"智能体元年",我们身处"智能体的十年",区别在于,一切没那么快,虽然也没那么慢。

他说,现在强化学习就像"通过吸管吸取监督" ,模型尝试几百种方法,最后只得到一个"对错"信号,然后把这个信号广播给成功路径的每一步,包括那些纯属运气的错误步骤。

你瞎猜猜中了答案,然后把猜的过程也当成"正确方法"强化,这能学好吗?

AK还提到一个更荒诞的例子:有个数学模型突然开始得满分,看起来"解决了数学"。但仔细检查发现,模型输出的是"da da da da da"这样的完全胡言乱语,却骗过了LLM评判者。这就是用LLM做评判的问题——它们会被对抗样本攻击,因为这些乱码是它们从没在训练中见过的"样本外"内容。

更深层的问题是:人类读书时在做什么?

AK说:"我们读的书其实是prompts,让我做合成数据生成用的。"

我们读书时不是被动接收信息,而是在内心进行复杂的对话。新只是与已知知识调和,产生新理解,形成个人化的认知图谱。

但LLM呢?只是在预测下一个token,缺乏这种"内心对话"机制。

人类还有个神奇的"睡眠阶段"。白天我们建立起事件的上下文窗口,睡觉时发生蒸馏过程,将信息整合到大脑权重中。

LLM缺乏这种等效机制,每次启动都是零上下文的白纸。

AK发现了一个根本悖论:

LLM悖论:完美记忆 + 泛化能力差
人类悖论:糟糕记忆 + 强学习能力

为什么?因为遗忘强迫我们抽象。
第一次看kk的书《失控》快20年了,我的互联网科技启蒙内容之一,这种作者见面直接讨论AI agent的感觉太奇妙了。探讨了很多很有意思的话题,也认识了很有意思的新朋友们,非常开心🥰
⚡️⚡️⚡️⚡️⚡️⚡️⚡️⚡️⚡️⚡️⚡️⚡️⚡️⚡️

1️⃣8️⃣2️⃣🔤🔤🔤🔤 豪礼大放送❤️❤️🔥😁❤️❤️❤️❤️❤️❤️❤️🔥❤️❤️❤️❤️❤️ 等大礼等你来豪夺

❤️ 平台支持❤️❤️ ❤️❤️ ❤️❤️ ❤️❤️ 以及多种电子钱包存取款
❤️平台优势:u存u提、不限ip、每日提款不限额度不限次数#免实名(安全保障客户信息安全)不限ip

❤️经营:❤️❤️❤️ ❤️❤️❤️ ❤️❤️❤️ ❤️❤️❤️ ❤️❤️❤️ ❤️❤️❤️ ❤️❤️❤️

#182体育封神榜
以小博大直接爆15000倍 点击查看
实力盘总4000一拉直接爆2304000 点击查看

182体育|新人专享首存福利】
单笔首存1千 赠送彩金108
单笔首存3千 赠送彩金238
单笔首存5千 赠送彩金358
单笔首存1万 赠送彩金528
单笔首存3万 赠送彩金788
单笔首存5万 赠送彩金1088
单笔首存8万 赠送彩金1488
单笔首存12万 赠送彩金2088

单笔首存20万 赠送彩金3488
单笔首存50万 赠送彩金5288

注册升级领18888, 每周送福利5888
每日存款彩金每日送,每笔存款加赠
🔤1️⃣

🌐 官网注册网址 : 1820036.com
💖专属VIP客服: @vipkf_182ty8
➡️ 双向用户点击: @vipkf_182ty2_bot
💖吃瓜搞笑:@chiguagaoxiaoxinwen
😘更多优惠活动关注福利频道: @vip182ty888
❤️❤️❤️❤️❤️❤️🔥❤️❤️
Media is too big
VIEW IN TELEGRAM
⚠️# 6G全球关于汇旺平台公告⚠️

➡️ 官方易记域名: 😔 6G.com 信誉铸就未来
👍👎👊🤞✌️🫰🤟

👍近期因国际局势波动 ⌨️汇旺通道受到一定外部压力,引发部分市场波动。

😔 请大家放心!😔

😔【6G全球】平台一切运行正常!

充值、提现全面畅通无阻,

无论是 汇旺充值 还是 USDT下分,均可正常使用!

提现依旧秒到,充值速度不减,爆奖照样连连!

⌨️汇旺收款账户:6️⃣6️⃣9️⃣9️⃣正常使用,可直接充值下分。

🔓6G全球始终以信誉为本 · 正规直营为核心原则,

🔓百亿资金护航,玩家资产安全稳如磐石!

🥷 风浪再大,信任不倒🌊

➡️ 选择【6G全球】就是选择永远最稳的全球娱乐平台!

😀😘😀😀😀😘😘😘😘

➡️ 注册登入: 6G.com
➡️来6G,创造无限可能 😀

🔯 TG投注 @AA6G
🔯 客服 @kf6g
🔯 代理 @daili6G
🔯 频道 @www6gvip

😘😘😘😘📱📱📱😀
# 6G全球 # 权威认证 # 百亿保障 # 真爆奖 # 信誉首选
❤️❤️❤️❤️❤️#球速体育#PG电子 #真人百家乐 东南亚最大线上博彩平台

球速大会员再创新高:
球速体育
🔤🔤🔤🔤🔤🔤🔤🔤 豪礼大放送高端嫩模、劳力士手表、奔驰E300等大礼等你来豪夺、首存日存彩金送不停

🪙点击:泰国大老板百家乐存50万出512万 查看记录
🪙点击:反水11000出款74万史无前例查看记录
🪙点击:柬埔寨大盘总喜提42万u查看记录
🪙点击:充值30万总提款164万轻轻松松实现财富自由
🪙点击单笔提款530万全网独一档查看记录
🪙点击千万备用金、大额出款无忧查看记录

u存u提每日提款无上限,随便提、全球不限ip、免实名绑定手机号码、银行,大额出款无忧 (您的最佳选择,欢迎体验)

#亚洲顶级真人视讯博彩盘口!❤️❤️❤️ ❤️❤️❤️ ❤️❤️❤️ ❤️❤️❤️ ❤️❤️❤️ ❤️❤️❤️ ❤️❤️❤️

🔥平台😁😀 😙😏 😚🙁 😛☺️ 😉😋以及多种电子钱包存取款。东南亚国家地区 不限ip  U存U取(无须实名)

注册升级领18888, 每周送福利5888
每日存款彩金每日送,每笔存款加赠
1️⃣🔤

👑福利频道:@qsty8999
⚽️体育赛事推单:
@QSTY988
💖吃瓜搞笑新闻:
@chiguagaoxiaoxinwen

💖vip客服专属热线,添加客服领取活动福利
🌐官网客服: @QSTY567
双向用户点击:@qsty168168_bot

🌐注册网址: qs1736.cc

❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️🔥❤️❤️
Media is too big
VIEW IN TELEGRAM
完美复刻karin,可以起号了!😎

试了很多个模型seeddream,banana,recraft,只有midjourney才能找到这种日系朦胧感的精髓。

提示词如下,大家可以去试试:

a dreamy intimate portrait of a beautiful realistic asian woman lying under a blanket, soft natural light, cozy warm bedroom, cinematic film grain, 35mm film aesthetic, shallow depth of field, soft focus, delicate skin texture, natural makeup, slightly messy hair, Fujifilm Pro 400H look, pastel warm tones, realistic lighting, subtle haze, gentle atmosphere, by Petra Collins and Ren Hang --ar 3:4 --v7 --style raw
Back to Top