自动驾驶的失败成本是物理世界的人身安全，一次失误就可能导致严重事故。
AI Agent的失败成本是什么？是数字世界的业务安全。一个企业级的Agent如果出错，可能会错误地修改数据库、泄露客户隐私、或者给出一个灾难性的商业决策。
“在软件工程中，一个微小的错误就可能导致数百万用户的安全漏洞。这种成本，一点也不比自动驾驶低。” Karpathy强调。
当失败的代价极其高昂时，99%的可靠性是完全不够的。你需要的，是99.999%甚至更高。
挑战二：从90%到99.999%的艰难爬坡
为什么提升一个“9”如此困难？
因为现实世界充满了“长尾问题”（long tail problems）——那些极其罕见但又确实会发生的极端情况。
对自动驾驶来说，可能是突然冲上马路的行人，或是从未见过的交通标识。对于AI Agent，则可能是用户一句带有歧义的指令，或是一个系统从未处理过的异常API返回。
解决前90%的问题，靠的是模型的核心能力。而解决后面9.999%的长尾问题，则需要海量的数据、持续的迭代和近乎偏执的细节打磨。
“每当你觉得解决了一个问题，就会有一千个新的、更奇怪的问题冒出来。”这正是Karpathy在特斯拉的日常。
挑战三：看不见的“人”
很多人以为，Waymo的无人车里真的“无人”。但Karpathy指出，这是一种误解。
在你看不到的地方，有一个庞大的远程操作中心（tele-operation center），随时准备在车辆遇到困难时接管。
“我们并没有完全移除人类，只是把驾驶员从车里，移到了你看不到的办公室里。”
AI Agent同样如此。当一个Agent宣称能“全自动”完成任务时，其背后很可能有一个人类团队在进行监督、审核和处理异常。这种“人机协作”的模式，在未来很长一段时间内都将是常态。
挑战四：经济可行性
最后，也是最现实的问题：成本。
自动驾驶的研发成本是天文数字。Waymo烧掉了数百亿美元，至今未能盈利。AI Agent同样面临高昂的训练和推理成本。
一个AI产品最终能否成功，不仅仅取决于技术，更取决于它的经济模型。它能否在覆盖高昂成本的同时，创造出足够大的、让客户愿意付费的价值？
“你必须让产品在经济上是可行的，否则它就只是一个昂贵的科学实验。”
三、结论：乐观的技术，悲观的时间线
正是基于这四大挑战的深刻洞见，Karpathy才做出了“智能体十年”的判断。
他预测，未来十年，AI Agent不会像很多人想象的那样，以一种颠覆性的姿态瞬间取代人类工作。它会以一种更渐进、更务实的方式渗透到我们的工作流中。
他提出了一个“自主性滑块”（autonomy slider）的概念：AI会先从处理80%的常规任务开始，将剩下20%最棘手的任务交给人类。随着技术的成熟，这个“滑块”会慢慢地、一点一点地向100%自主移动。
“我对技术本身是乐观的，我相信这些问题终将被解决。” Karpathy在访谈的最后说。
“但我对时间线是现实的，甚至有点悲观。我之所以听起来悲观，只是因为当我打开Twitter时，看到太多毫无意义的、为了融资而存在的炒作。”
这或许就是Andrej Karpathy带给我们最重要的启发：在一个被AI浪潮席卷的时代，保持兴奋很容易，但保持清醒和耐心，才是一种更稀缺、也更可贵的能力。
AI Agent的失败成本是什么？是数字世界的业务安全。一个企业级的Agent如果出错，可能会错误地修改数据库、泄露客户隐私、或者给出一个灾难性的商业决策。
“在软件工程中，一个微小的错误就可能导致数百万用户的安全漏洞。这种成本，一点也不比自动驾驶低。” Karpathy强调。
当失败的代价极其高昂时，99%的可靠性是完全不够的。你需要的，是99.999%甚至更高。
挑战二：从90%到99.999%的艰难爬坡
为什么提升一个“9”如此困难？
因为现实世界充满了“长尾问题”（long tail problems）——那些极其罕见但又确实会发生的极端情况。
对自动驾驶来说，可能是突然冲上马路的行人，或是从未见过的交通标识。对于AI Agent，则可能是用户一句带有歧义的指令，或是一个系统从未处理过的异常API返回。
解决前90%的问题，靠的是模型的核心能力。而解决后面9.999%的长尾问题，则需要海量的数据、持续的迭代和近乎偏执的细节打磨。
“每当你觉得解决了一个问题，就会有一千个新的、更奇怪的问题冒出来。”这正是Karpathy在特斯拉的日常。
挑战三：看不见的“人”
很多人以为，Waymo的无人车里真的“无人”。但Karpathy指出，这是一种误解。
在你看不到的地方，有一个庞大的远程操作中心（tele-operation center），随时准备在车辆遇到困难时接管。
“我们并没有完全移除人类，只是把驾驶员从车里，移到了你看不到的办公室里。”
AI Agent同样如此。当一个Agent宣称能“全自动”完成任务时，其背后很可能有一个人类团队在进行监督、审核和处理异常。这种“人机协作”的模式，在未来很长一段时间内都将是常态。
挑战四：经济可行性
最后，也是最现实的问题：成本。
自动驾驶的研发成本是天文数字。Waymo烧掉了数百亿美元，至今未能盈利。AI Agent同样面临高昂的训练和推理成本。
一个AI产品最终能否成功，不仅仅取决于技术，更取决于它的经济模型。它能否在覆盖高昂成本的同时，创造出足够大的、让客户愿意付费的价值？
“你必须让产品在经济上是可行的，否则它就只是一个昂贵的科学实验。”
三、结论：乐观的技术，悲观的时间线
正是基于这四大挑战的深刻洞见，Karpathy才做出了“智能体十年”的判断。
他预测，未来十年，AI Agent不会像很多人想象的那样，以一种颠覆性的姿态瞬间取代人类工作。它会以一种更渐进、更务实的方式渗透到我们的工作流中。
他提出了一个“自主性滑块”（autonomy slider）的概念：AI会先从处理80%的常规任务开始，将剩下20%最棘手的任务交给人类。随着技术的成熟，这个“滑块”会慢慢地、一点一点地向100%自主移动。
“我对技术本身是乐观的，我相信这些问题终将被解决。” Karpathy在访谈的最后说。
“但我对时间线是现实的，甚至有点悲观。我之所以听起来悲观，只是因为当我打开Twitter时，看到太多毫无意义的、为了融资而存在的炒作。”
这或许就是Andrej Karpathy带给我们最重要的启发：在一个被AI浪潮席卷的时代，保持兴奋很容易，但保持清醒和耐心，才是一种更稀缺、也更可贵的能力。
