关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AI探索指南
AI 新知：当GPT-4 遇上开放世界游戏， 智能代理到底有多强？ 尽管AI 智能代理在一个开放世界的成为超级玩家的内容不再是新闻了，然而在上周英伟达发布一系列重磅发布中， 这个被称为 Voyager 游戏智能代理，还是表现出非常令人惊叹的自主探索和学习能力。 这种智能代理是如何通过 GPT-4 一步步是实现的？ 为了让更多非专业人士，从原理层面感知这类技术（类似 AutoGPT）原理、应用层的可能，我和 Claude 100k 一起为大家尽可能深入浅出的进行解释和案例分析。 （ 对话全部内容， ht…
Q2：请总结这篇论文的核心要点， 尽量以中学生能读懂的非技术语言和风格。我们一条条慢慢展开，尽量站在科普和面向非专业人士的立场。首先，请你站在非游戏玩家立场上， 简单介绍下Minecraft 这个沙盒游戏？为Voyager这样的自组织学习的智能代理有什么独特的环境属性？

Q3：我的理解是，「迭代提示机制」作为第一个核心要素， 是Voyager 自组织探索的关键。 当VOYAGER 需要完成一个任务时,它会先通过大语言模型生成一段代码；然后根据执行这段代码产生的环境反馈、执行错误和自我验证；不断改进这段代码，直到完成任务要求；得到成功的代码就会加入技能库。

能否针对《我的世界》这款游戏玩家的视角， 给出一些具体的任务和例子， Voyager是如何执行这条机制和系统的呢？ 例子不要3个，可以从简单到复杂， 尽量包含与环境的互动和反馈等关键描述。 注意保持非技术人士的视角。（见图4）

Q4：很有趣，以中等难度的「制作铁制工具」任务为例， VOYAGER会如何自组织设计prompts来实现 GPT-4的编码呢？ 具体有哪些环境属性的信息，让 AI 模型能够「看见」和得到反馈信息？（图 5）

Q5：看起来这些 prompts 的方式相当开发者级别呢？ 不仅包含了包含环境和实体的属性信息，还让游戏的 API 模拟了游戏操作🎮。 那么，如何解决GPT-4 编写代码出现 bug，病自动修复的问题呢？（图 6）

Q6：除了自我修复 bug，还有「自动课程」机制会触发， 提供另外一些新的任务目标。

那么， 请用最朴实、简明的语言，介绍一下「自动课程」的基本原理，并介绍 3 个场景案例，来探讨它是如何给 AI 智能代理提供新任务的流程？（ 图 7）

Q7：我举一个更具体玩游戏场景的例子：例如 AI 智能代理，发现自己在沙漠而不是森林中，它会如何调整它当前的任务（制作铁锹的材料在当前环境缺失）？

Q8：Voyager通过将成功的程序存储在一个矢量数据库中，逐步建立起一个技能库。每个程序都可以通过其文件串的嵌入来检索。复杂的技能是由较简单的技能合成的，这使Voyager的能力随着时间的推移而不断增强。

Q9：论文中提到，顶部：添加新技能。每个技能都通过嵌入其描述来索引，可以在将来的类似情况下检索。
Fomew-aoScvkxaKYTysZM_T0ZcK4v3.png
1.1 MB
Fq3SoS7XL6balCl896oDkUQwFXw6v3.png
1.1 MB
AI 新知：当GPT-4 遇上开放世界游戏， 智能代理到底有多强？

尽管AI 智能代理在一个开放世界的成为超级玩家的内容不再是新闻了，然而在上周英伟达发布一系列重磅发布中， 这个被称为 Voyager 游戏智能代理，还是表现出非常令人惊叹的自主探索和学习能力。 这种智能代理是如何通过 GPT-4 一步步是实现的？

为了让更多非专业人士，从原理层面感知这类技术（类似 AutoGPT）原理、应用层的可能，我和 Claude 100k 一起为大家尽可能深入浅出的进行解释和案例分析。 （ 对话全部内容， https://poe.com/s/DDLdot0shDFogP4RXn4E）

🧬 核心问题只有一个，自主学习、编码、技能树的游戏 AI 是如何工作。

（如果你不熟悉《我的世界》这款游戏的玩家视角，我建议你先在官方网址 ，简单看一下多个GIF 级别的小视频， 有个感性认知。图 1，也可以直接移步官方网址 https://voyager.minedojo.org/）

🕹️ Voyager 是什么？

- 它是第一个玩Minecraft的终身学习的智能代理。Voyager 可以自己写代码、自我迭代、不断完善技能库中，实现可以终身学习的游戏探索过程（见图 2 ）
- 它建立在GPT-4之上，并解锁了一个新的范式：「训练」在这个语境下是执行代码；「训练模型」是Voyager迭代组成的技能代码库，而不是浮点矩阵。
- Voyager 正在成为一个经验丰富的探索者，一个超级玩家。在《我的世界》中，它获得了3.3倍的独特物品，旅行了2.3倍的距离，解锁关键技术树里程碑的速度比之前的方法快15.3倍。
- 它是开源的。

🤖 Voyager 有 3 个关键组件：（见图3）

1. 结合游戏反馈、执行错误、验证来完善程序的迭代提示机制；（让 GPT-4 写代码 ）
2. 用于存储和检索复杂行为的技能代码库；（任务的自主完善和迭代）
3. 最大化探索的自动课程。 （开放的任务指导体系）

以下是我和Claude 100k的全文提问内容， 你可以作为「深度对话」和 GPT 们交流。

（如果你不是 Poe 的付费用户，也可以用 ChatPDF 之类的代替）

Q1：我们讨论一篇重要的AI行业论文，我把正文输入给你， 当你阅读理解完成后， 请回复 OK。（请注意，复制全文有关对话记录省略了 ）
谁能想到，Apple 做出来一个消费级的3D数字人制作设备。
这个数字人，加上AI，元宇宙扑面而来。
想了想，发布会后半段，就是一集黑镜。

orange.ai: 今年的苹果春晚真好看。
VisionPro 的比想象中最好的形态还要好。
充满了想象力。
非常未来。
今年的苹果春晚真好看。
VisionPro 的比想象中最好的形态还要好。
充满了想象力。
非常未来。
给大家疯狂安利一个我最近被@独自前来围观 安利到的目前用过的最好的翻译插件，沉浸式翻译
https://immersive-translate.owenyoung.com/usage

1️⃣翻译网页多源可选，关键支持OpenAI GPT接入，翻译质量真的太高了
2️⃣支持各类电子书的翻译和制作，epub和pdf英文电子书可以直接啃了，配合OpenAI，一次几块钱成本一本，非常舒服。

关键它接入openAI翻译的时候，还可以预设一段prompt，我现在都是让它先假设自己是专业的IT行业从业人员，翻译出来的中文非常贴合IT行业了。

原文/没加prompt/加了prompt
Intelligence / 智能 / 情报
Positioning / 定位 / 定位
Launch / 启动 / 上市
Enablement / 启用 / 赋能
新玩具来啦～最近在模型炼丹，觉得法律的这个专业领域挺有意思，正好手头有一些法律的饲料，于是就做了「张三」 https://zhangsan.app 这个专业法律咨询的类 chatgpt 小产品。卖点如下:

1. 解决了 gpt 的 hallucination 幻觉问题，3.5 基本上法条都是编的，gpt 4 好一些但还是有些胡编乱造，尤其是判例；
2. 暂时用了80w 个判例来训练，效果还行，做到了回答一定要严格给出法条和案例的依据，而且案例可直接查看。如果有需要可以陆续加到千万级别；
3. 基本上达到了普通律师咨询服务的可信度，可以放心用，需要隐私保密的也请放心，支持游客提问。

加班几天复用了原来fsys的不少设计，有点简陋，去掉了注册要求，游客也有5 次提问机会，估计很多 edge case 处理的不太好，有 bug 请大家反馈。
和同事们聊了一天各种想法。
获得了平静。
人多还是力量大。
活得像个机器人，周一到周五，到点起床，到点下班，到点回家，到点吃饭，到点睡觉，第二天重复。
像蜘蛛侠一样狂飙，这个特技机器人了不起🤖🦿🦾

Invalid media: video
吴恩达的另一个Ai课，之前用LangChain搭建过自己的问答小模型，十行代码就搞定了。
吴恩达和LangChain 官方合作的新的“用于LLM应用开发的LangChain”的课程的全部课程《模型、提示语和解析器、链式》（中英文字幕）
1-8课全部都翻译好了，仅供学习交流，严禁用于商业用途
百度网盘链接: https://pan.baidu.com/s/1du83IfY5iGQPrEO_OTTMTA?pwd=bgm3 提取码: bgm3
阿里云盘链接：https://www.aliyundrive.com/s/BwaB3S5yoMB
先把脑中的最普通用户想象出来，

现实世界的用户会比它小白10倍。
Before
After
Back to Top