关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
Apple TV 用户迎来了 tvOS 17 的史诗级更新：支持了 VPN 功能。以后可以不需要软路由了，可以和手机一样，对新手用户和带出门还有车载的用户方便太多了。（当然也和手机一样作为软路由不行的）
Yachen Liu: 是的，tvOS 17 开放了 Network Extension API。
Rask.ai 通过其强大的 AI 技术，可以无需任何人工干预地完成一系列翻译任务：只需要您提供一个视频，Rask.ai 就能自动进行语音识别、语言翻译、生成外语配音，然后将原视频和新的外语配音合成为新的视频。
https://helloai.wiki/repository/xoAgSj6lnLyiCUQg13wKy
Jim Fan: Watching WWDC, Apple actually implements the LLM-powered keyboard I mentioned 3 mo ago! The native Transformer model runs inference on-device, and learns your typing patterns. Maybe it's done by LoRA at night?
https://twitter.com/i/web/status/1665774766379204609
还有 iOS17 自带的听写，也是用了类似 whisper 的技术，效果应该会有巨大的提升。
开发者可以思考如何利用这个新的听写搞些事情。
orange.ai: VisionPro 吸引了太多注意力，估计很多人没看完整发布会，其实 iOS17加入了本地的 Transformer 模型，增强了英文输入体验，并且还支持了 in line 的AI补全，类似 Gmail 那种写到一半给后半句建议，这可是系统级别的。
这个功能在中国应该无法使用。
开发者可以思考如何利用这个新的听写搞些事情。
orange.ai: VisionPro 吸引了太多注意力，估计很多人没看完整发布会，其实 iOS17加入了本地的 Transformer 模型，增强了英文输入体验，并且还支持了 in line 的AI补全，类似 Gmail 那种写到一半给后半句建议，这可是系统级别的。
这个功能在中国应该无法使用。
VisionPro 吸引了太多注意力，估计很多人没看完整发布会，其实 iOS17加入了本地的 Transformer 模型，增强了英文输入体验，并且还支持了 in line 的AI补全，类似 Gmail 那种写到一半给后半句建议，这可是系统级别的。
这个功能在中国应该无法使用。
这个功能在中国应该无法使用。
底部：技能检索。当面对新的自动课程提出的任务，Voyager 会执行查询以确定前5 名相关技能。复杂的技能可以通过编写更简单的程序来合成，这加速了迭代。
请从继续描述一个「构建房屋」例子，来说明这个技能库完善的过程吧。
Q10：解释的很好， 自动课程会根据VOYAGER当前的状态和位置，借助 GPT-4 不断适应环境。 这「看上去」确实有一些生物意义的智能在里面了呢。
那么，我们再来讨论第三个重要的组件：构建技能库。请介绍下Voyager 通过将成功的程序存储在向量 DB 中来逐步构建技能库？比实现由简单技能构建复杂的技能的累进过程？（ 图 8）
Q11：论文中提到， 顶部：添加新技能。每个技能都通过嵌入其描述来索引，可以在将来的类似情况下检索。底部：技能检索。当面对新的自动课程提出的任务，Voyager 会执行查询以确定前 5 名相关技能。复杂的技能可以通过编写更简单的程序来合成，这加速了迭代。
请从继续描述一个「构建房屋」例子，来说明这个技能库完善的过程吧。
Q12： 这里有一个小问题， GPT-4 目前没有提供「视觉」能力， 那么， 构建房屋这种复杂的技能和任务， 是如何被代码实现的呢？
Q13：那么，请总结以上我们讨论，如何理解Voyaer 这种终身学习 AI 代理的主要能力；并尝试用一段话来描述这种技术的开创性价值和潜在应用场景吧。 谢谢你的 Copliot～
以上全部对话内容一次放出， 可在 Poe 网址上观赏 。Enjoy～
https://poe.com/s/DDLdot0shDFogP4RXn4E
请从继续描述一个「构建房屋」例子，来说明这个技能库完善的过程吧。
Q10：解释的很好， 自动课程会根据VOYAGER当前的状态和位置，借助 GPT-4 不断适应环境。 这「看上去」确实有一些生物意义的智能在里面了呢。
那么，我们再来讨论第三个重要的组件：构建技能库。请介绍下Voyager 通过将成功的程序存储在向量 DB 中来逐步构建技能库？比实现由简单技能构建复杂的技能的累进过程？（ 图 8）
Q11：论文中提到， 顶部：添加新技能。每个技能都通过嵌入其描述来索引，可以在将来的类似情况下检索。底部：技能检索。当面对新的自动课程提出的任务，Voyager 会执行查询以确定前 5 名相关技能。复杂的技能可以通过编写更简单的程序来合成，这加速了迭代。
请从继续描述一个「构建房屋」例子，来说明这个技能库完善的过程吧。
Q12： 这里有一个小问题， GPT-4 目前没有提供「视觉」能力， 那么， 构建房屋这种复杂的技能和任务， 是如何被代码实现的呢？
Q13：那么，请总结以上我们讨论，如何理解Voyaer 这种终身学习 AI 代理的主要能力；并尝试用一段话来描述这种技术的开创性价值和潜在应用场景吧。 谢谢你的 Copliot～
以上全部对话内容一次放出， 可在 Poe 网址上观赏 。Enjoy～
https://poe.com/s/DDLdot0shDFogP4RXn4E
Q2：请总结这篇论文的核心要点， 尽量以中学生能读懂的非技术语言和风格。我们一条条慢慢展开，尽量站在科普和面向非专业人士的立场。首先，请你站在非游戏玩家立场上， 简单介绍下Minecraft 这个沙盒游戏？为Voyager这样的自组织学习的智能代理有什么独特的环境属性？
Q3：我的理解是，「迭代提示机制」作为第一个核心要素， 是Voyager 自组织探索的关键。 当VOYAGER 需要完成一个任务时,它会先通过大语言模型生成一段代码；然后根据执行这段代码产生的环境反馈、执行错误和自我验证；不断改进这段代码，直到完成任务要求；得到成功的代码就会加入技能库。
能否针对《我的世界》这款游戏玩家的视角， 给出一些具体的任务和例子， Voyager是如何执行这条机制和系统的呢？ 例子不要3个，可以从简单到复杂， 尽量包含与环境的互动和反馈等关键描述。 注意保持非技术人士的视角。（见图4）
Q4：很有趣，以中等难度的「制作铁制工具」任务为例， VOYAGER会如何自组织设计prompts来实现 GPT-4的编码呢？ 具体有哪些环境属性的信息，让 AI 模型能够「看见」和得到反馈信息？（图 5）
Q5：看起来这些 prompts 的方式相当开发者级别呢？ 不仅包含了包含环境和实体的属性信息，还让游戏的 API 模拟了游戏操作🎮。 那么，如何解决GPT-4 编写代码出现 bug，病自动修复的问题呢？（图 6）
Q6：除了自我修复 bug，还有「自动课程」机制会触发， 提供另外一些新的任务目标。
那么， 请用最朴实、简明的语言，介绍一下「自动课程」的基本原理，并介绍 3 个场景案例，来探讨它是如何给 AI 智能代理提供新任务的流程？（ 图 7）
Q7：我举一个更具体玩游戏场景的例子：例如 AI 智能代理，发现自己在沙漠而不是森林中，它会如何调整它当前的任务（制作铁锹的材料在当前环境缺失）？
Q8：Voyager通过将成功的程序存储在一个矢量数据库中，逐步建立起一个技能库。每个程序都可以通过其文件串的嵌入来检索。复杂的技能是由较简单的技能合成的，这使Voyager的能力随着时间的推移而不断增强。
Q9：论文中提到，顶部：添加新技能。每个技能都通过嵌入其描述来索引，可以在将来的类似情况下检索。
Q3：我的理解是，「迭代提示机制」作为第一个核心要素， 是Voyager 自组织探索的关键。 当VOYAGER 需要完成一个任务时,它会先通过大语言模型生成一段代码；然后根据执行这段代码产生的环境反馈、执行错误和自我验证；不断改进这段代码，直到完成任务要求；得到成功的代码就会加入技能库。
能否针对《我的世界》这款游戏玩家的视角， 给出一些具体的任务和例子， Voyager是如何执行这条机制和系统的呢？ 例子不要3个，可以从简单到复杂， 尽量包含与环境的互动和反馈等关键描述。 注意保持非技术人士的视角。（见图4）
Q4：很有趣，以中等难度的「制作铁制工具」任务为例， VOYAGER会如何自组织设计prompts来实现 GPT-4的编码呢？ 具体有哪些环境属性的信息，让 AI 模型能够「看见」和得到反馈信息？（图 5）
Q5：看起来这些 prompts 的方式相当开发者级别呢？ 不仅包含了包含环境和实体的属性信息，还让游戏的 API 模拟了游戏操作🎮。 那么，如何解决GPT-4 编写代码出现 bug，病自动修复的问题呢？（图 6）
Q6：除了自我修复 bug，还有「自动课程」机制会触发， 提供另外一些新的任务目标。
那么， 请用最朴实、简明的语言，介绍一下「自动课程」的基本原理，并介绍 3 个场景案例，来探讨它是如何给 AI 智能代理提供新任务的流程？（ 图 7）
Q7：我举一个更具体玩游戏场景的例子：例如 AI 智能代理，发现自己在沙漠而不是森林中，它会如何调整它当前的任务（制作铁锹的材料在当前环境缺失）？
Q8：Voyager通过将成功的程序存储在一个矢量数据库中，逐步建立起一个技能库。每个程序都可以通过其文件串的嵌入来检索。复杂的技能是由较简单的技能合成的，这使Voyager的能力随着时间的推移而不断增强。
Q9：论文中提到，顶部：添加新技能。每个技能都通过嵌入其描述来索引，可以在将来的类似情况下检索。
