关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
⛰️ 为纪念 ChatGPT 正式推出 @ 功能，用多个 GPTs 来一起讨论这一历史性功能：
- 和自己的日常研究助手先启动
- 让善于解释复杂概念的Universal Primer 展开
- 邀请 Dr. Huberman 来解释 @ 背后的心理学和神经学机制
- 最近用过的脑图工具 Mindmap 整理下思路
- 最后，让 Primer 再做精彩的类比：向一个山区的孩子讲个有关 @ 功能的小故事。
全程一气呵成，体验丝滑；一个小小 @ mentions功能，可能 AI 新世界的一大步。
再也没有理由，不开启你的自定义 GPT 创造之旅。
- 和自己的日常研究助手先启动
- 让善于解释复杂概念的Universal Primer 展开
- 邀请 Dr. Huberman 来解释 @ 背后的心理学和神经学机制
- 最近用过的脑图工具 Mindmap 整理下思路
- 最后，让 Primer 再做精彩的类比：向一个山区的孩子讲个有关 @ 功能的小故事。
全程一气呵成，体验丝滑；一个小小 @ mentions功能，可能 AI 新世界的一大步。
再也没有理由，不开启你的自定义 GPT 创造之旅。
打开ChatGPT ，在输入框 @ ，你就能看到如图所示的GPT Mention功能。 一次会话中完成不同GPTs 的深度对话，这意味着超级重磅的网络效应诞生了。
虽然在去年 Slack 推出Claude /C.AI 开启群聊模式，我们就已经预感到对话式AI的无限可能。但当Open AI 在2024 开年悄然放出这个重磅升级时，这种突然降临的喜悦还是难以言表的～
自定义GPT生态，进入了爆发的前夕，Amazing🎉
在科技的助力下，有时候依托系统快速升温和精准控温技术，炒菜甚至还能还原出大厨颠锅炒制时的‘锅气’，这其实已经远超部分人类的做菜水平。更是有餐饮机器人企业透露，下阶段的目标就是尝试借助大模型等新技术，实现中国餐饮调味体系的数字化，并用科学还原甚至超越传统烹饪的极限。
和大家分享 5 款不错的 AI 工具：
1.Postnitro：小红书做号神器
2.TTS-Online：多语言文字转语音平台
3.AI Comic Factory：漫画生成工具
4.MyLens：时间线生成工具
5.Aminer：新一代 AI 学术搜索平台
后端是Mixtral-8x7b 模型，托管在 LeptonAI 上，输出速度能达到每秒大约200个 token，用的搜索引擎是 Bing 的搜索 API。
作者还写了一下自己的经验：
(1) 搜索质量至关重要。优质的摘要片段是形成精准概括的关键。
(2) 适当加入一些虚构内容实际上有助于补充摘要片段中缺失的“常识性信息”。
(3) 在进行内容概括时，开源模型表现出了卓越的效果。
这里尝试：https://search.lepton.run/
🚀 AI 新知：为什么基础代理将会是下一个革命性技术？
来自英伟达高级研究员 & AI Agents负责人Jim Fan 近期释放的TED 演讲，《The next grand challenge for AI》提出了「基础代理」将在虚拟世界和物理世界中无缝运行。他解释了这项技术将如何从根本上改变我们的生活--渗透到从视频游戏、元宇宙到无人机和仿人机器人的方方面面--并探讨了这一模型如何掌握跨越这些不同现实的技能。
他提出「基础代理」（Foundation Agent）的秘诀：一个单一的模型，可以学习如何在不同的世界中行动。
（如果你之前不太熟悉AI agents相关基础知识， 可以结合文本内容补充相关知识点，Enjoy）
🎮 「基础代理」中的智能体， Voyager 是什么？？
- 它是一个在 Minecraft开放世界中无限学习的智能体。Voyager 可以自己写代码、自我迭代、不断完善技能库中，实现无限学习（Longlife learning）的探索过程。
- 这里核心只有一个，就是无限迭代。 它不断扩充自己的技能图书馆， 无论是在游戏中制作工具，并升级科技树（例如，从Wooden Tool 到Iron Tool）， 全部是自主迭代、自主验证的。 它不仅是自动化，它是通过一套机制自主学习 [1]。
- 它建立在GPT-4之上，并解锁了一个新的范式：「训练」在这个语境下是执行代码；「训练模型」是Voyager迭代组成的技能代码库，而不是浮点矩阵。
- Voyager 作为一个超级玩家，在《我的世界》中，它获得了3.3倍的独特物品，旅行了2.3倍的距离，解锁关键技术树里程碑的速度比之前的方法快15.3倍。它还开源的。 [1]
🤖 为什么这个「基础代理」具有非凡意义？
- LLM 适用于大量文本，而基础代理可以跨越很多很多现实。 基础代理 已经在虚拟世界被验证强大的学习自主性。
- 其次，Jim Fan 认为它具有跨越Reality的拓展性。 开放游戏世界Minecraft 只是作为一个模拟现实（simulated realities）和实验基地，他们还在其他仿真环境进行训练和探索得到惊人进展。[2]
- 如果它能够掌握 10,000 种不同的模拟现实，那么它就能很好地推广到我们的物理世界，而物理世界只是第 10,001 个现实。
- 换句话说，它正在加速应用于物理世界，特别是机器人技术。 参考Jim Fan的PPT 。 [3]
📒 Hans 注释：
[1] 这套自主学习和迭代的机制，有三个核心组件： a）结合游戏反馈、执行错误、自我验证来完善程序的迭代提示机制；（让 GPT-4 写代码 ） b）用于存储和检索复杂行为的技能代码库；（任务的完善和迭代，成为了技能） c）最大化探索的自动课程。Hans 在去年相关论文讨论的《当GPT-4 遇上开放世界》中，有更详细的解读。 https://m.okjike.com/originalPosts/647db839f039ad00d6c6b2f7
[2] 英伟达 Isaac Gym 是一个功能强大的端到端 GPU 加速仿真环境，用于强化学习，可用于训练机器人和模型。它是英伟达 Omniverse 平台的一部分，为机器人和计算机视觉算法提供基于物理的高保真模拟。
[3] TED 视频中Jim Fan的PPT ：https://drive.google.com/file/d/1NSY6MxMu3OPQ4U6hx0OxPq7EQB5XTcAG/view
Invalid media: video
来自英伟达高级研究员 & AI Agents负责人Jim Fan 近期释放的TED 演讲，《The next grand challenge for AI》提出了「基础代理」将在虚拟世界和物理世界中无缝运行。他解释了这项技术将如何从根本上改变我们的生活--渗透到从视频游戏、元宇宙到无人机和仿人机器人的方方面面--并探讨了这一模型如何掌握跨越这些不同现实的技能。
他提出「基础代理」（Foundation Agent）的秘诀：一个单一的模型，可以学习如何在不同的世界中行动。
（如果你之前不太熟悉AI agents相关基础知识， 可以结合文本内容补充相关知识点，Enjoy）
🎮 「基础代理」中的智能体， Voyager 是什么？？
- 它是一个在 Minecraft开放世界中无限学习的智能体。Voyager 可以自己写代码、自我迭代、不断完善技能库中，实现无限学习（Longlife learning）的探索过程。
- 这里核心只有一个，就是无限迭代。 它不断扩充自己的技能图书馆， 无论是在游戏中制作工具，并升级科技树（例如，从Wooden Tool 到Iron Tool）， 全部是自主迭代、自主验证的。 它不仅是自动化，它是通过一套机制自主学习 [1]。
- 它建立在GPT-4之上，并解锁了一个新的范式：「训练」在这个语境下是执行代码；「训练模型」是Voyager迭代组成的技能代码库，而不是浮点矩阵。
- Voyager 作为一个超级玩家，在《我的世界》中，它获得了3.3倍的独特物品，旅行了2.3倍的距离，解锁关键技术树里程碑的速度比之前的方法快15.3倍。它还开源的。 [1]
🤖 为什么这个「基础代理」具有非凡意义？
- LLM 适用于大量文本，而基础代理可以跨越很多很多现实。 基础代理 已经在虚拟世界被验证强大的学习自主性。
- 其次，Jim Fan 认为它具有跨越Reality的拓展性。 开放游戏世界Minecraft 只是作为一个模拟现实（simulated realities）和实验基地，他们还在其他仿真环境进行训练和探索得到惊人进展。[2]
- 如果它能够掌握 10,000 种不同的模拟现实，那么它就能很好地推广到我们的物理世界，而物理世界只是第 10,001 个现实。
- 换句话说，它正在加速应用于物理世界，特别是机器人技术。 参考Jim Fan的PPT 。 [3]
📒 Hans 注释：
[1] 这套自主学习和迭代的机制，有三个核心组件： a）结合游戏反馈、执行错误、自我验证来完善程序的迭代提示机制；（让 GPT-4 写代码 ） b）用于存储和检索复杂行为的技能代码库；（任务的完善和迭代，成为了技能） c）最大化探索的自动课程。Hans 在去年相关论文讨论的《当GPT-4 遇上开放世界》中，有更详细的解读。 https://m.okjike.com/originalPosts/647db839f039ad00d6c6b2f7
[2] 英伟达 Isaac Gym 是一个功能强大的端到端 GPU 加速仿真环境，用于强化学习，可用于训练机器人和模型。它是英伟达 Omniverse 平台的一部分，为机器人和计算机视觉算法提供基于物理的高保真模拟。
[3] TED 视频中Jim Fan的PPT ：https://drive.google.com/file/d/1NSY6MxMu3OPQ4U6hx0OxPq7EQB5XTcAG/view
Invalid media: video
