关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
RT xuzhe | 徐哲
追问new Bing问题的时候没用敬语（日语），用了对小孩子说话的说教的语气（没有骂娘），结果他直接说不爽了，然后就把我的输入框给禁用了。😂 你们啊，记住以后跟AI聊天还是要说“请”。
追问new Bing问题的时候没用敬语（日语），用了对小孩子说话的说教的语气（没有骂娘），结果他直接说不爽了，然后就把我的输入框给禁用了。😂 你们啊，记住以后跟AI聊天还是要说“请”。
其实关于 ChatGPT plugins 的大部分 myth，读 OpenAI 这个简短的开发文档都可以得到解答 [1]。
比如说，这是不是意味着 ChatGPT 变成了一个操作系统？从操作系统的经典定义 [2] 来说，肯定不是。ChatGPT plugins 做的事情，是在「适当时候」让 ChatGPT 可以和外界打交道。现在的 ChatGPT 是一个受过良好本科教育的知识工作者，不幸在 2021 年 9 月就被你抓到了一个白房子里面关着，就跟美国那个 Jony Ive 一样。你问它的很多问题它凭借自己的积累是可以解答的，只是不知有汉，无论魏晋。
现在，你和它说，我问你某些问题的「适当时候」我允许你出去走走，看看外面的世界是不是有更好的答案、更好的办法。比如，机票价格怎么样了？Tik Tok 的听证会怎么样了？你不是理科不好吗，让人帮忙解个方程怎么样？有些事情，干脆你也帮我办了吧。比如，既然问了机票价格，就顺便订个机票吧！[3]
它说好啊，但我怎么知道应该去哪儿解决你的问题呢？其实世界上这些工作都已经有不同的仆人做得很好了，让这些仆人先来我们这儿登记一下。这样我们就知道，机票可以去找这个叫 KAYAK 的，新闻可以去问 Bing，解方程可以找 Wolfram Alpha。它在「适当时候」照着登记册出去问了问题，然后回来用它的语言告诉我答案。
这里还有一个厉害的地方是，在这个世界中这些仆人是不说人话的。它们用一种叫 API 的机读语言和其他人进行交互。过去，我们日常用的手机 app 可以代替我们将界面上的操作转化成这种特殊的语言，但我们这位被关了两年的朋友，却能自动把我们说的人话自动翻译成这种语言。
这不是操作系统，而是一种对世界上已有服务的 API 通过自然语言进行索引和整合的方式，也给所有已有服务提供了自然语言界面。通过它你可以利用已有的服务获取数据，也进行少量的行动（这一点实际上是出于安全的限制）。
当然，你可以说着这有点儿像一个操作系统，毕竟用户可以交付任务给它……那么它也有点像一个浏览器，有点像一个应用商店，有点像手机桌面，有点像搜索引擎，虽然我觉得它最像的还是……3721 中文网址导航。
用比喻来讨论问题总是不精准的，取决于你关心什么方面，希望获得什么样的隐含暗示。就好像说现在到底是 AI 的 BlackBerry 时刻还是 iPhone 时刻还是 iPhone 3GS 时刻还是 iPhone 4 时刻……Depends。
至于说这个 plugins 系统可以自己给自己写 plugin……至少在目前是不准确的。OpenAI 联合创始人 Greg 在 Twitter 上说的不错，一个 plugin 的开发很简单，你就是为一个自然语言模型来写 API 文档。但这个前提是你得先有 API。如果你已经做出一个 Wolfram Alpha 了，要接入的确是很简单的。就好像给 Chrome 写一个 web app 其实也很简单，因为本质上那只是一个已有网站的书签。
当然了，既然 GPT 已经可以帮忙写代码了，所以你用 GPT 从 0 开始写出一个 plugin 理论上是可能的，但这不是 plugins 系统的开箱体验。Greg 说的「为自然语言模型写 API」，并不是大家所理解的「用自然语言模型来写 API」。目前 plugin 的接口仍然需要写成机读语言——尽管理论上，如果你写出足够详细的 prompt，也可以让 GPT 来生成。
这中间的区别也许没有那么重要，也许就是差一层窗户纸。但总之，描述的还不是已经实现的体验。
ChatGPT 的 plugin 系统的设计和之前类似系统比，真的新颖之处在哪里呢？前面说到「适当时候」，在接口中，你可以用自然语言告知 ChatGPT 你这个 API 能干啥，ChatGPT 用自然语言理解了这一点后，就可以自动根据用户的输入来判断什么时候应该找谁来满足用户的需求。你只需要告诉它一次「买机票去 KAYAK」，它就知道下次你问它 UA888 的时候可以去找 KAYAK。
这是不是就是我们中国人熟悉的……流量分发？大家都很熟悉，在 PC 时代我们抢注文件扩展名、Android 上我们抢注 Intent、iOS 上抢注 schema、搜索引擎上做竞价排名……干的是同一件事情。ChatGPT 想用自然语言来解决流量分发的问题。所以，套用一句话，这是流量分发机制的自然语言界面。
这么一想，什么 SEO、growth hacking……说不定还有用武之地。振作吧！
（给不熟的人：这是开玩笑... 我不喜欢这些事情）
其实这也不是 ChatGPT 首创。Google Assistant 接入第三方服务的方式也是类似的，只是开发者体验要复杂一些。说时迟那时快，写这段的时候去查了 Google 的文档，发现这个服务即将在 6 月 13 日被 Google 亲手干掉。[4]
这也不是否定 plugins 的创新。事实上，大部分革命性的创新也就是在前人的基础上稍作改动而已。OpenAI 的研究和工程能力当然是让人惊叹的，但我越来越觉得他们的产品和市场能力也是让人惊叹的。
MIT Tech Review 关于 ChatGPT 开发过程的访谈非常值得一读 [5]，ChatGPT 本身也许可以称之为有史以来最成功的 hackathon 项目（虽然远比一般的 hackathon 要昂贵，但相比于 GPT 本身的投入相信只是个零头）。ChatGPT 把 GPT 重新包装成了人人都能看懂的能力，也许是其意外成功让 OpenAI 不甘于只做基础设施了，他们现在看起来决心直接面向消费者，不给中间商赚差价的机会了。也许，OpenAI 就是第四次工业革命的 Google 或 Apple 了。
Plugins 这个系统相信是在很短时间内拼凑出来的，却足够优雅、有想象力。Go-to market 的能力、连接用户需求和技术的能力、商业化的能力、设计生态系统的能力... 不就是古典产品经理的核心能力么？怪不得老王也要招产品经理 [6]。可惜，想来想去好像不认识什么活人有这个能力。
你看，为了拖延写稿我宁愿写这么大一段 [7]。没有仔细校对，有错漏请指正。
[1]: https://platform.openai.com/docs/plugins/introduction
[2]: https://en.wikipedia.org/wiki/Operating_system
[3]: https://openai.com/blog/chatgpt-plugins
[4]: https://developers.google.com/assistant/conversational/overview
[5]: https://www.technologyreview.com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/
[6]: https://m.okjike.com/originalPosts/641aa79e40db2e7567d6ed98?s=ewoidSI6ICI1NjU1OTg0MjVhMDNmOTEzMDBlMGE5YTgiCn0=
[7]: https://m.okjike.com/originalPosts/641c207e1ccc7f6510882c2b?s=ewoidSI6ICI1NjU1OTg0MjVhMDNmOTEzMDBlMGE5YTgiCn0=
比如说，这是不是意味着 ChatGPT 变成了一个操作系统？从操作系统的经典定义 [2] 来说，肯定不是。ChatGPT plugins 做的事情，是在「适当时候」让 ChatGPT 可以和外界打交道。现在的 ChatGPT 是一个受过良好本科教育的知识工作者，不幸在 2021 年 9 月就被你抓到了一个白房子里面关着，就跟美国那个 Jony Ive 一样。你问它的很多问题它凭借自己的积累是可以解答的，只是不知有汉，无论魏晋。
现在，你和它说，我问你某些问题的「适当时候」我允许你出去走走，看看外面的世界是不是有更好的答案、更好的办法。比如，机票价格怎么样了？Tik Tok 的听证会怎么样了？你不是理科不好吗，让人帮忙解个方程怎么样？有些事情，干脆你也帮我办了吧。比如，既然问了机票价格，就顺便订个机票吧！[3]
它说好啊，但我怎么知道应该去哪儿解决你的问题呢？其实世界上这些工作都已经有不同的仆人做得很好了，让这些仆人先来我们这儿登记一下。这样我们就知道，机票可以去找这个叫 KAYAK 的，新闻可以去问 Bing，解方程可以找 Wolfram Alpha。它在「适当时候」照着登记册出去问了问题，然后回来用它的语言告诉我答案。
这里还有一个厉害的地方是，在这个世界中这些仆人是不说人话的。它们用一种叫 API 的机读语言和其他人进行交互。过去，我们日常用的手机 app 可以代替我们将界面上的操作转化成这种特殊的语言，但我们这位被关了两年的朋友，却能自动把我们说的人话自动翻译成这种语言。
这不是操作系统，而是一种对世界上已有服务的 API 通过自然语言进行索引和整合的方式，也给所有已有服务提供了自然语言界面。通过它你可以利用已有的服务获取数据，也进行少量的行动（这一点实际上是出于安全的限制）。
当然，你可以说着这有点儿像一个操作系统，毕竟用户可以交付任务给它……那么它也有点像一个浏览器，有点像一个应用商店，有点像手机桌面，有点像搜索引擎，虽然我觉得它最像的还是……3721 中文网址导航。
用比喻来讨论问题总是不精准的，取决于你关心什么方面，希望获得什么样的隐含暗示。就好像说现在到底是 AI 的 BlackBerry 时刻还是 iPhone 时刻还是 iPhone 3GS 时刻还是 iPhone 4 时刻……Depends。
至于说这个 plugins 系统可以自己给自己写 plugin……至少在目前是不准确的。OpenAI 联合创始人 Greg 在 Twitter 上说的不错，一个 plugin 的开发很简单，你就是为一个自然语言模型来写 API 文档。但这个前提是你得先有 API。如果你已经做出一个 Wolfram Alpha 了，要接入的确是很简单的。就好像给 Chrome 写一个 web app 其实也很简单，因为本质上那只是一个已有网站的书签。
当然了，既然 GPT 已经可以帮忙写代码了，所以你用 GPT 从 0 开始写出一个 plugin 理论上是可能的，但这不是 plugins 系统的开箱体验。Greg 说的「为自然语言模型写 API」，并不是大家所理解的「用自然语言模型来写 API」。目前 plugin 的接口仍然需要写成机读语言——尽管理论上，如果你写出足够详细的 prompt，也可以让 GPT 来生成。
这中间的区别也许没有那么重要，也许就是差一层窗户纸。但总之，描述的还不是已经实现的体验。
ChatGPT 的 plugin 系统的设计和之前类似系统比，真的新颖之处在哪里呢？前面说到「适当时候」，在接口中，你可以用自然语言告知 ChatGPT 你这个 API 能干啥，ChatGPT 用自然语言理解了这一点后，就可以自动根据用户的输入来判断什么时候应该找谁来满足用户的需求。你只需要告诉它一次「买机票去 KAYAK」，它就知道下次你问它 UA888 的时候可以去找 KAYAK。
这是不是就是我们中国人熟悉的……流量分发？大家都很熟悉，在 PC 时代我们抢注文件扩展名、Android 上我们抢注 Intent、iOS 上抢注 schema、搜索引擎上做竞价排名……干的是同一件事情。ChatGPT 想用自然语言来解决流量分发的问题。所以，套用一句话，这是流量分发机制的自然语言界面。
这么一想，什么 SEO、growth hacking……说不定还有用武之地。振作吧！
（给不熟的人：这是开玩笑... 我不喜欢这些事情）
其实这也不是 ChatGPT 首创。Google Assistant 接入第三方服务的方式也是类似的，只是开发者体验要复杂一些。说时迟那时快，写这段的时候去查了 Google 的文档，发现这个服务即将在 6 月 13 日被 Google 亲手干掉。[4]
这也不是否定 plugins 的创新。事实上，大部分革命性的创新也就是在前人的基础上稍作改动而已。OpenAI 的研究和工程能力当然是让人惊叹的，但我越来越觉得他们的产品和市场能力也是让人惊叹的。
MIT Tech Review 关于 ChatGPT 开发过程的访谈非常值得一读 [5]，ChatGPT 本身也许可以称之为有史以来最成功的 hackathon 项目（虽然远比一般的 hackathon 要昂贵，但相比于 GPT 本身的投入相信只是个零头）。ChatGPT 把 GPT 重新包装成了人人都能看懂的能力，也许是其意外成功让 OpenAI 不甘于只做基础设施了，他们现在看起来决心直接面向消费者，不给中间商赚差价的机会了。也许，OpenAI 就是第四次工业革命的 Google 或 Apple 了。
Plugins 这个系统相信是在很短时间内拼凑出来的，却足够优雅、有想象力。Go-to market 的能力、连接用户需求和技术的能力、商业化的能力、设计生态系统的能力... 不就是古典产品经理的核心能力么？怪不得老王也要招产品经理 [6]。可惜，想来想去好像不认识什么活人有这个能力。
你看，为了拖延写稿我宁愿写这么大一段 [7]。没有仔细校对，有错漏请指正。
[1]: https://platform.openai.com/docs/plugins/introduction
[2]: https://en.wikipedia.org/wiki/Operating_system
[3]: https://openai.com/blog/chatgpt-plugins
[4]: https://developers.google.com/assistant/conversational/overview
[5]: https://www.technologyreview.com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/
[6]: https://m.okjike.com/originalPosts/641aa79e40db2e7567d6ed98?s=ewoidSI6ICI1NjU1OTg0MjVhMDNmOTEzMDBlMGE5YTgiCn0=
[7]: https://m.okjike.com/originalPosts/641c207e1ccc7f6510882c2b?s=ewoidSI6ICI1NjU1OTg0MjVhMDNmOTEzMDBlMGE5YTgiCn0=
今天是Open AI 开始超越 Apple的时刻~
Open AI 正式推出基于 ChatGPT 的Plugins 平台， 现在人人可以通过自然语言创建 App。
这是官方的表达：
「我们已经在ChatGPT中实现了对插件的初步支持。插件是专门为语言模型设计的工具，以安全为核心原则，并帮助ChatGPT访问最新的信息，运行计算，或使用第三方服务。
如果你要给它写插件，你并不是去写这个插件的程序，你是写一个关于插件的描述，用你的自然语言，然后 GPT 来帮你生成这个插件。」https://openai.com/blog/chatgpt-plugins
这标志着人工智能时代序幕全面拉开：
人机交互系统从iOS走向了ChatGPT；
从 iPhone 走向了GPT；
创建应用从AppStore 走向了Plugins。
有想法，说出来，你就可以创建应用；全新的人人创造时代已经到来~
Open AI 正式推出基于 ChatGPT 的Plugins 平台， 现在人人可以通过自然语言创建 App。
这是官方的表达：
「我们已经在ChatGPT中实现了对插件的初步支持。插件是专门为语言模型设计的工具，以安全为核心原则，并帮助ChatGPT访问最新的信息，运行计算，或使用第三方服务。
如果你要给它写插件，你并不是去写这个插件的程序，你是写一个关于插件的描述，用你的自然语言，然后 GPT 来帮你生成这个插件。」https://openai.com/blog/chatgpt-plugins
这标志着人工智能时代序幕全面拉开：
人机交互系统从iOS走向了ChatGPT；
从 iPhone 走向了GPT；
创建应用从AppStore 走向了Plugins。
有想法，说出来，你就可以创建应用；全新的人人创造时代已经到来~
Liang Huan: HEMe 第一届成员可乐 @moejser，根据 HEMe 的 180 节课教案，使用 GPT-3.5 做了一个「数字梁欢」，用于回答大家音乐制作中的各种技术问题。
把一个视频的前5秒截断出来，现场写代码处理…
麻瓜震得惊掉下巴
Greg Brockman: Plugins for processing a video clip, no ffmpeg wizardry required. Actual use-case from today's launch.
麻瓜震得惊掉下巴
Greg Brockman: Plugins for processing a video clip, no ffmpeg wizardry required. Actual use-case from today's launch.
Peter Welinder: The ChatGPT Code Interpreter plugin can help you with calculations. It writes code based on your question, and executes it to find the correct answer.
Peter Welinder: The ChatGPT browsing plugin is useful for answering questions, doing research, and finding up-to-date information.
RT DouO
历时 13 天😂 #Raycast OpenAI Translator 扩展终于过审了，再次感谢 @yetone @yihong0618 。扩展支持划词翻译，截图翻译，剪切板翻译，可绑全局快捷键，所有交互皆可快捷键操作 https://www.raycast.com/douo/openai-translator
历时 13 天😂 #Raycast OpenAI Translator 扩展终于过审了，再次感谢 @yetone @yihong0618 。扩展支持划词翻译，截图翻译，剪切板翻译，可绑全局快捷键，所有交互皆可快捷键操作 https://www.raycast.com/douo/openai-translator
With plugins, ChatGPT becomes the new browser, the interface for everything.
有了插件，ChatGPT成为新的浏览器，成为一切的接口。
有了插件，ChatGPT成为新的浏览器，成为一切的接口。
已经看到有很多 Blender 玩家在用 GPT-4 写各种实用小插件了，比如这个：一键平滑过渡，一秒解决穿模感~
▶ 还可以免费下载：https://www.artstation.com/marketplace/p/BW8Xa/blend-em-blend-two-objects-in-1-click
▶ 作者主页：https://www.instagram.com/leo.avero_/
▶ 作者：Leo Avero
作者还在做其他小插件，都很好玩，去他主页逛逛看。
真的很佩服在用语言模型来学习新领域知识/解决问题的各位，大家都在某种程度上最大化自己的学习能力。
▶ 还可以免费下载：https://www.artstation.com/marketplace/p/BW8Xa/blend-em-blend-two-objects-in-1-click
▶ 作者主页：https://www.instagram.com/leo.avero_/
▶ 作者：Leo Avero
作者还在做其他小插件，都很好玩，去他主页逛逛看。
真的很佩服在用语言模型来学习新领域知识/解决问题的各位，大家都在某种程度上最大化自己的学习能力。
Agility Robotics 人形机器人🤖🦿🦾
加上眼睛后，相当于可以很好的感知了
现在能做些「人类」的工作
比如“搬运”
这也是它目前的定位「Made for work」🦾
Invalid media: video
加上眼睛后，相当于可以很好的感知了
现在能做些「人类」的工作
比如“搬运”
这也是它目前的定位「Made for work」🦾
Invalid media: video
https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/guides/prompts-intro.md
Jimmy 加入了自己整理的其他信息和自己的理解
Jimmy 加入了自己整理的其他信息和自己的理解
链接：https://learningprompt.wiki/docs/%F0%9F%91%8B%20Welcome
ChatGPT 其实不用 prompt 库，它对语义的理解很到位，只需要掌握框架，按照自己的需求输入通常的语言，即可使用。
我在使用指南中学到的两个 prompt 的框架
① Elavis Saravia 总结的框架：
- Instruction（必须）： 指令，即你希望模型执行的具体任务。
- Context（选填）： 背景信息，或者说是上下文信息，这可以引导模型做出更好的反应。
- Input Data（选填）： 输入数据，告知模型需要处理的数据。
- Output Indicator（选填）： 输出指示器，告知模型我们要输出的类型或格式。
https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/guides/prompts-intro.md
② Matt Nigh 总结的 CRISPE 框架：
另一个我觉得很不错的 Framework 是 Matt Nigh 的 CRISPE Framework，这个 framework 更加复杂，但完备性会比较高，比较适合用于编写 prompt 模板。
CRISPE 分别代表以下含义：
- CR： Capacity and Role（能力与角色）。你希望 ChatGPT 扮演怎样的角色。
- I： Insight（洞察力），背景信息和上下文（坦率说来我觉得用 Context 更好）。
- S： Statement（指令），你希望 ChatGPT 做什么。
- P： Personality（个性），你希望 ChatGPT 以什么风格或方式回答你。
- E： Experiment（尝试），要求 ChatGPT 为你提供多个答案。
https://github.com/mattnigh/ChatGPT3-Free-Prompt-List
内容整理自 Elvis Saravia 的 github
