关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
步骤就不描述了， 你很容易想象成为一个万能分类能手， 有点像儿童早期认知世界那样的话，通过不断探索各式各样的物件的属性，慢慢成为人类社会的一份子。
我们想象家庭和工业场景的有认知学习的对话机器人，清洁助手也好、厨房助手、衣柜整理小助手也好，无处不在。
官方🔗 有更多视频和论文说明，推荐观赏。https://palm-e.github.io/
相信你已经大致感受到了 PaLM-E 的神奇、无限想象空间。可以说， PaLM-E 诞生，机器不仅有了 ChatGPT 的辅助创作和认知学习能力，还有了多维度感官学习的能力，它必将为进一步打破生物和非生物的边界， 迈出了一大步。 更多消息，持续跟进中。
🌄「重点不在于我们在山坡上攀登到了什么高度，而在于山峰自身正在被那些巨大但不可见的陆块碰撞的力量推得更高。」
我们想象家庭和工业场景的有认知学习的对话机器人，清洁助手也好、厨房助手、衣柜整理小助手也好，无处不在。
官方🔗 有更多视频和论文说明，推荐观赏。https://palm-e.github.io/
相信你已经大致感受到了 PaLM-E 的神奇、无限想象空间。可以说， PaLM-E 诞生，机器不仅有了 ChatGPT 的辅助创作和认知学习能力，还有了多维度感官学习的能力，它必将为进一步打破生物和非生物的边界， 迈出了一大步。 更多消息，持续跟进中。
🌄「重点不在于我们在山坡上攀登到了什么高度，而在于山峰自身正在被那些巨大但不可见的陆块碰撞的力量推得更高。」
Google 重磅： PaLM-E 来了，562B、多模态，打破生物和非生物界限的一大步!
受到New Bing 和ChatGPT强劲冲击的谷歌， 今天放出了重磅消息。
老规矩， 这则爆炸新闻依然照顾非专业人士的阅读体验。 如果你还没有了解过多模态，这个核心概念。
（强烈推荐优先阅读，这里一篇极简的科普 《像大脑一样学习的多模态》https://m.okjike.com/originalPosts/6400909b4fa545a27bca4547?s=ewoidSI6ICI1OWU1NmRlYzM1MzM1ZjAwMTU4YTdhNTciCn0=）
🆚 先快速对比讨论， PaLM-E 和 ChatGPT 有什么异同：
- PaLM-E 是5620亿参数的嵌入式语言模型，而ChatGPT是1750亿参数的通用语言模型。
- PaLM-E 可以处理多模态数据，例如声音、图像、文本等，而ChatGPT主要处理文本数据。
- PaLM-E 能够在边缘设备（手机、摄像头等不依赖云）上高效运行，而ChatGPT需要云端计算资源。
🫣 多模态为什么很神奇？
我对多模态的思想给出一个参考的比喻，即它是机器学习进一步地模拟大脑，希望机器像生物一样拥有多感官来整合对世界的认知。
具体来说，PaLM-E 是输入端的数据训练有了维度上的突破， 它可以把连续性的、多维度的观察数据（状态、视觉还有各种探测器）注入模型。全称是 Pathways Lauguage Model， 其中E 代表Embody（具身认知）。
因此， Palm- E 是一个多模态的、 5620 亿参数、通用、具身认知的通才——横跨机器人、视觉和语言的LLM。
🤖 第一案例：家用机器人的厨房场景
（在随附视频 25秒，左上位置，你看到了厨房的机器人）
你直接想象，你把它买回家！让它自己也通过视觉和语音等方式捕捉来完善整个环境和物件信息，完全个性化、定制化的学习。
任务是这样： 帮我把抽屉里的薯片拿过来！
- 首先，它自己先走抽屉附近
- 然后，打开了最上面第一个抽屉
- 接着把绿色包装的薯片取了出来。
- 它戴着薯片走向你面前。（ Fin）
🟩 第二个案例：认知学习，排列组合不同形状和颜色物件
（在随附视频 25秒，右上位置，桌面工作站）
任务是这样：根据颜色分类，并将其放置桌角。
受到New Bing 和ChatGPT强劲冲击的谷歌， 今天放出了重磅消息。
老规矩， 这则爆炸新闻依然照顾非专业人士的阅读体验。 如果你还没有了解过多模态，这个核心概念。
（强烈推荐优先阅读，这里一篇极简的科普 《像大脑一样学习的多模态》https://m.okjike.com/originalPosts/6400909b4fa545a27bca4547?s=ewoidSI6ICI1OWU1NmRlYzM1MzM1ZjAwMTU4YTdhNTciCn0=）
🆚 先快速对比讨论， PaLM-E 和 ChatGPT 有什么异同：
- PaLM-E 是5620亿参数的嵌入式语言模型，而ChatGPT是1750亿参数的通用语言模型。
- PaLM-E 可以处理多模态数据，例如声音、图像、文本等，而ChatGPT主要处理文本数据。
- PaLM-E 能够在边缘设备（手机、摄像头等不依赖云）上高效运行，而ChatGPT需要云端计算资源。
🫣 多模态为什么很神奇？
我对多模态的思想给出一个参考的比喻，即它是机器学习进一步地模拟大脑，希望机器像生物一样拥有多感官来整合对世界的认知。
具体来说，PaLM-E 是输入端的数据训练有了维度上的突破， 它可以把连续性的、多维度的观察数据（状态、视觉还有各种探测器）注入模型。全称是 Pathways Lauguage Model， 其中E 代表Embody（具身认知）。
因此， Palm- E 是一个多模态的、 5620 亿参数、通用、具身认知的通才——横跨机器人、视觉和语言的LLM。
🤖 第一案例：家用机器人的厨房场景
（在随附视频 25秒，左上位置，你看到了厨房的机器人）
你直接想象，你把它买回家！让它自己也通过视觉和语音等方式捕捉来完善整个环境和物件信息，完全个性化、定制化的学习。
任务是这样： 帮我把抽屉里的薯片拿过来！
- 首先，它自己先走抽屉附近
- 然后，打开了最上面第一个抽屉
- 接着把绿色包装的薯片取了出来。
- 它戴着薯片走向你面前。（ Fin）
🟩 第二个案例：认知学习，排列组合不同形状和颜色物件
（在随附视频 25秒，右上位置，桌面工作站）
任务是这样：根据颜色分类，并将其放置桌角。
这个 OpenAI API + Telegram Bot + Cloudflare Workers 的方案太舒服了，反应速度比直接用 ChatGPT Plus 还流畅些！
Dayu: #Alfred 现在也有支持 OpenAI Api 的插件了！
https://anotherdayu.com/2023/4866/
RT 🍋Ice-Hazymoon
看到大家最近都在用 Cloudflare Worker 搭建OpenAI 的代理，但其实还有更简单的方法，腾讯云函数，所以我花了半个小时写了份猴子都能学会的教程供大家使用。
我希望每个人都能无痛的使用 OpenAI，而不是去给第三方套壳 APP 交钱。
教程在此：👇🏻 https://github.com/Ice-Hazymoon/openai-scf-proxy
看到大家最近都在用 Cloudflare Worker 搭建OpenAI 的代理，但其实还有更简单的方法，腾讯云函数，所以我花了半个小时写了份猴子都能学会的教程供大家使用。
我希望每个人都能无痛的使用 OpenAI，而不是去给第三方套壳 APP 交钱。
教程在此：👇🏻 https://github.com/Ice-Hazymoon/openai-scf-proxy
RT AK
Word-As-Image for Semantic Typography
abs:
project page: https://arxiv.org/abs/2303.01818 https://wordasimage.github.io/Word-As-Image-Page/
Word-As-Image for Semantic Typography
abs:
project page: https://arxiv.org/abs/2303.01818 https://wordasimage.github.io/Word-As-Image-Page/
🎯APP名称：ChatPDF
🔧功能：摘要工具
🔥简介🔥
当今社会，信息爆炸的时代，我们需要花费大量的时间和精力去读取各种资料和文献。这是一个漫长而费力的过程，但是现在有了一款全新的工具：ChatPDF。ChatPDF 是一款基于 ChatGPT API 的 PDF 阅读工具，它可以帮助您节省时间和精力。
使用 ChatPDF，您可以直接把需要阅读的 pitch deck、白皮书、文档、论文、图书喂给它，它会自动帮您总结内容和提出问题。这款工具使用最先进的人工智能技术，可以精确识别和提取文本信息，然后利用 ChatGPT API 生成准确的总结和问题。这些问题可以帮助您更好地理解内容，并更深入地思考和分析。
ChatPDF 非常易于使用，只需要上传您的 PDF 文件，然后它会立即开始处理。这款工具可以用于学术研究、商业分析、竞争分析、市场研究等多个领域，可以为您节省大量时间和精力。在您忙碌的生活中，ChatPDF 可以帮助您更高效地工作和学习。
如果您正在寻找一款高效、智能的 PDF 阅读工具，那么 ChatPDF 绝对是您的最佳选择。现在就去尝试它吧，它一定会给您带来惊喜！
用人脑活动的潜伏扩散模型进行高分辨率图像重建：https://sites.google.com/view/stablediffusion-with-brain/
OpenAI 的 CTO Mira Murati 介绍：https://link.mail.beehiiv.com/ss/c/3diHqBj_1e22cFpZjMeWvdC54MSuZtKAvpSXpc-B-gk/3u5/nQ3z0_2STtuSAb7QKVD-0w/h8/_v_gwc0FU1SLLLpB-KyFYiFbZY8k8o_JcXVkBsmzjLM
微软将Windows 11的一堆功能加入了AI能力：https://www.theverge.com/2023/2/28/23618214/microsoft-windows-11-update-bing-ai-taskbar-touch-improvements-screen-recording-features
OpenAI、TikTok 等公司签署 AI 透明协议：https://link.mail.beehiiv.com/ss/c/5J8WPrGlKFK1BUsRYoWIfWe-fPug8bVMMz1ys5gqj5ndJkFxoU7lZYAJp-EkTAsY5F5QTG1bfCQYINI0j_so6Nrf72wlFNa9s65OV-grESMC5G-LfcSohFselyBUrFPwDmrUaZbxwTjmnRpVY21Aus2ulzMS2q9a4aa2CVnbexc/3u3/SrzFyViHSGWzmGJN2QMXjQ/h8/BYWXnF56CfwFiBKDmxLgyKbXxAdzkTYy6fVoka29gv4
为什么搜索引擎不以更有益的方式整合类似ChatGPT的机器人？：https://www.semafor.com/article/02/23/2023/why-dont-search-engines-integrate-chatgpt-like-bots-in-more-helpful-ways
有任何问题和想法欢迎随时与我交流。
OpenAI 的 CTO Mira Murati 介绍：https://link.mail.beehiiv.com/ss/c/3diHqBj_1e22cFpZjMeWvdC54MSuZtKAvpSXpc-B-gk/3u5/nQ3z0_2STtuSAb7QKVD-0w/h8/_v_gwc0FU1SLLLpB-KyFYiFbZY8k8o_JcXVkBsmzjLM
微软将Windows 11的一堆功能加入了AI能力：https://www.theverge.com/2023/2/28/23618214/microsoft-windows-11-update-bing-ai-taskbar-touch-improvements-screen-recording-features
OpenAI、TikTok 等公司签署 AI 透明协议：https://link.mail.beehiiv.com/ss/c/5J8WPrGlKFK1BUsRYoWIfWe-fPug8bVMMz1ys5gqj5ndJkFxoU7lZYAJp-EkTAsY5F5QTG1bfCQYINI0j_so6Nrf72wlFNa9s65OV-grESMC5G-LfcSohFselyBUrFPwDmrUaZbxwTjmnRpVY21Aus2ulzMS2q9a4aa2CVnbexc/3u3/SrzFyViHSGWzmGJN2QMXjQ/h8/BYWXnF56CfwFiBKDmxLgyKbXxAdzkTYy6fVoka29gv4
为什么搜索引擎不以更有益的方式整合类似ChatGPT的机器人？：https://www.semafor.com/article/02/23/2023/why-dont-search-engines-integrate-chatgpt-like-bots-in-more-helpful-ways
有任何问题和想法欢迎随时与我交流。
Q-Chat-人工智能学习平台：https://quizlet.com/labs/qchat
BiliGPT-一键总结BiliBili视频内容：https://b.jimmylv.cn/
Meerkat-将非结构性数据处理为结构性数据：http://meerkat.wiki/
Stability for Blender-Stable Diffusion官方Blander插件：https://platform.stability.ai/docs/integrations/blender
Perplexity浏览器插件-一键生成网页摘要：https://chrome.google.com/webstore/detail/perplexity-ask-ai/hlgbcneanomplepojfcnclggenpcoldo
Promptperfect-优化你的 AI 提示词：https://promptperfect.jina.ai/
RoomGPT-优化你的房间装修：https://www.roomgpt.io/
Auralbyte-将音频快速转换为视频：https://varunshenoy.com/auralbyte/
Elevenlabs-生成式语音AI模型：https://beta.elevenlabs.io/
Spellbook-将你起草法律合同的效率提高三倍：https://www.spellbook.legal/
Kraftful-将AI用于用户研究工作：https://www.kraftful.com/
Bifrost-从figma设计稿生成干净的前端代码：https://www.bifrost.so/
🧑🎓学习资源：
如何将你的录音变成待办事项列表：https://www.youtube.com/watch?v=rQHAh8cdgVc
强烈推荐-如何在 Midjourney 中制作游戏资产：https://twitter.com/LinusEkenstam/status/1631698342370754561
Midjourney教程-创建波西米亚风格内饰照片：https://twitter.com/LinusEkenstam/status/1631248078044037120
🔬精选文章：
来自微软的交互式文本生成模型：https://arxiv.org/abs/2303.00908
BiliGPT-一键总结BiliBili视频内容：https://b.jimmylv.cn/
Meerkat-将非结构性数据处理为结构性数据：http://meerkat.wiki/
Stability for Blender-Stable Diffusion官方Blander插件：https://platform.stability.ai/docs/integrations/blender
Perplexity浏览器插件-一键生成网页摘要：https://chrome.google.com/webstore/detail/perplexity-ask-ai/hlgbcneanomplepojfcnclggenpcoldo
Promptperfect-优化你的 AI 提示词：https://promptperfect.jina.ai/
RoomGPT-优化你的房间装修：https://www.roomgpt.io/
Auralbyte-将音频快速转换为视频：https://varunshenoy.com/auralbyte/
Elevenlabs-生成式语音AI模型：https://beta.elevenlabs.io/
Spellbook-将你起草法律合同的效率提高三倍：https://www.spellbook.legal/
Kraftful-将AI用于用户研究工作：https://www.kraftful.com/
Bifrost-从figma设计稿生成干净的前端代码：https://www.bifrost.so/
🧑🎓学习资源：
如何将你的录音变成待办事项列表：https://www.youtube.com/watch?v=rQHAh8cdgVc
强烈推荐-如何在 Midjourney 中制作游戏资产：https://twitter.com/LinusEkenstam/status/1631698342370754561
Midjourney教程-创建波西米亚风格内饰照片：https://twitter.com/LinusEkenstam/status/1631248078044037120
🔬精选文章：
来自微软的交互式文本生成模型：https://arxiv.org/abs/2303.00908
