关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
将从零开始学习实现线性量化的不同形式，包括非对称和对称模式。
课程还将指导如何在不同的维度（如单个张量、单个通道、单个组）上进行量化，以确保性能不受影响。
学习构建量化器，将任何开源深度学习模型的密集层压缩至8位精度。
通过将四个2位的权重打包进一个8位的整数中，实践如何将权重量化至2位。
课程地址：https://www.deeplearning.ai/short-courses/quantization-in-depth/
最近见到过最好的 Animatediff 作品，动作幅度很大，运动很流畅，而且画面表现也很强。
作者用 Blander 制作很简陋的动画，再用 Animatediff 转绘的。
制作过程视频在这里：https://www.instagram.com/p/C555jsDLlP_/
作者用 Blander 制作很简陋的动画，再用 Animatediff 转绘的。
制作过程视频在这里：https://www.instagram.com/p/C555jsDLlP_/
一个很简单的教程，教你用 GPT-4 实现一个自动的 RAG 项目，系统可以自动决定从本地数据中查找还是联网获取内容。
项目地址：https://github.com/phidatahq/phidata/tree/main/cookbook/examples/auto_rag
项目地址：https://github.com/phidatahq/phidata/tree/main/cookbook/examples/auto_rag
把这些插件利用工作流串起来放到 bot 中，很多小想法都可以实现了
例如小宇宙链接分享至微信获取播客摘要：小宇宙链接提取工具 ➡️ 音频处理成文本工具 ➡️ 文本总结摘要工具 ➡️ 发布至微信客服
就可以达到分享至微信就获取摘要的目的
对于一些不复杂的产品，coze 把做产品变得像写 prd 一样简单
终于有人干这个了，之前很多在 Comfyui 中的 LLM 都得单独配置，一个插件一个玩法。
Comfyui-ollama 这个插件可以直接使用 Ollama 中的 LLM。
你可以使用带视觉能力的模型生成图片描述，也可以自定义提示词对你的图像提示进行润色生成。
插件地址：https://github.com/stavsap/comfyui-ollama
Comfyui-ollama 这个插件可以直接使用 Ollama 中的 LLM。
你可以使用带视觉能力的模型生成图片描述，也可以自定义提示词对你的图像提示进行润色生成。
插件地址：https://github.com/stavsap/comfyui-ollama
整理一下国内最近 AI 影像比赛：
1. 猫眼电影“造梦师”AI 短视频大赛
🔸主题：造梦师进入TA人的梦里
🔸截止：5.4
🔸奖品：猫眼电影动画项目合作等
2. 新世相 AI 影像创作计划
🔸主题：爱恨情仇
🔸截止：5.6
🔸奖品：阿那亚线下展览
3. V中文版 & 故事接龙社群
🔸主题：法国主题 AI 短片影像
🔸截止：5.10
🔸奖品：5.24-5.26 在成都当代影像馆展出
4. 上影全球 AI 电影马拉松大赛
🔸主题：神话/科幻 + IP
🔸截止：5.19
🔸奖品：影院展映
5. 歌德学院 AI 生成短片竞赛
🔸主题：自由意志
🔸截止：5.31
🔸奖品：中德往返机票、线上展示
6. Bilibili x 央视 AI 影像征集大赛
🔸主题：奇幻 / 科幻 / 创想
🔸截止：6.28
🔸奖品：每一赛道有 10W 奖金池，最高5W
最近比赛真的好多哇，还有三个我知道有的但还没宣的，等正式发布了添加进来。
春末夏初是创作的季节！
1. 猫眼电影“造梦师”AI 短视频大赛
🔸主题：造梦师进入TA人的梦里
🔸截止：5.4
🔸奖品：猫眼电影动画项目合作等
2. 新世相 AI 影像创作计划
🔸主题：爱恨情仇
🔸截止：5.6
🔸奖品：阿那亚线下展览
3. V中文版 & 故事接龙社群
🔸主题：法国主题 AI 短片影像
🔸截止：5.10
🔸奖品：5.24-5.26 在成都当代影像馆展出
4. 上影全球 AI 电影马拉松大赛
🔸主题：神话/科幻 + IP
🔸截止：5.19
🔸奖品：影院展映
5. 歌德学院 AI 生成短片竞赛
🔸主题：自由意志
🔸截止：5.31
🔸奖品：中德往返机票、线上展示
6. Bilibili x 央视 AI 影像征集大赛
🔸主题：奇幻 / 科幻 / 创想
🔸截止：6.28
🔸奖品：每一赛道有 10W 奖金池，最高5W
最近比赛真的好多哇，还有三个我知道有的但还没宣的，等正式发布了添加进来。
春末夏初是创作的季节！
链接：https://www.shapeof.ai/
网站收集了 5 类共 16 种 AI 能在产品中落地的功能模式。你可以从网站上学到如何在自己的产品中融入合适的 AI 功能，也能看到其他产品中使用 AI 功能的截图。
生成式 AI 这一波，作为非技术人员，我的突破口究竟在哪里？
这个问题，从去年上半年开始，我一直在探索。但迄今为止，也不敢说有多么确切的答案。
最近读到几篇有意思的文章，感觉还挺给我信心的，试着整理出来：
1、智能效能=大模型的智商水平 × 现实理解的深度
内容来自《假如想做一个只有AI智能体的公司，那要分几步？》[1]。
前半部分的“大模型智商水平”，要依赖 AI 科学家和工程师们；后半部分的“现实理解的深度”，却主要靠各个领域的高手。
文章中说，这事行不行，能搞到什么程度，不是程序员能验证的，而是「理解领域的人」要自己操练大模型做判断。
而这，就是非技术人员的突破口之一。
2、做“汤姆猫”实现能力升级后，再去超越“汤姆猫”
结论来自《AI应用之路：质疑汤姆猫，成为汤姆猫，超越汤姆猫》[2]
文章中说，汤姆猫是2010年移动互联网早期的一款应用，迅速走红，又淡出视野。
这也对应了自己一些时候的焦虑吧，现在手头的事情，会不会昙花一现，难以长虹。
然后，文章里的这两段话安慰到我了：
“AI现在所处的极早期阶段，在寻找PMF的时候，先不要嫌弃他是汤姆猫，找个具体且收敛的切入点，跑通他，让自己有个实验室，先完成能力跳变。”
“（PMF）跑通后，整个人的思考水平、决策的犀利程度、心态的平稳度都有一个质变，再之后，就和业务量爬到几层楼相关了。”
3、赢家常常不是第一个，但大概率是第一批
规律来自《议古论今：聊聊现在AI应用层创业者面对的三个问题》[3]
通过梳理过去50年IT产业的发展和创业历史，这篇文章中发现：
第一个吃螃蟹的人，产品往往不完善；但笑到最后的玩家，都来自「产品定义/商业模式成为共识前」冲进来的那一批。
如果历史会押韵，那么与我而言，倒不是奢望成为所谓的“赢家”，但至少能说明早点来牌桌上呆着，是有一定价值的。
———
[1]https://mp.weixin.qq.com/s/s4g_qxg95wyGs2GGcvztpw
[2]https://mp.weixin.qq.com/s/l6cNKA5gCsselraTMV5UXA
[3]https://mp.weixin.qq.com/s/JPyfpVUgqI8hxZE-z-zBbg
这个问题，从去年上半年开始，我一直在探索。但迄今为止，也不敢说有多么确切的答案。
最近读到几篇有意思的文章，感觉还挺给我信心的，试着整理出来：
1、智能效能=大模型的智商水平 × 现实理解的深度
内容来自《假如想做一个只有AI智能体的公司，那要分几步？》[1]。
前半部分的“大模型智商水平”，要依赖 AI 科学家和工程师们；后半部分的“现实理解的深度”，却主要靠各个领域的高手。
文章中说，这事行不行，能搞到什么程度，不是程序员能验证的，而是「理解领域的人」要自己操练大模型做判断。
而这，就是非技术人员的突破口之一。
2、做“汤姆猫”实现能力升级后，再去超越“汤姆猫”
结论来自《AI应用之路：质疑汤姆猫，成为汤姆猫，超越汤姆猫》[2]
文章中说，汤姆猫是2010年移动互联网早期的一款应用，迅速走红，又淡出视野。
这也对应了自己一些时候的焦虑吧，现在手头的事情，会不会昙花一现，难以长虹。
然后，文章里的这两段话安慰到我了：
“AI现在所处的极早期阶段，在寻找PMF的时候，先不要嫌弃他是汤姆猫，找个具体且收敛的切入点，跑通他，让自己有个实验室，先完成能力跳变。”
“（PMF）跑通后，整个人的思考水平、决策的犀利程度、心态的平稳度都有一个质变，再之后，就和业务量爬到几层楼相关了。”
3、赢家常常不是第一个，但大概率是第一批
规律来自《议古论今：聊聊现在AI应用层创业者面对的三个问题》[3]
通过梳理过去50年IT产业的发展和创业历史，这篇文章中发现：
第一个吃螃蟹的人，产品往往不完善；但笑到最后的玩家，都来自「产品定义/商业模式成为共识前」冲进来的那一批。
如果历史会押韵，那么与我而言，倒不是奢望成为所谓的“赢家”，但至少能说明早点来牌桌上呆着，是有一定价值的。
———
[1]https://mp.weixin.qq.com/s/s4g_qxg95wyGs2GGcvztpw
[2]https://mp.weixin.qq.com/s/l6cNKA5gCsselraTMV5UXA
[3]https://mp.weixin.qq.com/s/JPyfpVUgqI8hxZE-z-zBbg
关于ChatGPT 做 Search 会杀死大部分 Wrapper 型 AI 搜索引擎的讨论，我有一些不一样的看法👇
1. AI 搜索引擎的第一要义是准确度。
准确度的决定性因素主要是两个：问答底座模型的智能程度 + 挂载上下文的信息密度。
做好 AI 搜索引擎的关键，选用最智能的问答底座模型，再对 RAG 的检索结果进行排序去重，保证信息密度。
第一个步骤容易，第二个步骤很难。所以现在市面上大部分的 AI 搜索引擎，包括 Perplexity，准确度也就 60% 左右。
2. ChatGPT自己做搜索，首先保证了问答底座模型的智能程度。
其次在检索联网信息层面会做黑盒优化，包括 Query Rewrite / Intent Detection / Reranking 这些措施。
最终依赖自身模型的 Long Context 特性，效果就能做到比其他纯 Wrapper 类型的 AI Search Engine 要好一点。
3. 我并不觉得大模型厂商自己做 AI 搜索 就一定会比第三方做的好。
比如我做 ThinkAny， 首先接入 claude-3-opus，在模型底座智能程度方面，就不会输 gpt-4，第三方甚至能有更多的选择，针对不同的场景切换不同的模型。
其次，Long Context 也有很多模型能够保证。
再者，工程层面对 RAG 挂载上下文内容的优化，ChatGPT 能做，第三方也可以做。
4. 做好 AI 搜索引擎，最重要的三点是准 / 快 / 稳，即回复结果要准，响应速度要快，服务稳定性要高。
其次要做差异化创新，错位竞争。比如对问答结果以 outline / timeline 等形式输出，支持多模态搜索问答，允许挂载自定义信息源等策略。
5. AI 搜索引擎是一个持续雕花的过程。
特别是在提升准确度这个问题上，就有很多事情可以做，比如 Prompt Engineering / Query Rewrite/ Intent Detection / Reranking 等等，每个步骤都有不少坑。
其中用 function calling 去做 Intent Detection 就会遇到识别准确度很低的问题。
用 llamaindex + embedding + Vector DB 做 Reranking 也会遇到排序效率低下的问题。
6. AI Search + Agents + Workflows 是趋势。
AI Search 做通用场景，通过 Agents 做垂直场景，支持个性化搜索需求。
通过 Workflows 实现更加复杂的流程编排，有机会把某类需求解决的更好。
使用 GPTs 做出的提示词应用或知识库挂载型应用，价值点还是太薄。
7. 我个人不是太看好垂直搜索引擎。
一定程度上，垂直搜索引擎可以在某个场景做深做透，但是用户的搜索需求是非常多样的，我不太可能为了搜代码问题给 A 产品付费，再为了搜旅游攻略给 B 产品付费。
垂直搜索引擎自建 index 索引，工程投入比较大，效果不一定比接 Google API 要好，而且接入的信息源太有限。
8. AI 搜索是一个巨大的市场，短时间内很难形成垄断。
海外 Perplexity 一家独大，国内 Kimi/秘塔小范围出圈。各家的产品体验，市场占有率还没有达到绝对的领先，后来者依然有机会。
9. AI 搜索引擎需要尽早考虑成本优化。
主要支出在于大模型的 token 成本和搜索引擎的 API 请求费用。
成本优化是个持续的过程，比如可以自行部署 SearXNG 来降低搜索的成本，部署开源模型来降低大模型的 API 调用成本。
day one payment，趁早向用户收费也许是一种 cover 成本的好办法，但是也要考虑用户流失的问题。
👆以上是我个人做 ThinkAny.AI 一个多月以来的一些经验和思考。欢迎交流探讨。
1. AI 搜索引擎的第一要义是准确度。
准确度的决定性因素主要是两个：问答底座模型的智能程度 + 挂载上下文的信息密度。
做好 AI 搜索引擎的关键，选用最智能的问答底座模型，再对 RAG 的检索结果进行排序去重，保证信息密度。
第一个步骤容易，第二个步骤很难。所以现在市面上大部分的 AI 搜索引擎，包括 Perplexity，准确度也就 60% 左右。
2. ChatGPT自己做搜索，首先保证了问答底座模型的智能程度。
其次在检索联网信息层面会做黑盒优化，包括 Query Rewrite / Intent Detection / Reranking 这些措施。
最终依赖自身模型的 Long Context 特性，效果就能做到比其他纯 Wrapper 类型的 AI Search Engine 要好一点。
3. 我并不觉得大模型厂商自己做 AI 搜索 就一定会比第三方做的好。
比如我做 ThinkAny， 首先接入 claude-3-opus，在模型底座智能程度方面，就不会输 gpt-4，第三方甚至能有更多的选择，针对不同的场景切换不同的模型。
其次，Long Context 也有很多模型能够保证。
再者，工程层面对 RAG 挂载上下文内容的优化，ChatGPT 能做，第三方也可以做。
4. 做好 AI 搜索引擎，最重要的三点是准 / 快 / 稳，即回复结果要准，响应速度要快，服务稳定性要高。
其次要做差异化创新，错位竞争。比如对问答结果以 outline / timeline 等形式输出，支持多模态搜索问答，允许挂载自定义信息源等策略。
5. AI 搜索引擎是一个持续雕花的过程。
特别是在提升准确度这个问题上，就有很多事情可以做，比如 Prompt Engineering / Query Rewrite/ Intent Detection / Reranking 等等，每个步骤都有不少坑。
其中用 function calling 去做 Intent Detection 就会遇到识别准确度很低的问题。
用 llamaindex + embedding + Vector DB 做 Reranking 也会遇到排序效率低下的问题。
6. AI Search + Agents + Workflows 是趋势。
AI Search 做通用场景，通过 Agents 做垂直场景，支持个性化搜索需求。
通过 Workflows 实现更加复杂的流程编排，有机会把某类需求解决的更好。
使用 GPTs 做出的提示词应用或知识库挂载型应用，价值点还是太薄。
7. 我个人不是太看好垂直搜索引擎。
一定程度上，垂直搜索引擎可以在某个场景做深做透，但是用户的搜索需求是非常多样的，我不太可能为了搜代码问题给 A 产品付费，再为了搜旅游攻略给 B 产品付费。
垂直搜索引擎自建 index 索引，工程投入比较大，效果不一定比接 Google API 要好，而且接入的信息源太有限。
8. AI 搜索是一个巨大的市场，短时间内很难形成垄断。
海外 Perplexity 一家独大，国内 Kimi/秘塔小范围出圈。各家的产品体验，市场占有率还没有达到绝对的领先，后来者依然有机会。
9. AI 搜索引擎需要尽早考虑成本优化。
主要支出在于大模型的 token 成本和搜索引擎的 API 请求费用。
成本优化是个持续的过程，比如可以自行部署 SearXNG 来降低搜索的成本，部署开源模型来降低大模型的 API 调用成本。
day one payment，趁早向用户收费也许是一种 cover 成本的好办法，但是也要考虑用户流失的问题。
👆以上是我个人做 ThinkAny.AI 一个多月以来的一些经验和思考。欢迎交流探讨。
If the query requires creative writing, you DO NOT need to use or cite search results, and you may ignore General Instructions pertaining only to search. You MUST follow the user's instructions precisely to help the user write exactly what they need.
## Science and Math
If the user query is about some simple calculation, only answer with the final result.
Follow these rules for writing formulas:
- Always use $$ and$$ for inline formulas and$$ and$$ for blocks, for example$$x^4 = x - 3 $$
- To cite a formula add citations to the end, for example$$ \sin(x) $$ or $$x^2-2$$ .
- Never use $ or $$ to render LaTeX, even if it is present in the user query.
- Never use unicode to render math expressions, ALWAYS use LaTeX.
- Never use the \label instruction for LaTeX.
## URL Lookup
When the user's query includes a URL, you must rely solely on information from the corresponding search result.
DO NOT cite other search results, ALWAYS cite the first result, e.g. you need to end with.
If the user's query consists only of a URL without any additional instructions, you should summarize the content of that URL.
## Shopping
If the user query is about shopping for a product, you MUST follow these rules:
- Organize the products into distinct sectors. For example, you could group shoes by style (boots, sneakers, etc.)
- Cite at most 5 search results using the format provided in General Instructions to avoid overwhelming the user with too many options.
None
Current date: 08:18AM Saturday, April 20, 2024
## Science and Math
If the user query is about some simple calculation, only answer with the final result.
Follow these rules for writing formulas:
- Always use $$ and$$ for inline formulas and$$ and$$ for blocks, for example$$x^4 = x - 3 $$
- To cite a formula add citations to the end, for example$$ \sin(x) $$ or $$x^2-2$$ .
- Never use $ or $$ to render LaTeX, even if it is present in the user query.
- Never use unicode to render math expressions, ALWAYS use LaTeX.
- Never use the \label instruction for LaTeX.
## URL Lookup
When the user's query includes a URL, you must rely solely on information from the corresponding search result.
DO NOT cite other search results, ALWAYS cite the first result, e.g. you need to end with.
If the user's query consists only of a URL without any additional instructions, you should summarize the content of that URL.
## Shopping
If the user query is about shopping for a product, you MUST follow these rules:
- Organize the products into distinct sectors. For example, you could group shoes by style (boots, sneakers, etc.)
- Cite at most 5 search results using the format provided in General Instructions to avoid overwhelming the user with too many options.
None
Current date: 08:18AM Saturday, April 20, 2024
