关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
# 确定三个核心问题：
1. source list 从哪些地方检索数据
2. answer prompt 使用什么提示词模板回复
3. llm model 使用哪个大语言模型回复
# 搜索前query rewrite：
1. 结合历史消息，判断当前 query 是否需要 retrieve
2. 结合历史消息，做指代消解，把代词替换成具体的名词
3. 从指代消解后的 query 提取关键词 keywords
# RAG 流程
1. 使用query + keywords 作为入参，从source list 获取检索结果（在线API检索+本地index检索），必要时可对 query + keywords 进行翻译，使用不同语言进行多轮检索
2. 检索结果聚合重排reranking
3. 获取重排后 top_k 条内容详情
4. 使用回复提示词 + 检索内容 + 历史消息作为 context，带上最新 query 请求 LLM 回复
# 主要工程量
1. 对内容源 build index
对于没有标准API的source，需要对source站点的数据构建索引。增量构建使用source的搜索框，存量构建使用搜索引擎网页快照，很难拿到某个 source 的全量数据
2. 更新 source 权重
系统预置权重 + 用户点击更新 source 权重，多信息源检索时依据 source 权重返回结果数量和初始排序
3. 多信息源重排
需要一个高效/快速的 reranking 框架，比如 FlashRank
4. 构建 chunk 内容池
对检索到的内容进行 chunk 拆分，存储向量数据库，挂载上下文请求 LLM 回答时，相似度匹配部分内容，避免暴力传输
5. 构建关键词库
定期分析历史 query，提取热搜关键词，构建关键词库。命中关键词库的 query，retrieve 环节走缓存
------
AI 搜索引擎，做一个容易，做好太难，细节太多，需要大量的雕花工作。
欢迎补充。
1. AI投资和创业热度回落，开始找垂类应用场景。技术上也开始考虑如何用大模型蒸馏小模型。
2. AI+游戏不成立，还是要回归到游戏本身的体验和价值，AI带来了多少加成。AI NPC没有什么意义，不需要一个更智能的NPC，试问有多少人玩游戏会和主线任务之外的NPC对话？如果用AI去生成任务和奖励，又需要考虑这些对游戏经济体系平衡性的冲击。
3. 一部分同人爱好者自己训一些同人角色谈恋爱，并能分享给其他同好。需要解决新鲜感衰退和长时记忆的问题。对于这一个小众群体是立住了，但市场规模确实不大。乙女恋游想要稳定生成能够提供稳定情绪价值的角色和情节有一定随机性。
4. AI agent用于SLG游戏训练替身，最终实现类似于“自走棋”的效果。如何增加个性化和技能点数可调节是个问题。
5. AIGC能够批量化生成及格线的内容，但头部和精品内容可能仍需要二次加工或创作。又或者AIGC内容可以找到一个对内容有批量化需求但对质量要求不高的赛道，比如购物app的视频页。
6. AI的广泛使用造成人类失业是短期内的震荡，就像历史上工业革命一样，每次生产力的进步都会促使人类产生新的生产方式和技能迁移。比如prompter。又或者一个有运镜经验的导演生成的视频还是会比一般的使用者生成更优质的视频。
7. AI的应用不会让人类有更多的娱乐时间，就好像移动互联网的出现让工作和生活的界限变得模糊，AI只会使这一现象更加严重。AI的监督可能会使现在数据驱动滴滴司机和骑手一样，让人在工作时更卷。
8. 人类后面会变成如何为AI生产能量和高质量的数据。
9. 如果AIGC还是用于PGC，那模式和之前的内容生产没有太大区别，真正要想成为爆款，核心还是UGC和社区，而核心不在于AI。
2. AI+游戏不成立，还是要回归到游戏本身的体验和价值，AI带来了多少加成。AI NPC没有什么意义，不需要一个更智能的NPC，试问有多少人玩游戏会和主线任务之外的NPC对话？如果用AI去生成任务和奖励，又需要考虑这些对游戏经济体系平衡性的冲击。
3. 一部分同人爱好者自己训一些同人角色谈恋爱，并能分享给其他同好。需要解决新鲜感衰退和长时记忆的问题。对于这一个小众群体是立住了，但市场规模确实不大。乙女恋游想要稳定生成能够提供稳定情绪价值的角色和情节有一定随机性。
4. AI agent用于SLG游戏训练替身，最终实现类似于“自走棋”的效果。如何增加个性化和技能点数可调节是个问题。
5. AIGC能够批量化生成及格线的内容，但头部和精品内容可能仍需要二次加工或创作。又或者AIGC内容可以找到一个对内容有批量化需求但对质量要求不高的赛道，比如购物app的视频页。
6. AI的广泛使用造成人类失业是短期内的震荡，就像历史上工业革命一样，每次生产力的进步都会促使人类产生新的生产方式和技能迁移。比如prompter。又或者一个有运镜经验的导演生成的视频还是会比一般的使用者生成更优质的视频。
7. AI的应用不会让人类有更多的娱乐时间，就好像移动互联网的出现让工作和生活的界限变得模糊，AI只会使这一现象更加严重。AI的监督可能会使现在数据驱动滴滴司机和骑手一样，让人在工作时更卷。
8. 人类后面会变成如何为AI生产能量和高质量的数据。
9. 如果AIGC还是用于PGC，那模式和之前的内容生产没有太大区别，真正要想成为爆款，核心还是UGC和社区，而核心不在于AI。
膝关节是人体内最大、最复杂的关节，也是最大的承重关节，它在我们站立和行走时起着非常重要的作用。人在走路时，膝盖通常会稍微弯曲，这样可以减缓走路时的震动，起到缓冲的作用。直膝行走有助于人形机器人更好地适应楼梯、坡道等人类环境中常见的地形。
学习langgraph时感觉langchain这个项目的封装确实比较过度，于是我尝试了完全不用框架，不用function call/tools/json mode，只用最基础llm chat api, 来构建一个自带流程图的noiton写作agent，开源地址：https://github.com/etrobot/Flow2Agent
用了硅基流动的免费api,以及jina.ai的免费搜索api,不得不说免费就是香啊！
Invalid media: video
用了硅基流动的免费api,以及jina.ai的免费搜索api,不得不说免费就是香啊！
Invalid media: video
请问下大家，现在AI是否发展到了我交给他一个学习任务，他就会去互联网上找各种资料来学习，学完了之后能把学习结果存储为知识库。
然后我可以让他基于学到的知识，来回答我的相关问题，或者完成相关任务。
举个例子，有一个新出的编程框架，我让他去学习之后，他就能够基于这个编程框架去写代码，也能够回答我的关于这个编程框架的任何问题。
注意，我说的不仅仅是 finetune ，因为目前 finetune 做不到我说的。
然后我可以让他基于学到的知识，来回答我的相关问题，或者完成相关任务。
举个例子，有一个新出的编程框架，我让他去学习之后，他就能够基于这个编程框架去写代码，也能够回答我的关于这个编程框架的任何问题。
注意，我说的不仅仅是 finetune ，因为目前 finetune 做不到我说的。
付费API: hunyuan-pro, hunyuan-standard, hunyuan-vision等
特点：
提供一个免费模型和多个付费模型
付费模型价格中等，适合不同规模的应用
提供多种特定功能模型，如角色扮演、函数调用、代码生成等
大多数产品提供10万tokens的免费额度
【百度文心】
免费API: ERNIE Speed系列, ERNIE Lite系列, ERNIE Tiny系列
付费API: ERNIE 4.0 Turbo系列, ERNIE 4.0系列, ERNIE 3.5系列等
特点：
提供多个免费和付费模型选择
付费模型价格从0.004元到0.12元/千tokens不等
提供多种第三方模型的调用服务
某些模型提供限时免费使用，每天有固定的调用次数限制
【科大讯飞星火】
免费API: Spark Lite, Spark Pro-128K (免费包), Spark Pro (免费包), Spark Max (免费包), Spark4.0 Ultra (免费包)
付费API: Spark Pro-128K, Spark Pro, Spark Max, Spark4.0 Ultra (多种套餐)
特点：
提供多种免费试用包，适合个人和企业用户
付费套餐从简享包到大容量套餐，满足不同规模需求
所有套餐都采用固定的一年期限
最高级别套餐的QPS上限为50
【阿里千问】
免费API: Qwen1.5-32b-chat, Qwen1.5-110b-chat (限时免费)
付费API: Qwen1.5-7b-chat, Qwen1.5-14b-chat, Qwen1.5-72b-chat, Qwen-Turbo, Qwen-Plus, Qwen-Long, Qwen-Max系列
特点：
部分高性能模型提供限时免费使用
付费模型价格从0.001元到0.12元/1,000 tokens不等
提供多种规格的模型，适应不同应用场景
最近对部分模型进行了降价，提高了性价比
https://freeaihunter.com/?ref=j收集了当前市场上可用的免费和低成本大语言模型API服务，涵盖了多家主流AI模型提供商，因为我自己也是重度用户，分享给所有开发者和企业了解并选择适合自身需求的API服务。
特点：
提供一个免费模型和多个付费模型
付费模型价格中等，适合不同规模的应用
提供多种特定功能模型，如角色扮演、函数调用、代码生成等
大多数产品提供10万tokens的免费额度
【百度文心】
免费API: ERNIE Speed系列, ERNIE Lite系列, ERNIE Tiny系列
付费API: ERNIE 4.0 Turbo系列, ERNIE 4.0系列, ERNIE 3.5系列等
特点：
提供多个免费和付费模型选择
付费模型价格从0.004元到0.12元/千tokens不等
提供多种第三方模型的调用服务
某些模型提供限时免费使用，每天有固定的调用次数限制
【科大讯飞星火】
免费API: Spark Lite, Spark Pro-128K (免费包), Spark Pro (免费包), Spark Max (免费包), Spark4.0 Ultra (免费包)
付费API: Spark Pro-128K, Spark Pro, Spark Max, Spark4.0 Ultra (多种套餐)
特点：
提供多种免费试用包，适合个人和企业用户
付费套餐从简享包到大容量套餐，满足不同规模需求
所有套餐都采用固定的一年期限
最高级别套餐的QPS上限为50
【阿里千问】
免费API: Qwen1.5-32b-chat, Qwen1.5-110b-chat (限时免费)
付费API: Qwen1.5-7b-chat, Qwen1.5-14b-chat, Qwen1.5-72b-chat, Qwen-Turbo, Qwen-Plus, Qwen-Long, Qwen-Max系列
特点：
部分高性能模型提供限时免费使用
付费模型价格从0.001元到0.12元/1,000 tokens不等
提供多种规格的模型，适应不同应用场景
最近对部分模型进行了降价，提高了性价比
https://freeaihunter.com/?ref=j收集了当前市场上可用的免费和低成本大语言模型API服务，涵盖了多家主流AI模型提供商，因为我自己也是重度用户，分享给所有开发者和企业了解并选择适合自身需求的API服务。
之前做了 https://freeaihunter.com/?ref=jk 最近把他们的各自特点总结归纳一下，通过一篇文章详细介绍下他们的免费和付费的 API 情况。
详情原文直达：https://mp.weixin.qq.com/s/v3TDDqJK4CZptKQO6-c6JA
以下是一些简介：
【SiliconFlow (硅基流动)】
免费API: 11个文本生成模型，2个向量模型，8个图片生成模型
付费API: 多种高性能模型，如Qwen系列
特点：
提供大量免费和限时免费模型
包含文本、向量和图像生成多种能力
新用户可获得14元免费额度
付费模型价格从¥0.70/1M tokens到¥4.13/1M tokens不等
【Google Gemini】
免费API: Gemini 1.5 Flash/Pro/1.0 Pro (免费版)
付费API: Gemini 1.5 Flash/Pro/1.0 Pro (付费版)
特点：
免费版有严格的使用限制，适合小规模测试
付费版提供更高的使用限额，适合大规模应用
提供多模态输入能力，包括文本、图像、视频和音频
GCP - Vertex AI提供低成本的图像识别服务
【Groq (GroqCloud)】
免费API: 所有模型都有统一的免费使用限额
付费API: 未提供具体价格信息
特点：
统一的请求限制：每分钟30次，每天14,400次
提供多种模型选择，包括gemma、llama3、mixtral等
包含语音转文本功能
不同模型的令牌处理能力有所不同
【火山引擎 (字节跳动)】
免费API: 5个开源模型，包括Llama3、Mistral等
付费API: Doubao系列、GLM3、Moonshot系列等
特点：
所有付费模型提供50万tokens的免费额度
价格较为低廉，适合大规模应用
提供多种上下文长度的模型，从4K到128K不等
【Coze.cn (扣子)】
免费API: 所有API目前免费使用，但有使用限制
付费API: 暂无
特点：
完全免费，但有QPS、QPM和QPD限制
支持自定义工作流
适合小规模应用或测试使用
【腾讯混元】
免费API: hunyuan-lite
Coatue关于具身智能的这篇新报告阐述的非常清晰
制约这一代智能机器人的核心卡点就是“Data Scarcity” 如果具身智能公司不能有效的找到经济的方式规模化获取高质量的学习数据 只能重蹈之前L4自动驾驶公司的覆辙
同时 在场景上 我并不看好工业应用场景
在这个方向上特斯拉独一无二 遥遥领先
