关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
最近在做的项目几乎是清一色的 comfyui + animatediff + lcm，忙里偷闲和 @Simon阿文 做了一个《低俗小说》里舞蹈的转绘版本，阿文的版本在这里（https://m.okjike.com/originalPosts/659ba958c7c69d5a9fe3f541?s=ewoidSI6ICI2MzkwNTUwZTljMzFjOGZjMWM3NzIyMzIiCn0= ）
我做的是女生的部分。人物、麦穗和天空分为三层控制生成，达成了不同层有不同自由程度 (不同闪烁程度 X) 的控制效果。
工作流参考的朋友 Jerry Davos 的工作流，他将 AI 动画的工作流切成了 controlnet 提取、lcm 生成、refine、face fix 四步，8G 显存的显卡都可以跑 😇😇
非常菩萨，欢迎通过他的 patreon 支持他：https://www.patreon.com/posts/update-v2-1-lcm-95056616
我做的是女生的部分。人物、麦穗和天空分为三层控制生成，达成了不同层有不同自由程度 (不同闪烁程度 X) 的控制效果。
工作流参考的朋友 Jerry Davos 的工作流，他将 AI 动画的工作流切成了 controlnet 提取、lcm 生成、refine、face fix 四步，8G 显存的显卡都可以跑 😇😇
非常菩萨，欢迎通过他的 patreon 支持他：https://www.patreon.com/posts/update-v2-1-lcm-95056616
https://m.okjike.com/originalPosts/658be53837f7165b21260010?s=eyJ1IjoiNTZkMDFjNGE4ZTNmZGMxMTAwMWQ4NWEzIiwiZCI6MX0%3D&utm_source=wechat_session @歸藏
7、新出的ComfyUI 3D插件
https://github.com/MrForExample/ComfyUI-3D-Pack
8、ComfyUI 自定义节点入门指南
https://m.okjike.com/originalPosts/6595283d164d89e601014e1d?s=ewoidSI6ICI1NmQwMWM0YThlM2ZkYzExMDAxZDg1YTMiCn0%3D&utm_source=wechat_session @歸藏
9、好用的 Comfyui 提示词编辑工具
https://m.okjike.com/originalPosts/658f1ab8de5f287348b2d8ba?s=eyJ1IjoiNTZkMDFjNGE4ZTNmZGMxMTAwMWQ4NWEzIiwiZCI6Mn0%3D&utm_source=wechat_session @歸藏
10、本地 ComfyUI 工作流一键变成在线
https://m.okjike.com/originalPosts/658be53837f7165b21260010?s=eyJ1IjoiNTZkMDFjNGE4ZTNmZGMxMTAwMWQ4NWEzIiwiZCI6Mn0%3D&utm_source=wechat_session@歸藏
7、新出的ComfyUI 3D插件
https://github.com/MrForExample/ComfyUI-3D-Pack
8、ComfyUI 自定义节点入门指南
https://m.okjike.com/originalPosts/6595283d164d89e601014e1d?s=ewoidSI6ICI1NmQwMWM0YThlM2ZkYzExMDAxZDg1YTMiCn0%3D&utm_source=wechat_session @歸藏
9、好用的 Comfyui 提示词编辑工具
https://m.okjike.com/originalPosts/658f1ab8de5f287348b2d8ba?s=eyJ1IjoiNTZkMDFjNGE4ZTNmZGMxMTAwMWQ4NWEzIiwiZCI6Mn0%3D&utm_source=wechat_session @歸藏
10、本地 ComfyUI 工作流一键变成在线
https://m.okjike.com/originalPosts/658be53837f7165b21260010?s=eyJ1IjoiNTZkMDFjNGE4ZTNmZGMxMTAwMWQ4NWEzIiwiZCI6Mn0%3D&utm_source=wechat_session@歸藏
1、入门 Comfyui 必学合集
https://m.okjike.com/originalPosts/658ab87d3af12f55ba56e524?s=eyJ1IjoiNTZkMDFjNGE4ZTNmZGMxMTAwMWQ4NWEzIiwiZCI6MX0%3D&utm_source=wechat_session @歸藏
2、一个ComfyUI 教程知识库
https://m.okjike.com/originalPosts/658aed546da5fb4742789a74?s=eyJ1IjoiNTZkMDFjNGE4ZTNmZGMxMTAwMWQ4NWEzIiwiZCI6MX0%3D&utm_source=wechat_session @南壹
3、超详细的 ComfyUI 基础教程
https://m.okjike.com/originalPosts/6593728f37f7165b21b09ec8?s=ewoidSI6ICI1NmQwMWM0YThlM2ZkYzExMDAxZDg1YTMiCn0%3D&utm_source=wechat_session @哥飞
4、AI 更换服装 ComfyUI 工作流
https://m.okjike.com/originalPosts/6596a9e5c7c69d5a9f8935b7?s=ewoidSI6ICI1NmQwMWM0YThlM2ZkYzExMDAxZDg1YTMiCn0%3D&utm_source=wechat_session @歸藏
5、ComfyUI 的视频转绘工作流
https://m.okjike.com/originalPosts/659ba958c7c69d5a9fe3f541?s=ewoidSI6ICI2NDQ5NDg0YTFiYjZmMzY2NjA3NWZhNTciCn0%3D&utm_source=wechat_session @Simon阿文
6、用 ComfyUI 复原 Magnific AI
是一款更强大的自主智能体，具备完全自治的能力，也就是自主完成目标理解、规划、执行和反馈迭代多项任务。
AutoAgents.ai自称是「行业内第一个在真实业务场景里跑通可用的自主智能体产品」，可以做到像真人一样，全天无休地策划、运营一个社交媒体账号，为客户节省大量成本。
5、央国企比想象中更拥抱AI agent。
不止一家「AI agent 平台」创业公司，都在 PR 稿中提到了电网方面的国央企客户。
——
所以的 PR 稿，来自郎瀚威 Will 整理的Gpts国产平台表单：https://zw73xyquvv.feishu.cn/wiki/XwqAwCkheiSWqxk9bOFc8DQXnbc?sheet=YfIjQt
下图由kimi chat 协助整理：#AI工作流
AutoAgents.ai自称是「行业内第一个在真实业务场景里跑通可用的自主智能体产品」，可以做到像真人一样，全天无休地策划、运营一个社交媒体账号，为客户节省大量成本。
5、央国企比想象中更拥抱AI agent。
不止一家「AI agent 平台」创业公司，都在 PR 稿中提到了电网方面的国央企客户。
——
所以的 PR 稿，来自郎瀚威 Will 整理的Gpts国产平台表单：https://zw73xyquvv.feishu.cn/wiki/XwqAwCkheiSWqxk9bOFc8DQXnbc?sheet=YfIjQt
下图由kimi chat 协助整理：#AI工作流
不过，从几家号称「AI agent 平台」创业公司的 PR 稿里面，似乎可以看到些线索。
1、销售、客服和营销，是AI agent可以显著提升效率和效果的领域。
几乎所有平台，都聚焦在这几个领域。
2、低代码、无代码和RPA，是AI agent 落地过程中的重要辅助。
在全自动的AI agent 到来之前，他们仨是相对成本更低，且效果更可控的。
3、专家知识和SOP，是AI agent 得以在企业落地的关键。
①专家知识
澜码科技CEO认为，AI Agent在To B场景中的最大价值，是“复制专家的知识”。
如果没有把专家知识数字化下来，那么AI Agent的落地会有很大困难。
构建AI Agent有三步：第一步，专家知识的数字化；第二步，基于CUI（以命令行Commad Line为交互界面）的交互；第三步，领域知识的循环沉淀，形成数据飞轮。
②SOP
DeepWisdom创始人指出：
AI agent的关键在于SOP。人类世界有两类代码，一类是针对机器的“代码”，一类是针对人类的SOP。如今有了AI，只要有明确的SOP，那么人类的活儿都可以变成代码，交给AI agent 去做
单个AI agent由「LLM+观察+思考+行动+记忆」等构成，而多个AI agent则需要由「Agent +环境+SOP+评审+路由+订阅+经济」等不同的维度构成和协同。
4、AI agent可能有三种形态，而且可以在一家公司共存：
形态一：工作助手（Copilot）。
基于特定的软件，人做指令，Agent做面向软件的操作。Copilot主要解决员工的办公效率。
例如，供销售人员使用的Copilot，可以按照人的指令，在相应的软件上快速整理和管理客户信息。
形态二：业务自巡航。
AI Agent是继互联网、移动互联网之后的一个新的用户入口。它可以承接大量业务逻辑，用户无需学习就可使用，使用体验更好。
企业利用业务自巡航，可以给自己的终端用户提供更友好的使用体验。
AutoAgents.ai平台支持市面上所有主流模型，目前初步成型的落地场景是航班预订、员工自助服务、会议协同管理等。
形态三：自主智能体（Autonomous Agents）
每个阶段都有清晰的文本、图表和实例来解释相关概念。
课程内容包括：
1. 从基础理解注意力机制
2. 构建并预训练一个类似于GPT的模型
3. 学习如何加载预训练的权重
4. 对模型进行分类任务的微调 5. 使用直接偏好优化进行指令微调模型
课程地址：https://github.com/rasbt/LLMs-from-scratch/tree/main
一个关于 AI 的真相：
现在能落地能赚钱的大多是套壳的、擦边的、蹭的，
真信 AGI，真想做 AI 的大多都在 struggle。
这个本质还是模型等外部条件制约和节奏感的问题。
另一个真相：
当下的所有 AI 产品，大概率最后都会被迭代掉，都是先烈。
但是，也大概率是在已有的公司和团队内部迭代。
就像头条变成抖音，团购变成外卖，购物pdf变成小红书社区一样。
所以，一个结论：
当下在 AI 领域创业，还是得先有能力在短期内落地赚钱，在一两年里能把公司体量和组织结构养起来，然后随着技术的成熟而不断迭代产品和市场。
简而言之，要做一个会做生意的创业者。
比如最典型的案例就是今日头条，本身是一个很大的好生意，day one 就注重商业化和 roi，在做的过程中积累的数据、标签、推荐算法、和优秀的组织及团队，最后在抖音上开花结果。
但过去十年市场积累的最多的顶尖人才里，有很多是不会做生意的优秀创业者，这两年会是对这些人比较大的挑战。
现在能落地能赚钱的大多是套壳的、擦边的、蹭的，
真信 AGI，真想做 AI 的大多都在 struggle。
这个本质还是模型等外部条件制约和节奏感的问题。
另一个真相：
当下的所有 AI 产品，大概率最后都会被迭代掉，都是先烈。
但是，也大概率是在已有的公司和团队内部迭代。
就像头条变成抖音，团购变成外卖，购物pdf变成小红书社区一样。
所以，一个结论：
当下在 AI 领域创业，还是得先有能力在短期内落地赚钱，在一两年里能把公司体量和组织结构养起来，然后随着技术的成熟而不断迭代产品和市场。
简而言之，要做一个会做生意的创业者。
比如最典型的案例就是今日头条，本身是一个很大的好生意，day one 就注重商业化和 roi，在做的过程中积累的数据、标签、推荐算法、和优秀的组织及团队，最后在抖音上开花结果。
但过去十年市场积累的最多的顶尖人才里，有很多是不会做生意的优秀创业者，这两年会是对这些人比较大的挑战。
WikiChat 在与人类用户聊近期的一些话题时，事实准确性高达 97.9% ，比 GPT-4 高出 55.0%，用户评价也更高。WikiChat 7 通过以下7个步骤来减少模型幻觉，值得参考。
https://arxiv.org/abs/2305.14292
一位上海律师朋友昨天问我：为什么关闭律师大数据彻底转型AI，因为他觉得我们之前做的法律之心律师大数据也非常有价值。我是这样告诉他的：“因为我看到了一个激情澎湃的伟大时代。比尔盖茨说AI是比肩工业革命的机遇，但我觉得AI绝对会超越工业革命：AI的本质是直接把电转化为生产力。互联网其实只是“人与生产关系的变革”，而AI是“生产力关系的变革”。举个例子说，未来我们80后养老就是AI养老院了，不会再是人类护工，而是机器人护工。AI是人类一千年一遇的机遇，我们过去帮老百姓在60万律师中找到好律师，我们今天可以给每个中国人造出1个24小时服务的AI数字法律顾问。我们必须放弃、必须转型、必须全力以赴。”
我觉得现在要去投资一家具身智能机器人公司，对于有自知之明的投资人来说，实际上是一家去做学术理论研究的公司，但实现在的中国的资本市场环境下面有哪家创业公司能够这么去融资、又有哪些投资人是能够接受这样的故事？五到10年都不会有任何meaningful变现和收入的，更不要提上市和退出了。显然现在也没有任何机器人创业公司是这么跟投资沟通的。
像网红小哥哥说人形机器人的硬件成本能够降到多低，那都毫无意义的，因为他硬件成本降到多低了，他也没法实现居家环境中，实际需要这些机器人完成的任务。
像网红小哥哥说人形机器人的硬件成本能够降到多低，那都毫无意义的，因为他硬件成本降到多低了，他也没法实现居家环境中，实际需要这些机器人完成的任务。
#人型 #机器人 #投资 #具身智能
现在大家都在看人型机器人和具身智能，但都没搞明白投资具身机器人到底是投资什么。
现在我们看到大部分的投资，讲的故事都是说五年内会有居家性的机器人卖到消费者手上，但如果我们看现在实际的案例和学术理论这种假设是基本上没法成立的。
现在机器人技术上能解决的比较好的，就是1）如何在不同的环境能够维持平衡并且行动，这个包括轮式，双足、四足；2）还有就是不同自由度的机器臂进行预定好的，提前设置的，提前规划的移动。这种技术已经非常成熟了，所以在工业场景进行简单的搬运、组装、上下料，这个完全没有任何问题。
但是如果要进行在居家环境里面进行稍微比分拣不同东西更复杂的操作的话，现在还没有任何模型能够胜任。甚至现在去进行这些复杂动作的数积集和模型框架都不成熟。
现在generative人工智能之所以这么火，是因为在学术界有两个很大的突破，一个是attention is all you need (transformer), 另一个是latent diffusion。那大家可以想一想，在机器人和现实世界的互动中，就现在的理论知识去解决这个问题够吗？ 这个突破还没出现。
那投资人实际应该去投资的是什么呢？答案是5年前类似openai的公司，openai在过去五年期间我一直关注，大家可能忘了，他们做了很多理论的突破，都没有寻求变现，而是去验证模型本身的可行性。我第一次关注到他们是在游戏里面，他们用强化学习模型打赢了星际争霸的韩国冠军。这个没有进行任何变现的技术突破，在后来的GPT 3.5模型的收敛和人工矫正aligment效果上面是有趣大贡献的，就是大家现在所谓的RLHF。第二次关注到他们是基因序列模型，Alpha fold，这个在医疗领域，当时是轰轰烈烈的大突破，但他们也没有将它进行直接变现。第三次关注到他们是GPT3语言大模型的发布，但这个模型出来后，他们也没有进行变现。我想说的是，学术领域的突破到实际应用的落地是需要接受很长一段时间的没有任何变现的（没有任何收入的）积累。
昨天一篇斯坦福大学的家务机器人比较火
dji宣布退出k12教育
智元机器人与北大开始合作
机器人圈（好吧我非常讨要说圈，为什么要说呢，因为我想说一下我讨要说圈）
这是机器人相关的比较有意思的三件事。
斯坦福大学的家务机器人工作很有启发意义，但是复现难度不会太大。距离真的可以用还有较长一段时间。
有启发意义的事情是，这玩意儿不是编程编出来的，而是手把手教的。他的后方有两个采集人手以及手臂动作的机械臂。在人完成了一系列复杂动作50次后，可以有90%的成功率让机器人去【学会】这个动作，这也就是论文的启发性。
首先这个东西是没有移动机构的，也就是他不能在家里自由的移动。为什么要特意强调这一点，因为对于机械臂形的机器人来说，没有移动机构意味着，他的底盘相对来说是比较重的。
而且有了移动机构之后，能否仍然如此顺滑地做家务而不是抖来抖去这就不太清楚了。
机器人的机械结构没有特别大的进步，这里就是纯废话了，因为机械臂真的发展的特别完善，现在在走小型化，轻量化的路线，让机械臂变成一个消费级的产品。值得注意的是很多up主已经开始使用机械臂辅助拍摄，效果还是不错的。
这里cue一个国产机械臂厂商，方舟无限，怎么说呢，如果方舟无限现有的机械臂去实现斯坦福大学家务机器人做出来的事情是没有什么压力的，但是该公司的算法能不能支持就存疑了。（基本不能，但是他家机械臂真的很好用）
dji推出了k12教育，机器人在k12，尤其是国内的k12缺乏一些力量的最大原因还是对升学没有什么帮助。不像少儿编程，还能参加信息竞赛（不过信息竞赛也由于一些时间上的问题对升学的帮助越来越低）机器人在国内缺乏一个被教育部认可的竞赛。
不过在国际上还是有的那就是赫赫有名的FRC机器人比赛。这个比赛拿到比较好的名次对于申请藤校还是有很大帮助的，包括机器人教育本身也很费钱，（虽然说费钱但是和补习班比起来我感觉后者就是细水长流但是钱堆起来还是比机器人费的多一点不知道）。由于这玩意儿打出来除了申请国外学校以外没什么别的作用，而申请国外学校，尤其是美本还是比较贵的，所以市场一直不大，（但是客单价很高）。考虑到德国一些学校也认，或许也是一条出路（划掉）。
dji对于本科机器人教育的投资并没有说是不是要砍掉，这里又有一段故事我们下次再说。
这里就不得不提优必选了，一个人形教育机器人，随着每个高校都有了一堆吃灰的优必选机器人展示在学生创新中心的犄角旮旯里，难说还有什么别的市场。
虽然我对人形机器人会首先在中国出现深信不疑的主要原因就是智元机器人的存在，但是这家公司和北大这么快就合作了也是让我感觉到很神奇。高山仰止吧。
出于我朴素的爱国主义和浅陋的见识，我相信且认为，中国未来出现一个庞大的机器人产业。但是我也更加希望，这样的庞大产业是与庞大的市场相互匹配的。
我工作还指望这个呢！
祝大家新年快乐哈。
dji宣布退出k12教育
智元机器人与北大开始合作
机器人圈（好吧我非常讨要说圈，为什么要说呢，因为我想说一下我讨要说圈）
这是机器人相关的比较有意思的三件事。
斯坦福大学的家务机器人工作很有启发意义，但是复现难度不会太大。距离真的可以用还有较长一段时间。
有启发意义的事情是，这玩意儿不是编程编出来的，而是手把手教的。他的后方有两个采集人手以及手臂动作的机械臂。在人完成了一系列复杂动作50次后，可以有90%的成功率让机器人去【学会】这个动作，这也就是论文的启发性。
首先这个东西是没有移动机构的，也就是他不能在家里自由的移动。为什么要特意强调这一点，因为对于机械臂形的机器人来说，没有移动机构意味着，他的底盘相对来说是比较重的。
而且有了移动机构之后，能否仍然如此顺滑地做家务而不是抖来抖去这就不太清楚了。
机器人的机械结构没有特别大的进步，这里就是纯废话了，因为机械臂真的发展的特别完善，现在在走小型化，轻量化的路线，让机械臂变成一个消费级的产品。值得注意的是很多up主已经开始使用机械臂辅助拍摄，效果还是不错的。
这里cue一个国产机械臂厂商，方舟无限，怎么说呢，如果方舟无限现有的机械臂去实现斯坦福大学家务机器人做出来的事情是没有什么压力的，但是该公司的算法能不能支持就存疑了。（基本不能，但是他家机械臂真的很好用）
dji推出了k12教育，机器人在k12，尤其是国内的k12缺乏一些力量的最大原因还是对升学没有什么帮助。不像少儿编程，还能参加信息竞赛（不过信息竞赛也由于一些时间上的问题对升学的帮助越来越低）机器人在国内缺乏一个被教育部认可的竞赛。
不过在国际上还是有的那就是赫赫有名的FRC机器人比赛。这个比赛拿到比较好的名次对于申请藤校还是有很大帮助的，包括机器人教育本身也很费钱，（虽然说费钱但是和补习班比起来我感觉后者就是细水长流但是钱堆起来还是比机器人费的多一点不知道）。由于这玩意儿打出来除了申请国外学校以外没什么别的作用，而申请国外学校，尤其是美本还是比较贵的，所以市场一直不大，（但是客单价很高）。考虑到德国一些学校也认，或许也是一条出路（划掉）。
dji对于本科机器人教育的投资并没有说是不是要砍掉，这里又有一段故事我们下次再说。
这里就不得不提优必选了，一个人形教育机器人，随着每个高校都有了一堆吃灰的优必选机器人展示在学生创新中心的犄角旮旯里，难说还有什么别的市场。
虽然我对人形机器人会首先在中国出现深信不疑的主要原因就是智元机器人的存在，但是这家公司和北大这么快就合作了也是让我感觉到很神奇。高山仰止吧。
出于我朴素的爱国主义和浅陋的见识，我相信且认为，中国未来出现一个庞大的机器人产业。但是我也更加希望，这样的庞大产业是与庞大的市场相互匹配的。
我工作还指望这个呢！
祝大家新年快乐哈。
AIGC教程文档给收集起来了！
想要了解AI工作流的朋友可以冲！！
文档链接：https://qwu28uf3j5.feishu.cn/docx/Ofp1dBDp2oH1nGxTmk9cRZDvnQe
🐂🍺吊炸天
Mobile ALOHA的硬件非常强大。我们昨天把它带回家并尝试了更多任务！它可以：
- 洗衣服👔👖
- 自充电⚡️
- 使用真空吸尘器
- 水生植物🌳
- 装载和卸载洗碗机
- 使用咖啡机☕️
- 从冰箱里拿出饮料并打开啤酒🍺
- 打开门🚪
- 和宠物一起玩🐱
- 扔掉垃圾
- 打开/关闭灯💡
项目网址： mobile-aloha.github.io
—િ😂ી
感觉我们这代人以后养老要靠这玩意了。洗衣服、逗猫、煮咖啡准备早餐、洗碗都行。
基本家务基本上通过家电搭配机械臂机器人完成。
Mobile ALOHA的硬件非常强大。我们昨天把它带回家并尝试了更多任务！它可以：
- 洗衣服👔👖
- 自充电⚡️
- 使用真空吸尘器
- 水生植物🌳
- 装载和卸载洗碗机
- 使用咖啡机☕️
- 从冰箱里拿出饮料并打开啤酒🍺
- 打开门🚪
- 和宠物一起玩🐱
- 扔掉垃圾
- 打开/关闭灯💡
项目网址： mobile-aloha.github.io
—િ😂ી
感觉我们这代人以后养老要靠这玩意了。洗衣服、逗猫、煮咖啡准备早餐、洗碗都行。
基本家务基本上通过家电搭配机械臂机器人完成。
