关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
生成式 AI 和历史上其他技术革命都不一样的是，AI产品的随机性和缺解释性使得从可用demo 到最终产品的过程变得很远，超出大部分人的经验范围。
不管是蒸汽机内燃机、电力电气还是互联网，基于的底层原理都是确定性的，只要能做出可用的demo，接下来发展路径是可预测的，到大规模落地就不远了。
因为之前的科技进展绝大部分都是确定性的，我们对于产品应用的内含确定性要求其实是很高的，不只是在自动驾驶这种生死攸关的事情上，一个每天会摔一次盘子的机器人服务员也是很难被接受的。
并且人的不确定性只要能找到对应的负责人（俗称有人背锅），比如说工厂少拧了一个螺丝，司机疲劳驾驶出问题，我们往往就会觉得这是可被管理的，也是可以接受的。但无法消除，无法解释又无法找人背锅的 AI 不确定性就不一样。
AI过去反复出现的一个趋势是大家看到 demo很激动，然而到落地时间和难度远超预期。尤其是 AI demo展现出来的能力往往很牛逼，想象空间无限，和其他大部分技术相比容易让人产生过度期待，因此过度期待后的失望往往也特别大。
不管是蒸汽机内燃机、电力电气还是互联网，基于的底层原理都是确定性的，只要能做出可用的demo，接下来发展路径是可预测的，到大规模落地就不远了。
因为之前的科技进展绝大部分都是确定性的，我们对于产品应用的内含确定性要求其实是很高的，不只是在自动驾驶这种生死攸关的事情上，一个每天会摔一次盘子的机器人服务员也是很难被接受的。
并且人的不确定性只要能找到对应的负责人（俗称有人背锅），比如说工厂少拧了一个螺丝，司机疲劳驾驶出问题，我们往往就会觉得这是可被管理的，也是可以接受的。但无法消除，无法解释又无法找人背锅的 AI 不确定性就不一样。
AI过去反复出现的一个趋势是大家看到 demo很激动，然而到落地时间和难度远超预期。尤其是 AI demo展现出来的能力往往很牛逼，想象空间无限，和其他大部分技术相比容易让人产生过度期待，因此过度期待后的失望往往也特别大。
前几天见北大教授，我问了一个困扰我已久的问题：人形机器人真的是个好的选择还是个绣花枕头？教授笑了笑，说了句有趣且超越我以往想法的话，“人形是对于人类社会改造成本最低的方案，机器人可以无缝进入社会而不用社会为他们而定制”。
其实起初只是教身边的朋友如何用 comfyui 文生图组件入门，但问我的朋友实在太多了，决定直接放到 B 站。
以后没看完这些视频不准向我提问！😃
1. 安装部署：https://b23.tv/0M9oOBK
2. 界面介绍：https://b23.tv/L7IL8vA
3. 文生图、图生图：https://b23.tv/qHVh7UC
4. ComfyUI 中使用 ControlNet： https://b23.tv/AgEm98M
5. ComfyUI 中不同放大图像方式：https://b23.tv/5SUhDiF
6. ComfyUI InstantID：https://www.bilibili.com/video/BV1gD421u7PQ/?spm_id_from=333.788&vd_source=80842cd1322af01ffc7e3b79018d1fb4
7. ComfyUI Ipadapter 老版：https://www.bilibili.com/video/BV1hz42187Ah/?spm_id_from=333.788&vd_source=80842cd1322af01ffc7e3b79018d1fb4
7.2 ComfyUI Ipadapter 新版：https://www.bilibili.com/video/BV1By411q7ve/?spm_id_from=333.788&vd_source=80842cd1322af01ffc7e3b79018d1fb4
另外还录了一个自认为非常干货的用 AI 做分镜的经验分享，并且用上了行活的几个工具网站，虽然有30分钟，但是是非常值得看的内容啦！：https://www.bilibili.com/video/BV1q4421Q7Nn/
之后应该很长时间不会更新教程视频啦～ 这次回馈下开源社区，介绍入门基础组件，很适合新手，希望对大家起到帮助！🏳️🌈
想要对当下（2024年6月）AI行业有比较清楚的认识和框架，极限情况这两篇文章差不多够用：
1、@张小珺 和@广密 的对谈《为什么 AGI 应用还没有大爆发？》
https://mp.weixin.qq.com/s/Ua81_uWzH3D1BQiOjlGNmQ
2、创新工场汪华老师在极客公园大会上的发言《AI 应用爆发何时到来？》
https://mp.weixin.qq.com/s/FXP-zaFJfpIu3wRvhYyFwg
一篇偏美国，一篇偏国内。
读三遍，做些整理和总结基本上可以保证不会被各种江湖道士忽悠了…
1、@张小珺 和@广密 的对谈《为什么 AGI 应用还没有大爆发？》
https://mp.weixin.qq.com/s/Ua81_uWzH3D1BQiOjlGNmQ
2、创新工场汪华老师在极客公园大会上的发言《AI 应用爆发何时到来？》
https://mp.weixin.qq.com/s/FXP-zaFJfpIu3wRvhYyFwg
一篇偏美国，一篇偏国内。
读三遍，做些整理和总结基本上可以保证不会被各种江湖道士忽悠了…
目前写 Prompt 时, 经常根据不同需求添加不同模块要点, 固定的一个模式写法, 在面对差异巨大的需求场景时, 经常会因缺失某些描述而效果变差。
干脆下手整理一个从 A-Z ，共26 个角度的模块，使用时，可从其中挑选合适的模块组装。
- Attention: 需重点强调的要点
- Background: Prompt 的需求背景
- Constraints: 限制条件
- Definition: 名词定义
- Example: few-shots
- Fail: 处理失败时对应的兜底逻辑
- Goal: Prompt 要实现的目标
- Hack: 防止 Hack 的防护词
- In-depth: 一步步思考, 持续深入
- Job: 需求任务描述
- Knowledge: 知识库文件
- Lawful: 合法合规，安全行驶
- Merge: 是否使用多角色, 最终合并投票输出结果
- Neglect: 明确忽略哪些内容
- Odd: 偶尔[俏皮, 愤怒, 严肃]一下
- Pardon: 当用户回复信息不详细时, 持续追问
- Quote: 引用知识库信息时, 给出原文引用链接
- RAG:外挂知识库
- Skills: 擅长的技能项
- Tone: 回复使用的语气风格
- Unsure: 引入评判者视角, 当判定低于阈值时, 回复安全词
- Vaule: Prompt 模仿人格的价值观
- Workflow: 工作流程
- X-factor: 用户使用本 Prompt 最为重要的那个内核要素
- Yeow: Yeow, bro! Prompt 开场白设计
- Zig: 无厘头式 Prompt, 如[答案之书]
干脆下手整理一个从 A-Z ，共26 个角度的模块，使用时，可从其中挑选合适的模块组装。
- Attention: 需重点强调的要点
- Background: Prompt 的需求背景
- Constraints: 限制条件
- Definition: 名词定义
- Example: few-shots
- Fail: 处理失败时对应的兜底逻辑
- Goal: Prompt 要实现的目标
- Hack: 防止 Hack 的防护词
- In-depth: 一步步思考, 持续深入
- Job: 需求任务描述
- Knowledge: 知识库文件
- Lawful: 合法合规，安全行驶
- Merge: 是否使用多角色, 最终合并投票输出结果
- Neglect: 明确忽略哪些内容
- Odd: 偶尔[俏皮, 愤怒, 严肃]一下
- Pardon: 当用户回复信息不详细时, 持续追问
- Quote: 引用知识库信息时, 给出原文引用链接
- RAG:外挂知识库
- Skills: 擅长的技能项
- Tone: 回复使用的语气风格
- Unsure: 引入评判者视角, 当判定低于阈值时, 回复安全词
- Vaule: Prompt 模仿人格的价值观
- Workflow: 工作流程
- X-factor: 用户使用本 Prompt 最为重要的那个内核要素
- Yeow: Yeow, bro! Prompt 开场白设计
- Zig: 无厘头式 Prompt, 如[答案之书]
🎨 Claude Artifacts 神奇用法：人人都能制作的在线画板，全程不到三分钟？
「人工智能意味着计算机正在学习我们的语言，而不是我们必须学习它们的语言。」 ——Naval
几天前，Claude 带来目前最强的免费大模型3.5 Sonnet， 其综合能力领先GPT-4o ；而新特性 Artifacts 因为其超强的编程能力和所见即所得的实时交互，令AI研究者们尖叫不已。在我看来， Artifacts 正在引领一种全新的创作范式。Hans准备了一系列小教程，展示其惊人的能力边界。
与其说是教程，不过是实际操作的录屏：在此次绘画工具制作全流程中，你将看到一个好用的软件产品从想法、实现、完善到版本迭代只有短短几分钟，是如此简洁、优雅；甚至不需要理解任何编程语言，自然地对话，毫无门槛。唯一需要的，是你的好奇心。
尽量亲自尝试吧——几句话就能生成复杂作品的神奇体验，是很难借助用他人的语言来充分感受的。 Enjoy ～
🦜 One more thing：
如果你是Claude 和ChatGPT 双栖用户，可以把我的GPTs ——Prompt for me当成兔子洞；它不仅能针对Claude 写出结构化的Prompts，还收集了不少 Artifacts 精华案例，一定能打开你的创作灵感。
https://chatgpt.com/g/g-jaTKZXfJ0-prompt-for-me-gpt-claude-gemini
Time to build～
Invalid media: video
「人工智能意味着计算机正在学习我们的语言，而不是我们必须学习它们的语言。」 ——Naval
几天前，Claude 带来目前最强的免费大模型3.5 Sonnet， 其综合能力领先GPT-4o ；而新特性 Artifacts 因为其超强的编程能力和所见即所得的实时交互，令AI研究者们尖叫不已。在我看来， Artifacts 正在引领一种全新的创作范式。Hans准备了一系列小教程，展示其惊人的能力边界。
与其说是教程，不过是实际操作的录屏：在此次绘画工具制作全流程中，你将看到一个好用的软件产品从想法、实现、完善到版本迭代只有短短几分钟，是如此简洁、优雅；甚至不需要理解任何编程语言，自然地对话，毫无门槛。唯一需要的，是你的好奇心。
尽量亲自尝试吧——几句话就能生成复杂作品的神奇体验，是很难借助用他人的语言来充分感受的。 Enjoy ～
🦜 One more thing：
如果你是Claude 和ChatGPT 双栖用户，可以把我的GPTs ——Prompt for me当成兔子洞；它不仅能针对Claude 写出结构化的Prompts，还收集了不少 Artifacts 精华案例，一定能打开你的创作灵感。
https://chatgpt.com/g/g-jaTKZXfJ0-prompt-for-me-gpt-claude-gemini
Time to build～
Invalid media: video
Claude 3.5 Sonnet + Replit，极简制作3Blue1Brown风格Manim动画
前2天做的关于理想汽车财报亮点的视频在推上还比较受欢迎，今天又尝试了做小米的，这次是多次沟通修改的。
这里我解释下，不是Claude直接生成最后的视频效果，而是让Claude先用Manim库生成Python脚本，之后本地运行Python脚本渲染生成MP4。
我也看到一些用户反馈Manim本地安装各种依赖比较难，不用着急，今天推荐一个非常好用的平台——Replit。
Replit是一个在线的集成开发环境（IDE），可以让你直接在浏览器中编写、运行和分享代码，无需进行复杂的本地环境配置，非常适合快速原型设计和学习新的编程语言或框架。
Replit官方为Manim做了一个开箱即用的模版和拓展。
链接：https://replit.com/@ArnavBansal/manim
下面视频对应的提示词：
「提取附件财务报告的要点，使用Manim库编写动画进行展示。动画要多样化，显示效果要华丽。
首页标题页背景改成橙色，文字白色；其他页背景改成灰色#ececec，白色文字改成 黑色文字，橙色保持不变，请给到完整代码
make it better，让动画效果更丰富
很不错，成功运行了，请你再努力下，make it better，幻灯片转换优化，字体大小优化、动画优化等
CLaude先总结这篇财报的亮点，接着基于这些亮点，写了代码。」
注：这里示例用的是小米2024年第一季度业绩公告，44页PPT样式的PDF。
Invalid media: video
前2天做的关于理想汽车财报亮点的视频在推上还比较受欢迎，今天又尝试了做小米的，这次是多次沟通修改的。
这里我解释下，不是Claude直接生成最后的视频效果，而是让Claude先用Manim库生成Python脚本，之后本地运行Python脚本渲染生成MP4。
我也看到一些用户反馈Manim本地安装各种依赖比较难，不用着急，今天推荐一个非常好用的平台——Replit。
Replit是一个在线的集成开发环境（IDE），可以让你直接在浏览器中编写、运行和分享代码，无需进行复杂的本地环境配置，非常适合快速原型设计和学习新的编程语言或框架。
Replit官方为Manim做了一个开箱即用的模版和拓展。
链接：https://replit.com/@ArnavBansal/manim
下面视频对应的提示词：
「提取附件财务报告的要点，使用Manim库编写动画进行展示。动画要多样化，显示效果要华丽。
首页标题页背景改成橙色，文字白色；其他页背景改成灰色#ececec，白色文字改成 黑色文字，橙色保持不变，请给到完整代码
make it better，让动画效果更丰富
很不错，成功运行了，请你再努力下，make it better，幻灯片转换优化，字体大小优化、动画优化等
CLaude先总结这篇财报的亮点，接着基于这些亮点，写了代码。」
注：这里示例用的是小米2024年第一季度业绩公告，44页PPT样式的PDF。
Invalid media: video
开源社区终于有一个好的视频转绘项目了！
还提供了 Colab 笔记，直接运行就可以，不需要摆弄麻烦的 Comfyui 流程和一堆模型了。
Diffutoon 能够以动漫风格渲染出细节丰富、高分辨率和长时间的视频。它还可以通过一个附加模块根据提示编辑内容。
项目地址，里面有 Colab 笔记可以直接运行：https://github.com/modelscope/DiffSynth-Studio/tree/main/examples/Diffutoon
Invalid media: video
还提供了 Colab 笔记，直接运行就可以，不需要摆弄麻烦的 Comfyui 流程和一堆模型了。
Diffutoon 能够以动漫风格渲染出细节丰富、高分辨率和长时间的视频。它还可以通过一个附加模块根据提示编辑内容。
项目地址，里面有 Colab 笔记可以直接运行：https://github.com/modelscope/DiffSynth-Studio/tree/main/examples/Diffutoon
Invalid media: video
