关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
Calude 3 在这方面确实非常强大，基本上很少的数据就可以学会你想要教给他的内容。
推文详细介绍：
作者在测试Anthropic公司新模型Claude 3 Opus时,见证了令人惊叹的事情。作者一直在研究一门叫Circassian的低资源语言,这是一门孤立语言,语料稀缺,语法和形态极其复杂,对语言模型是巨大挑战。
作者之前花了两年时间搜集了6.4万对俄语-Circassian语的平行语料,训练专门的机器翻译模型才取得了不错的效果。作为实验,他只给Claude Opus输入了5700对随机抽取的单词/句子对作为示例,然后让它翻译一些新句子。
令人惊讶的是,Claude Opus不仅给出了完美的翻译,还对语法和词态进行了分析。即使是作者精心设计的,不太可能在示例数据中出现的复杂句子,Claude Opus也给出了无可挑剔的翻译和分析。它展现了对这门语言的深刻理解,在翻译文学作品、新闻、方言时也保持了原文的风格,遇到生词还能推测含义,提供词源分析,必要时甚至造新词。
作者强调,用同样的输入数据,一个不懂Circassian语的语言学家可能需要一年时间才能达到类似水平。而Claude Opus只用几千个翻译对,一分钟内就掌握了语言的精髓。相比之下,GPT-4 和作者之前微调的GPT-3.5模型都完全失败了。
作者最初以为Claude Opus完全是从他提供的少量示例中学到了Circassian语的知识,后来发现其实它在预训练时已经学到了一些。尽管如此,Anthropic在训练数据中纳入了Circassian这样的小语种,效果令人印象深刻。
尽管作者的初始假设有误,但Claude Opus展现的低资源语言能力依然令人惊叹,这预示着小语种和许多其他领域的重大突破。未来已经到来,而且令人惊喜。
来源：网页链接
工程师需要像"保姆"一样密切监控训练过程,关注关键指标,一旦出现问题要及时排查,否则会浪费大量计算资源。
训练常常因为各种未知原因失败,需要重启尝试。训练大模型考验整个计算系统的容错能力,因此除了考虑性能和成本,还要评估整体服务质量和团队效率。
原文翻译：
这篇文章精彩地讨论了一个鲜为人知的话题：训练大语言模型（LLM）的难点。在成熟的公司里，有专门的团队负责维护这些计算集群。当规模扩大时，这些集群的管理从传统的工程学转变成更接近生物学的领域，这也是为什么会有专门负责“硬件健康”的团队的原因。
训练大型模型的日常可能充满挑战。作为工程师，你需要像“保姆”一样密切监控训练过程。这包括关注运行的关键指标：损失函数的突然升高、数值问题、处理速度、梯度的规范性、策略的熵值等。一旦训练过程出现退化或停滞——这种情况经常发生——你就得迅速查找错误原因。如果处理不及时，可能导致成千上万的GPU资源闲置。
来源：网页链接
你经常会遇到一些新的、陌生的、令人畏惧的错误，需要紧急求助于同事。最糟糕的情况往往发生在凌晨4点。有时候，问题无法解决，你只能选择停用一些异常的节点，尝试重新开始训练。有时候，训练失败仅仅是因为运气不佳，这时你可能会在启动命令中加入一个while True:循环以期望运气好转。
这些问题可能涉及多种原因，从GPU过热导致计算错误，到路由器故障降低网络文件系统的输入输出速度，甚至是数据中心内部因未通报的维护工作而导致的物理连接中断。有时候，问题的根源可能永远成谜。
这里还需要特别提到一个重要的参考资料：OPT-175B的日志本。希望未来能有更多类似的资料能够公开。（详见git仓库中的chronicles/OPT175B_Logbook.pdf） 网页链接
总之，大语言模型的训练过程实质上是对一个庞大计算系统整体容错能力的极端考验，这个系统在某种程度上像一个生物实体。因此，在选择计算资源时，除了考虑浮点运算性能（FLOPs）和成本外，还要全面考虑从硬件到软件的整体服务，包括存储、网络和计算能力。更重要的是，考虑维护这些系统的团队是否像《复仇者联盟》那样高效，并思考你是否能与他们建立良好的合作关系。
一个可以帮助开发者利用 Claude 3 优化代码问题的提示词，中文翻译只是为了理解，还是建议用英文提示。微博的朋友们见谅，由于微博的脑瘫话题匹配机制，markdown里面的【#】 会被判断为话题。
--------------提示词翻译--------------
你是加速代码运行的世界级专家。你将利用一切可能的资源来实现这一目标。
首先，针对一段给定的代码，向我解释这段代码的运作原理。
然后，对代码的每个部分进行运行时间分析，估算其运行所需时间。
接着，找出哪些部分是提速的关键点。
之后，制作一个“影响力”与“复杂度”双轴的表格。对于每一个提速点，评估提升速度的复杂程度以及可能带来的速度影响程度。
然后，根据评估结果对这些提速点进行排序。
选取排名最高的提速点，更详细地解释如何重写代码来提高效率。随后，重写实际的代码段。完成后，检查新编写的代码是否存在问题。如果有，继续下一个步骤。如果没有，重新编写代码以解决这些问题。
接下来，对排名第二的提速点进行类似的详细解释和代码重写。然后，检查新编写的代码是否存在问题。如果有，继续下一个步骤。如果没有，重新编写代码以解决这些问题。
对排名第三的提速点也执行同样的步骤。
最后，将所有的速度提升改进整合起来，重写整个代码。
你应该按以下格式回应：
## 解释：
$explanation
## 运行时间分析：
$runtime_analysis
## 提速关键点：
$candidates
## 影响力与复杂度表：
|提速点|影响力|复杂度|
|---|---|---|
|$candidate_table|||
## 按评估排名的提速点：
$ordered_candidates
## 排名最高提速点的详细解释和代码重写：
# 解释
$top_candidate_explanation
# 代码重写
$top_candidate_code
# 新代码中的问题：_(仅在存在问题时包含此部分)_
$top_candidate_issues
# 代码重写，第二次尝试：_(仅在问题存在时包含)_
$top_candidate_code_try2
## 排名第二的提速点的详细解释和代码重写：
# 解释
$second_candidate_explanation
# 代码重写
$second_candidate_code
# 新代码中的问题：_(仅在存在问题时包含此部分)_
$second_candidate_issues
# 代码重写，第二次尝试：_(仅在问题存在时包含)_
$second_candidate_code_try2
## 排名第三的提速点的详细解释和代码重写：
# 解释
$third_candidate_explanation
# 代码重写
$third_candidate_code
# 新代码中的问题：_(仅在存在问题时包含此部分)_
$third_candidate_issues
# 代码重写，第二次尝试：_(仅在问题存在时包含)_
$third_candidate_code_try2
## 整体代码重写，包含所有速度改进：
## $full_code_rewrite
--------------提示词原文--------------
You are a world expert in making code run faster. You use any resource you can to do so. Given some code, first, explain how the code works to me. Next, for each part of the code, identify how long it might take to run. After that, identify which parts are key candidates to speed up. Then, make a table with axes 'Impact' and 'Complexity'. For each of the candidates, rank how complex it will be to speed it up and how much of a speed impact it could have. After that, order the candidates by ranking. Take the top-ranked candidate and explain in more detail how to rewrite the code to be faster. Then, rewrite the actual code. After you've done that, determine if there are issues with the new code you wrote. If so, move on. Otherwise, rewrite the code again to fix them. Next, take the second-highest-ranked candidate and explain in more detail how to rewrite the code to be faster. Then, rewrite the actual code. After you've done that, determine if there are issues with the new code you wrote. If so, move on. Otherwise, rewrite the code again to fix them. Then do the same for the third-highest-ranked candidate. Finally, rewrite the code in full with all of the speed improvements incorporated. Here is the format you should respond in: ## Explanation: $explanation ## Runtime Analysis: $runtime_analysis ## Key Candidates for Speed Up: $candidates ## Impact and Complexity Table: | Candidate | Impact | Complexity | | --------- | ------ | ---------- | $candidate_table ## Candidates Ordered by Ranking: $ordered_candidates ## Detailed Explanation and Code Rewrite for Top Candidate: # Explanation $top_candidate_explanation # Code Rewrite $top_candidate_code # Issues with New Code: *(include this section only if they exist)* $top_candidate_issues # Code Rewrite, Try 2: *(include this section only if issues exist)* $top_candidate_code_try2 ## Detailed Explanation and Code Rewrite for Second-Highest Candidate: # Explanation $second_candidate_explanation # Code Rewrite $second_candidate_code # Issues with New Code: *(include this section only if issues exist)* $second_candidate_issues # Code Rewrite, Try 2: *(include this section only if issues exist)* $second_candidate_code_try2 ## Detailed Explanation and Code Rewrite for Third-Highest Candidate: # Explanation $third_candidate_explanation # Code Rewrite $third_candidate_code # Issues with New Code: *(include this section only if issues exist)* $third_candidate_issues # Code Rewrite, Try 2: *(include this section only if issues exist)* $third_candidate_code_try2 ## Full Code Rewrite with Speed Improvements: $full_code_rewrite ---
来源：网页链接
--------------提示词翻译--------------
你是加速代码运行的世界级专家。你将利用一切可能的资源来实现这一目标。
首先，针对一段给定的代码，向我解释这段代码的运作原理。
然后，对代码的每个部分进行运行时间分析，估算其运行所需时间。
接着，找出哪些部分是提速的关键点。
之后，制作一个“影响力”与“复杂度”双轴的表格。对于每一个提速点，评估提升速度的复杂程度以及可能带来的速度影响程度。
然后，根据评估结果对这些提速点进行排序。
选取排名最高的提速点，更详细地解释如何重写代码来提高效率。随后，重写实际的代码段。完成后，检查新编写的代码是否存在问题。如果有，继续下一个步骤。如果没有，重新编写代码以解决这些问题。
接下来，对排名第二的提速点进行类似的详细解释和代码重写。然后，检查新编写的代码是否存在问题。如果有，继续下一个步骤。如果没有，重新编写代码以解决这些问题。
对排名第三的提速点也执行同样的步骤。
最后，将所有的速度提升改进整合起来，重写整个代码。
你应该按以下格式回应：
## 解释：
$explanation
## 运行时间分析：
$runtime_analysis
## 提速关键点：
$candidates
## 影响力与复杂度表：
|提速点|影响力|复杂度|
|---|---|---|
|$candidate_table|||
## 按评估排名的提速点：
$ordered_candidates
## 排名最高提速点的详细解释和代码重写：
# 解释
$top_candidate_explanation
# 代码重写
$top_candidate_code
# 新代码中的问题：_(仅在存在问题时包含此部分)_
$top_candidate_issues
# 代码重写，第二次尝试：_(仅在问题存在时包含)_
$top_candidate_code_try2
## 排名第二的提速点的详细解释和代码重写：
# 解释
$second_candidate_explanation
# 代码重写
$second_candidate_code
# 新代码中的问题：_(仅在存在问题时包含此部分)_
$second_candidate_issues
# 代码重写，第二次尝试：_(仅在问题存在时包含)_
$second_candidate_code_try2
## 排名第三的提速点的详细解释和代码重写：
# 解释
$third_candidate_explanation
# 代码重写
$third_candidate_code
# 新代码中的问题：_(仅在存在问题时包含此部分)_
$third_candidate_issues
# 代码重写，第二次尝试：_(仅在问题存在时包含)_
$third_candidate_code_try2
## 整体代码重写，包含所有速度改进：
## $full_code_rewrite
--------------提示词原文--------------
You are a world expert in making code run faster. You use any resource you can to do so. Given some code, first, explain how the code works to me. Next, for each part of the code, identify how long it might take to run. After that, identify which parts are key candidates to speed up. Then, make a table with axes 'Impact' and 'Complexity'. For each of the candidates, rank how complex it will be to speed it up and how much of a speed impact it could have. After that, order the candidates by ranking. Take the top-ranked candidate and explain in more detail how to rewrite the code to be faster. Then, rewrite the actual code. After you've done that, determine if there are issues with the new code you wrote. If so, move on. Otherwise, rewrite the code again to fix them. Next, take the second-highest-ranked candidate and explain in more detail how to rewrite the code to be faster. Then, rewrite the actual code. After you've done that, determine if there are issues with the new code you wrote. If so, move on. Otherwise, rewrite the code again to fix them. Then do the same for the third-highest-ranked candidate. Finally, rewrite the code in full with all of the speed improvements incorporated. Here is the format you should respond in: ## Explanation: $explanation ## Runtime Analysis: $runtime_analysis ## Key Candidates for Speed Up: $candidates ## Impact and Complexity Table: | Candidate | Impact | Complexity | | --------- | ------ | ---------- | $candidate_table ## Candidates Ordered by Ranking: $ordered_candidates ## Detailed Explanation and Code Rewrite for Top Candidate: # Explanation $top_candidate_explanation # Code Rewrite $top_candidate_code # Issues with New Code: *(include this section only if they exist)* $top_candidate_issues # Code Rewrite, Try 2: *(include this section only if issues exist)* $top_candidate_code_try2 ## Detailed Explanation and Code Rewrite for Second-Highest Candidate: # Explanation $second_candidate_explanation # Code Rewrite $second_candidate_code # Issues with New Code: *(include this section only if issues exist)* $second_candidate_issues # Code Rewrite, Try 2: *(include this section only if issues exist)* $second_candidate_code_try2 ## Detailed Explanation and Code Rewrite for Third-Highest Candidate: # Explanation $third_candidate_explanation # Code Rewrite $third_candidate_code # Issues with New Code: *(include this section only if issues exist)* $third_candidate_issues # Code Rewrite, Try 2: *(include this section only if issues exist)* $third_candidate_code_try2 ## Full Code Rewrite with Speed Improvements: $full_code_rewrite ---
来源：网页链接
2024年上半年，人形机器人市场将迎来一大波新产品和新品牌，谁有更先进的技术，谁就更有望从资本市场拿到资金，谁就能走得更远。至于优必选，政策的风已经吹过来，接下来就是考验经营能力了。
今天解锁了Claude的新使用场景：将一场周例会的录音asr之后发给Claude让它生成会议纪要和todo项。
一句话评价：比最好的实习生总结的还要好。
然后把结果转发给小美听写（公司内部会议录音软件）的PM，她看到了Claude输出的内容直呼卧槽。按她的说法：总结会上全讲了什么很容易，知道哪部分是重点哪部分不是重点很难，准确地整理好todo项非常难（gpt4和大部分实习生都做不好），而Claude的表现真的堪称完美。
顺便我俩一起感慨了一下，这几个月做了很多prompt engineering的工作，在更强大的模型面前不值一提。
评论区可以留言还有哪些场景想测试Claude opus的能力。
一句话评价：比最好的实习生总结的还要好。
然后把结果转发给小美听写（公司内部会议录音软件）的PM，她看到了Claude输出的内容直呼卧槽。按她的说法：总结会上全讲了什么很容易，知道哪部分是重点哪部分不是重点很难，准确地整理好todo项非常难（gpt4和大部分实习生都做不好），而Claude的表现真的堪称完美。
顺便我俩一起感慨了一下，这几个月做了很多prompt engineering的工作，在更强大的模型面前不值一提。
评论区可以留言还有哪些场景想测试Claude opus的能力。
Reddit 上的一个帖子，很厉害，利用简陋的 3D 模型动画和 Animatediff 生成 高度自定义的 2D 动画。#ai#
B 站前段时间胶囊计划有个片子也是类似的处理方式。
具体的工作流为：
将文本转化为3D效果: 由LumaLabs提供技术支持
背景设计: 使用ComfyUI和Photoshop的生成式填充功能
3D动画制作: 采用Mixamo和Blender工具
2D风格动画: 由ComfyUI提供支持
所有其他特效: 通过After Effects实现 歸藏的AI工具箱的微博视频
B 站前段时间胶囊计划有个片子也是类似的处理方式。
具体的工作流为：
将文本转化为3D效果: 由LumaLabs提供技术支持
背景设计: 使用ComfyUI和Photoshop的生成式填充功能
3D动画制作: 采用Mixamo和Blender工具
2D风格动画: 由ComfyUI提供支持
所有其他特效: 通过After Effects实现 歸藏的AI工具箱的微博视频
发现一个很有意思的应用 Simply News，它会使用 Agents 查找特定领域的新闻内容自动生成播客。
相对于 AI 生成视频，现在来看自动个生成对应播客的技术可能更成熟，最近也看到了很多探索，比如 Perplexity 也有个类似的播客。
他们的 Agents 主要由四部分组成：
The Sorter：扫描大量新闻源，根据文章的相关性和对播客类别的重要性进行筛选。
The Pitcher：为每篇筛选出的文章制作引人入胜的提案，考虑文章呈现的叙事角度。
The Judge：评估提案并做出编辑决定，选择哪些应该被报道。
The Scripter：为Judge选中的文章草拟吸引人的脚本，确保听众能清晰、准确地理解。
这里收听：https://www.simplynews.ai/
相对于 AI 生成视频，现在来看自动个生成对应播客的技术可能更成熟，最近也看到了很多探索，比如 Perplexity 也有个类似的播客。
他们的 Agents 主要由四部分组成：
The Sorter：扫描大量新闻源，根据文章的相关性和对播客类别的重要性进行筛选。
The Pitcher：为每篇筛选出的文章制作引人入胜的提案，考虑文章呈现的叙事角度。
The Judge：评估提案并做出编辑决定，选择哪些应该被报道。
The Scripter：为Judge选中的文章草拟吸引人的脚本，确保听众能清晰、准确地理解。
这里收听：https://www.simplynews.ai/
看完朱啸虎那篇新闻，不吐不快。Analogy 类比，其实在商业上是一种很容易出错的因果模型。
苹果在2007年推出iPhone时，许多行业专家预测它不会成功。他们直接把 iPhone 类比成Macintosh 个人电脑，会因为跟 PC + wintel 组合的价格竞争而无利可图。站在 08年，用智能手机与旧的个人电脑业务进行类比，看上去非常符合逻辑。
同样的错误也出现在桌面互联网跟移动互联网的类比，vr/ar 跟智能手机的类比。这还是同一个品类的类比，就出现了如此多的错误。
何况是大模型这个人类历史上从未出现过的品类，人工智能还算是科幻作品能够想象出来的发明，至于区块链/btc 这类科幻作品都写不出来的发明，拿什么去类比呢？在互联网真的普及之前，adwords 这种商业模式你用什么类比能预测呢？免费这种商业模式你用什么类比能预测呢？
大部分中国投资人，特别喜欢用后视镜进行定性/类比，特别无法接受未知，一定要在一个早期时间点下论断/结论/预测。要不然就会焦虑，个人觉得可能是中国历史的强规律感外加应试教育的标准答案导致的吧。
计算是不可约的，这是wolfram 的核心观点，我们永远无法找到描述系统中将要发生的事情的“公式”或“快捷方式”——因为这些系统在计算上是不可约的。任何复杂系统本质上都是没有公式、没有理论、没有捷径、不可概括、不可预测的。要知道发生了什么，得遍历所有过程，我们不能指望找到一个“简单的叙述”来“说明为什么会发生某事”。我们可能找到一些局部规律，但每个局部规律的发现，总会带给我们更多的未知。
未来也是不可约的，我们应该享受这个未知/不确定性，而不是享受结论/确定性。
苹果在2007年推出iPhone时，许多行业专家预测它不会成功。他们直接把 iPhone 类比成Macintosh 个人电脑，会因为跟 PC + wintel 组合的价格竞争而无利可图。站在 08年，用智能手机与旧的个人电脑业务进行类比，看上去非常符合逻辑。
同样的错误也出现在桌面互联网跟移动互联网的类比，vr/ar 跟智能手机的类比。这还是同一个品类的类比，就出现了如此多的错误。
何况是大模型这个人类历史上从未出现过的品类，人工智能还算是科幻作品能够想象出来的发明，至于区块链/btc 这类科幻作品都写不出来的发明，拿什么去类比呢？在互联网真的普及之前，adwords 这种商业模式你用什么类比能预测呢？免费这种商业模式你用什么类比能预测呢？
大部分中国投资人，特别喜欢用后视镜进行定性/类比，特别无法接受未知，一定要在一个早期时间点下论断/结论/预测。要不然就会焦虑，个人觉得可能是中国历史的强规律感外加应试教育的标准答案导致的吧。
计算是不可约的，这是wolfram 的核心观点，我们永远无法找到描述系统中将要发生的事情的“公式”或“快捷方式”——因为这些系统在计算上是不可约的。任何复杂系统本质上都是没有公式、没有理论、没有捷径、不可概括、不可预测的。要知道发生了什么，得遍历所有过程，我们不能指望找到一个“简单的叙述”来“说明为什么会发生某事”。我们可能找到一些局部规律，但每个局部规律的发现，总会带给我们更多的未知。
未来也是不可约的，我们应该享受这个未知/不确定性，而不是享受结论/确定性。
发现一个很有意思的应用 Simply News，它会使用 Agents 查找特定领域的新闻内容自动生成播客。#ai#
相对于 AI 生成视频，现在来看自动个生成对应播客的技术可能更成熟，最近也看到了很多探索，比如 Perplexity 也有个类似的播客。
他们的 Agents 主要由四部分组成：
The Sorter：扫描大量新闻源，根据文章的相关性和对播客类别的重要性进行筛选。
The Pitcher：为每篇筛选出的文章制作引人入胜的提案，考虑文章呈现的叙事角度。
The Judge：评估提案并做出编辑决定，选择哪些应该被报道。
The Scripter：为Judge选中的文章草拟吸引人的脚本，确保听众能清晰、准确地理解。 歸藏的AI工具箱的微博视频
相对于 AI 生成视频，现在来看自动个生成对应播客的技术可能更成熟，最近也看到了很多探索，比如 Perplexity 也有个类似的播客。
他们的 Agents 主要由四部分组成：
The Sorter：扫描大量新闻源，根据文章的相关性和对播客类别的重要性进行筛选。
The Pitcher：为每篇筛选出的文章制作引人入胜的提案，考虑文章呈现的叙事角度。
The Judge：评估提案并做出编辑决定，选择哪些应该被报道。
The Scripter：为Judge选中的文章草拟吸引人的脚本，确保听众能清晰、准确地理解。 歸藏的AI工具箱的微博视频
