关于AIGC人工智能、思维方式、知识拓展,能力提升等。投稿/合作: @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
Midjoureny 的角色一致性功能将会在本周推出,本来计划上周五但出了点问题。可以根据权重不同决定角色不同部分的相似度,角色一致性初期不会允许外部图像,后面会考虑。#ai#

同时上周六某个使用 Stability 邮箱的账号尝试批量爬取 MJ 所有的图片和提示词导致了服务器长时间瘫痪,三方 API 需要注意,可能会被打击。

其他信息:

即将推出随机风格生成器方便探索风格;
Turbo 模式可能今天推出;
V7 会在最近两周开始训练;
Contorlnet 依然没有进度;
考虑在 X 推出每日主题挑战;
3D 项目缺少数据,进度缓慢。

来源:网页链接
一个可以帮助开发者利用 Claude 3 优化代码问题的提示词,中文翻译只是为了理解,还是建议用英文提示。微博的朋友们见谅,由于微博的脑瘫话题匹配机制,markdown里面的【#】 会被判断为话题。

--------------提示词翻译--------------

你是加速代码运行的世界级专家。你将利用一切可能的资源来实现这一目标。

首先,针对一段给定的代码,向我解释这段代码的运作原理。

然后,对代码的每个部分进行运行时间分析,估算其运行所需时间。

接着,找出哪些部分是提速的关键点。

之后,制作一个“影响力”与“复杂度”双轴的表格。对于每一个提速点,评估提升速度的复杂程度以及可能带来的速度影响程度。

然后,根据评估结果对这些提速点进行排序。

选取排名最高的提速点,更详细地解释如何重写代码来提高效率。随后,重写实际的代码段。完成后,检查新编写的代码是否存在问题。如果有,继续下一个步骤。如果没有,重新编写代码以解决这些问题。

接下来,对排名第二的提速点进行类似的详细解释和代码重写。然后,检查新编写的代码是否存在问题。如果有,继续下一个步骤。如果没有,重新编写代码以解决这些问题。

对排名第三的提速点也执行同样的步骤。

最后,将所有的速度提升改进整合起来,重写整个代码。

你应该按以下格式回应:

## 解释:

$explanation

## 运行时间分析:

$runtime_analysis

## 提速关键点:

$candidates

## 影响力与复杂度表:

|提速点|影响力|复杂度|
|---|---|---|
|$candidate_table|||

## 按评估排名的提速点:

$ordered_candidates

## 排名最高提速点的详细解释和代码重写:

# 解释

$top_candidate_explanation

# 代码重写

$top_candidate_code

# 新代码中的问题:_(仅在存在问题时包含此部分)_

$top_candidate_issues

# 代码重写,第二次尝试:_(仅在问题存在时包含)_

$top_candidate_code_try2

## 排名第二的提速点的详细解释和代码重写:

# 解释

$second_candidate_explanation

# 代码重写

$second_candidate_code

# 新代码中的问题:_(仅在存在问题时包含此部分)_

$second_candidate_issues

# 代码重写,第二次尝试:_(仅在问题存在时包含)_

$second_candidate_code_try2

## 排名第三的提速点的详细解释和代码重写:

# 解释

$third_candidate_explanation

# 代码重写

$third_candidate_code

# 新代码中的问题:_(仅在存在问题时包含此部分)_

$third_candidate_issues

# 代码重写,第二次尝试:_(仅在问题存在时包含)_

$third_candidate_code_try2

## 整体代码重写,包含所有速度改进:

## $full_code_rewrite

--------------提示词原文--------------

You are a world expert in making code run faster. You use any resource you can to do so. Given some code, first, explain how the code works to me. Next, for each part of the code, identify how long it might take to run. After that, identify which parts are key candidates to speed up. Then, make a table with axes 'Impact' and 'Complexity'. For each of the candidates, rank how complex it will be to speed it up and how much of a speed impact it could have. After that, order the candidates by ranking. Take the top-ranked candidate and explain in more detail how to rewrite the code to be faster. Then, rewrite the actual code. After you've done that, determine if there are issues with the new code you wrote. If so, move on. Otherwise, rewrite the code again to fix them. Next, take the second-highest-ranked candidate and explain in more detail how to rewrite the code to be faster. Then, rewrite the actual code. After you've done that, determine if there are issues with the new code you wrote. If so, move on. Otherwise, rewrite the code again to fix them. Then do the same for the third-highest-ranked candidate. Finally, rewrite the code in full with all of the speed improvements incorporated. Here is the format you should respond in: ## Explanation: $explanation ## Runtime Analysis: $runtime_analysis ## Key Candidates for Speed Up: $candidates ## Impact and Complexity Table: | Candidate | Impact | Complexity | | --------- | ------ | ---------- | $candidate_table ## Candidates Ordered by Ranking: $ordered_candidates ## Detailed Explanation and Code Rewrite for Top Candidate: # Explanation $top_candidate_explanation # Code Rewrite $top_candidate_code # Issues with New Code: *(include this section only if they exist)* $top_candidate_issues # Code Rewrite, Try 2: *(include this section only if issues exist)* $top_candidate_code_try2 ## Detailed Explanation and Code Rewrite for Second-Highest Candidate: # Explanation $second_candidate_explanation # Code Rewrite $second_candidate_code # Issues with New Code: *(include this section only if issues exist)* $second_candidate_issues # Code Rewrite, Try 2: *(include this section only if issues exist)* $second_candidate_code_try2 ## Detailed Explanation and Code Rewrite for Third-Highest Candidate: # Explanation $third_candidate_explanation # Code Rewrite $third_candidate_code # Issues with New Code: *(include this section only if issues exist)* $third_candidate_issues # Code Rewrite, Try 2: *(include this section only if issues exist)* $third_candidate_code_try2 ## Full Code Rewrite with Speed Improvements: $full_code_rewrite ---

来源:网页链接
新质生产力,带飞优必选

2024年上半年,人形机器人市场将迎来一大波新产品和新品牌,谁有更先进的技术,谁就更有望从资本市场拿到资金,谁就能走得更远。至于优必选,政策的风已经吹过来,接下来就是考验经营能力了。
一个使用Gradio客户端将Huggingface空间作为API的教程。我翻译了一下,感兴趣可以看看。#ai#

来源:网页链接歸藏的AI工具箱的微博视频
今天解锁了Claude的新使用场景:将一场周例会的录音asr之后发给Claude让它生成会议纪要和todo项。

一句话评价:比最好的实习生总结的还要好。

然后把结果转发给小美听写(公司内部会议录音软件)的PM,她看到了Claude输出的内容直呼卧槽。按她的说法:总结会上全讲了什么很容易,知道哪部分是重点哪部分不是重点很难,准确地整理好todo项非常难(gpt4和大部分实习生都做不好),而Claude的表现真的堪称完美。

顺便我俩一起感慨了一下,这几个月做了很多prompt engineering的工作,在更强大的模型面前不值一提。

评论区可以留言还有哪些场景想测试Claude opus的能力。
零一万物发布 Yi-9B 大语言模型,在代码、数学、常识推理和阅读理解方面表现出色。接受 3 万亿Token培训。英汉双语。#ai#

这里下载模型:网页链接
将@张小珺 采访杨植麟和朱啸虎的两篇文章喂给Google的Gemini 1.5 Pro,它总结出了对11件事情的不同看法,仅供参考😊
FnqRm9SNj7_SIHU6djAk2okk0GIQv3.jpg
1.3 MB
Reddit 上的一个帖子,很厉害,利用简陋的 3D 模型动画和 Animatediff 生成 高度自定义的 2D 动画。#ai#

B 站前段时间胶囊计划有个片子也是类似的处理方式。

具体的工作流为:

将文本转化为3D效果: 由LumaLabs提供技术支持

背景设计: 使用ComfyUI和Photoshop的生成式填充功能

3D动画制作: 采用Mixamo和Blender工具

2D风格动画: 由ComfyUI提供支持

所有其他特效: 通过After Effects实现 歸藏的AI工具箱的微博视频
发现一个很有意思的应用 Simply News,它会使用 Agents 查找特定领域的新闻内容自动生成播客。

相对于 AI 生成视频,现在来看自动个生成对应播客的技术可能更成熟,最近也看到了很多探索,比如 Perplexity 也有个类似的播客。

他们的 Agents 主要由四部分组成:

The Sorter:扫描大量新闻源,根据文章的相关性和对播客类别的重要性进行筛选。

The Pitcher:为每篇筛选出的文章制作引人入胜的提案,考虑文章呈现的叙事角度。

The Judge:评估提案并做出编辑决定,选择哪些应该被报道。

The Scripter:为Judge选中的文章草拟吸引人的脚本,确保听众能清晰、准确地理解。

这里收听:https://www.simplynews.ai/
看完朱啸虎那篇新闻,不吐不快。Analogy 类比,其实在商业上是一种很容易出错的因果模型。

苹果在2007年推出iPhone时,许多行业专家预测它不会成功。他们直接把 iPhone 类比成Macintosh 个人电脑,会因为跟 PC + wintel 组合的价格竞争而无利可图。站在 08年,用智能手机与旧的个人电脑业务进行类比,看上去非常符合逻辑。

同样的错误也出现在桌面互联网跟移动互联网的类比,vr/ar 跟智能手机的类比。这还是同一个品类的类比,就出现了如此多的错误。

何况是大模型这个人类历史上从未出现过的品类,人工智能还算是科幻作品能够想象出来的发明,至于区块链/btc 这类科幻作品都写不出来的发明,拿什么去类比呢?在互联网真的普及之前,adwords 这种商业模式你用什么类比能预测呢?免费这种商业模式你用什么类比能预测呢?

大部分中国投资人,特别喜欢用后视镜进行定性/类比,特别无法接受未知,一定要在一个早期时间点下论断/结论/预测。要不然就会焦虑,个人觉得可能是中国历史的强规律感外加应试教育的标准答案导致的吧。

计算是不可约的,这是wolfram 的核心观点,我们永远无法找到描述系统中将要发生的事情的“公式”或“快捷方式”——因为这些系统在计算上是不可约的。任何复杂系统本质上都是没有公式、没有理论、没有捷径、不可概括、不可预测的。要知道发生了什么,得遍历所有过程,我们不能指望找到一个“简单的叙述”来“说明为什么会发生某事”。我们可能找到一些局部规律,但每个局部规律的发现,总会带给我们更多的未知。

未来也是不可约的,我们应该享受这个未知/不确定性,而不是享受结论/确定性。
发现一个很有意思的应用 Simply News,它会使用 Agents 查找特定领域的新闻内容自动生成播客。#ai#

相对于 AI 生成视频,现在来看自动个生成对应播客的技术可能更成熟,最近也看到了很多探索,比如 Perplexity 也有个类似的播客。

他们的 Agents 主要由四部分组成:

The Sorter:扫描大量新闻源,根据文章的相关性和对播客类别的重要性进行筛选。

The Pitcher:为每篇筛选出的文章制作引人入胜的提案,考虑文章呈现的叙事角度。

The Judge:评估提案并做出编辑决定,选择哪些应该被报道。

The Scripter:为Judge选中的文章草拟吸引人的脚本,确保听众能清晰、准确地理解。 歸藏的AI工具箱的微博视频
Anthropic AI 官方工作人员发布了对 Claude 3 系统提示每部分的详细解释。#ai##claude3#

我做了张对照的长图帮大家学一下 LLM 的系统提示词应该怎么写,包含哪些内容。
忍不住再推荐一次 Layer Diffusion,直接生成 PNG 素材真的对设计师太太太友好了~~~~~甚至能直接生成发丝和透明玻璃杯!

这工作流兼容 SDXL 系列的所有模型和 Lora,我用的模型是 DreamshaperXL Turbo,4~8步就能生成效果很好的素材,直接把生成速度压缩到秒级,见图1。

插件安装和部署:https://github.com/huchenlei/ComfyUI-layerdiffusion
DreamShaper XL 下载:https://civitai.com/models/112902/dreamshaper-xl

最近和@海辛Hyacinth 做的鸡尾酒单就是用它来加的装饰素材(https://m.okjike.com/originalPosts/65e34fee38849f879fc12483?s=ewoidSI6ICI2MzkwNTUwZTljMzFjOGZjMWM3NzIyMzIiCn0=)

☁️

你甚至可以把整个流程反过来 —— 给现成的 PNG 素材生成背景,工作流见图7。 这简直是所有产品展示场景的刚需!

☁️

最后补充一个冷知识:Layer Diffusion 的作者之一就是 Controlnet 的作者 Lvmin Zhang~!

谢谢,不愧是你!

#AI绘画
AI探索指南
微软和 Deepmind 的一篇论文探讨利用 LLM 从设计生成代码,这个实践经验对想做相关 Design2Code 工具的很有参考性。#ai# 我整理了一下里面对我们自己通过 LLM 生成代码可能有用的提示词和经验。感兴趣可以看看。 他们发现第一次生成的网页通常质量不太行,但是第二次增强提示之后 GPT-4V 生成网页代码质量明显变好,下面是对应提示词。 第一次代码生成提示词: 假设你是一位精通HTML和CSS的网页开发专家。当用户提供一张网页的截图给你时,你的任务是创建一个HTML文件。这个文…
◆使用真实世界的网页内容来训练开放源代码的多模态大语言模型。我们的初步实验表明,直接在真实的网页上进行训练存在挑战,因为这些网页往往内容繁杂、数据杂乱。未来的研究可能会探索数据清洗和优化的方法,以实现更稳定有效的训练过程。

◆超越传统的截图输入方式,例如,尝试使用前端设计师的Figma框架或手绘草图作为测试输入。这种方法的扩展还需要我们仔细地重新设计评估体系。

◆将研究范围从静态网页扩展到动态网页。这意味着评估过程需要考虑网页的交互功能,而不仅仅是视觉效果的相似性。

项目地址:网页链接
Back to Top