AI探索指南

Stability AI 发布了他们最强的图片生成模型 Stable Diffusion 3 的技术报告，披露了 SD3 的更多细节。#ai##ai画图# 据他们所说，SD3 在排版质量、美学质量和提示词理解上超过了目前所有的开源模型和商业模型，是目前最强的图片生成模型。 技术报告要点如下： ◆根据人类偏好评估,SD3 在排版质量和对提示的理解程度上,均优于目前最先进的文本生成图像系统,例如 DALL·E 3、Midjourney v6 和 Ideogram v1。 ◆提出了新的多模态扩散 Transformer…

◆灵活的文本编码器：通过在推理阶段移除内存密集型的 T5 文本编码器 (参数量高达 47 亿),SD3 的内存占用可以大幅降低,而性能损失却很小。

详细介绍：网页链接

Stability AI 发布了他们最强的图片生成模型 Stable Diffusion 3 的技术报告，披露了 SD3 的更多细节。#ai##ai画图#

据他们所说，SD3 在排版质量、美学质量和提示词理解上超过了目前所有的开源模型和商业模型，是目前最强的图片生成模型。

技术报告要点如下：

◆根据人类偏好评估,SD3 在排版质量和对提示的理解程度上,均优于目前最先进的文本生成图像系统,例如 DALL·E 3、Midjourney v6 和 Ideogram v1。

◆提出了新的多模态扩散 Transformer (Multimodal Diffusion Transformer,简称 MMDiT) 架构,其使用独立的权重集分别表示图像和语言。与 SD3 的先前版本相比,该架构改善了系统对文本的理解能力和拼写能力。

◆SD3 8B 大小的模型可以在 GTX 4090 24G 显存上运行。

◆SD3 将发布多个参数规模不等的模型方便在消费级硬件上运行，参数规模从 800M 到 8B 。

◆SD3 架构以 Diffusion Transformer (简称"DiT",参见 Peebles & Xie,2023)为基础。鉴于文本嵌入和图像嵌入在概念上存在较大差异,我们为这两种模态使用了独立的权重集。

◆通过这种方法,信息得以在图像 Token 和文本 Token 之间流动,从而提高了模型生成结果的整体理解力和排版质量。我们在论文中还讨论了如何轻松地将这一架构扩展至视频等多模态场景。

◆SD3 采用了矫正流 (Rectified Flow,简称 RF) 的公式 (Liu et al.,2022;Albergo & Vanden-Eijnden,2022;Lipman et al.,2023),在训练过程中,数据和噪声被连接在一条线性轨迹上。这导致了更直的推理路径,从而可以使用更少的步骤进行采样。

◆扩展矫正流 Transformer 模型：使用重新加权的 RF 公式和 MMDiT 主干网络,对文本到图像的合成任务开展了模型扩展研究。我们训练了一系列模型,其规模从 15 个 。Transformer 块 (4.5 亿参数) 到 38 个块 (80 亿参数) 不等。

伴随 Claude 3 推出的还有一个提示词库，里面有Anthropic提供的非常多的示例提示词，方便开发者和用户尝试。#ai##claude3#

详情页还给出了对应提示词的示例回答和 API，可以去看看学一下 Claude 的提示词写法。

这里访问：网页链接

除了提示词库之外他们还更新了 Anthropic Cookbook 可以让你使用 Claude 3 新的能力的代码和提示词例子：#ai##claude3#

在Claude中使用图像：这本食谱提供了关于如何开始使用图像以及确保图像具有最高质量性能的最佳实践技巧。

自动评估：了解如何使用Claude来自动化提示评估过程。

启用 JSON 模式：通过这本快速简便的食谱，确保始终获得 JSON。

使用Claude创建内容审查过滤器：了解如何使用Claude为您的应用程序创建内容审查过滤器。

这里使用：网页链接

Stability AI 太惨了老是发消息被忽略，昨晚他们还跟Tripo AI 联合推出了 TripoSR 3D 生成模型，可以在不到 1 秒的时间里生成高质量的 3D 模型。#ai#

TripoSR的推理只需要极低的算力，甚至都不需要 GPU，极大的降低了生产成本。权重模型允许商业化使用。

性能：TripoSR可以在其他模型所需时间的一小部分时间内创建详细的3D模型。在Nvidia A100上进行测试时，它可以在大约0.5秒内生成初步质量的3D输出（纹理网格），表现优于其他开放的图像到3D模型，如OpenLRM。

技术细节：训练数据准备包括多种数据渲染技术，更贴近真实世界中图像的分布，显著提高了模型的泛化能力。精心策划了一个CC-BY，即Objaverse数据集的高质量子集，用于训练数据。在模型方面，还对基础LRM模型进行了多项技术改进，包括通道数优化、蒙版监督和更高效的裁剪渲染策略。

详细信息：网页链接歸藏的AI工具箱的微博视频

推理速度超级快的 Gorq API 现在所有人都可以申请，文档和 Playground 页面均已推出。#ai#

这里申请：网页链接

尝试了一下Dashtoon 这个 AI 漫画生成应用，发现做的挺成熟的，该有的功能都有，可以一次性生成也给了充分的编辑和自定义空间。

国内的很多小说视频还是手工用各种 AI 工具拼凑的阶段，可以借鉴一下这个产品的实现方式，是个机会。

他的人物一致性是通过内置的非常多人物 Lora 实现的，目前来看这确实是最稳定的方案。

具体的生成逻辑是你输入大概的故事描述，他会为你生成很多个场景描述，你修改确认之后就会根据文字场景描述生成图片和漫画的对话。

这里尝试：https://dashtoon.com

在 Claude 3 发布 AI 圈的狂欢中，Web 3 的朋友们也吃得饱饱的，BTC涨到了 67000。

[解读] 马斯克起诉Sam Altman、Greg Brockman及相关OpenAI公司实体

/imagine Donating to a non-profit whose asserted mission is to protect the Amzaon rainforest, but then the non-profit creates a for-proft Amazonian logging company that uses the fruits of the donations to clear the rainforest. That is the story of OpenAI, Inc.
马斯克起诉Sam、Greg及OAI，到底怎么回事？事情要从混乱善良的Musk创办中立善良的OpenAI, Inc.讲起...关于此案，整理了可能是全网最完整的complaint解读，万字长文带您了解始末。