关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
我们至今仍未知道在人才流动性高度通畅的硅谷OpenAI是怎么做到如此断层领先的，要说屯人屯钱屯资源，谷歌脸书亚马逊都不可能比不过它，甚至按照估值来算的话，谷歌一年的利润（注意，还不是收入）就可以买下OpenAI了，但还是挡不住屡次被OpenAI截胡。
目前来看，OpenAI确实是距离AGI最近的那家公司，它的产品泛用性太高了，就像很多精调之后的垂直模型都宣称能在某个细分题库里打败GPT-4，这是事实吗，是的，但这种定向刷分行为没有意义，最后体验下来，还是只有ChatGPT能够全程跟用户说人话。
再比如我依然认为Midjourney的出图艺术性是独一档的，但DALL·E-3很明显训练方向和旨在临摹画师的Midjourney是不一样的，它更遵从文字逻辑，用朴实但准确的绘制反映AI理解的世界图景，所以在生产力上，它不如Midjourney有价值，却很适合搭在ChatGPT里去完善能力，够用就行，而且经济普惠。
Sora还没用上，不过目测也会强在泛用性，两步抽卡的图转视频模式以后的市场会越来越小了——先在出图时抽卡，再去转视频抽卡，容错率太低了——越来越多的AI视频产品也都不接受第三方的图片了，没办法，因为没有介入图片的生产环节，需要重新对图片进行理解再去转化，这条路走歪了。
要么像是Sora这样，直接合并抽卡次数，用文本逻辑一次性生成视频，保持成本足够低，就一定能建立飞轮，要么和Midjourney的尝试方向一样，做封闭式的生态，发挥图片训练的优势去外延视频，而Runway和Pika这样来者不拒的视频工具，确实会压力巨大，很难维持付费规模。
多扯一点，字节跳动直接把抖音的CEO调去管剪映，是真的果断，年度大会上梁茹波刚反省了公司内部的技术讨论直到2023年才有GPT相关议题，没过几天核心产品的一把手就直接去负责一款工具产品，这样的执行效率在大公司里委实不多见，而Sora的王炸反应，又及时的证明了字节跳动还真不是杯弓蛇影，前瞻性拉满了。
2024年，会很精彩。当然了，英伟达也会继续赢麻⋯⋯
目前来看，OpenAI确实是距离AGI最近的那家公司，它的产品泛用性太高了，就像很多精调之后的垂直模型都宣称能在某个细分题库里打败GPT-4，这是事实吗，是的，但这种定向刷分行为没有意义，最后体验下来，还是只有ChatGPT能够全程跟用户说人话。
再比如我依然认为Midjourney的出图艺术性是独一档的，但DALL·E-3很明显训练方向和旨在临摹画师的Midjourney是不一样的，它更遵从文字逻辑，用朴实但准确的绘制反映AI理解的世界图景，所以在生产力上，它不如Midjourney有价值，却很适合搭在ChatGPT里去完善能力，够用就行，而且经济普惠。
Sora还没用上，不过目测也会强在泛用性，两步抽卡的图转视频模式以后的市场会越来越小了——先在出图时抽卡，再去转视频抽卡，容错率太低了——越来越多的AI视频产品也都不接受第三方的图片了，没办法，因为没有介入图片的生产环节，需要重新对图片进行理解再去转化，这条路走歪了。
要么像是Sora这样，直接合并抽卡次数，用文本逻辑一次性生成视频，保持成本足够低，就一定能建立飞轮，要么和Midjourney的尝试方向一样，做封闭式的生态，发挥图片训练的优势去外延视频，而Runway和Pika这样来者不拒的视频工具，确实会压力巨大，很难维持付费规模。
多扯一点，字节跳动直接把抖音的CEO调去管剪映，是真的果断，年度大会上梁茹波刚反省了公司内部的技术讨论直到2023年才有GPT相关议题，没过几天核心产品的一把手就直接去负责一款工具产品，这样的执行效率在大公司里委实不多见，而Sora的王炸反应，又及时的证明了字节跳动还真不是杯弓蛇影，前瞻性拉满了。
2024年，会很精彩。当然了，英伟达也会继续赢麻⋯⋯
可扩展性是DiT论文的核心主题。首先，经过优化的DiT在每Flop的实际运行时间上比UNet要快得多。更重要的是，Sora证明了DiT的扩展法则不仅适用于图像，现在也适用于视频——Sora复制了在DiT中观察到的视觉扩展行为。
👀猜测：在Sora报告中，第一个视频的质量相当差，我怀疑它使用的是基础模型尺寸。粗略计算一下：DiT XL/2的GFLOPs是B/2模型的5倍，所以最终16倍计算模型可能是3倍DiT-XL模型的大小，这意味着Sora可能有约3亿参数——如果这是真的，这并非一个不合理的模型大小。这可能意味着，训练Sora模型可能不需要像人们预期的那样多的GPU——我预计未来的迭代速度会非常快。
关键的收获来自于“新兴模拟能力”部分。在Sora出现之前，人们不清楚是否可以自然形成长篇连贯性，或者是否需要复杂的以主题为导向的生成流程，甚至物理模拟器。OpenAI已经证明，尽管不完美，但这些行为可以通过端到端训练来实现。然而，有两个关键点尚未被讨论。
1. 训练数据：关于训练数据的来源和构建完全没有提及，这可能意味着数据很可能是Sora成功的关键因素。
👀猜测：关于来自游戏引擎的数据已有许多猜测。我也预计可能会包括电影、纪录片、电影长镜头等。质量非常重要。我非常好奇Sora从哪里获取这些数据的（肯定不仅仅是YouTube，对吧？）。
2.（自回归的）长视频生成：Sora的一大突破是能够生成非常长的视频。制作2秒视频和1分钟视频之间的差异是巨大的。 在Sora中，这可能是通过联合帧预测实现的，允许自回归采样，但一个主要的挑战是如何解决错误累积，并在时间上保持质量和一致性。是需要一个非常长的（并且是双向的）上下文来进行条件化？还是说仅仅通过扩大规模就可以减少问题？这些技术细节可能非常重要，希望未来能够被逐渐揭示。
扩散变换器（DiT）在Sora中的应用效果非常出色。我们纽约大学的团队最近发布了一款新的DiT模型，名为SiT。它保持了与DiT完全相同的架构，但在性能上有所提升，收敛速度更快。我对它在视频生成方面的表现也非常感兴趣！
DiT论文地址：网页链接
👀猜测：在Sora报告中，第一个视频的质量相当差，我怀疑它使用的是基础模型尺寸。粗略计算一下：DiT XL/2的GFLOPs是B/2模型的5倍，所以最终16倍计算模型可能是3倍DiT-XL模型的大小，这意味着Sora可能有约3亿参数——如果这是真的，这并非一个不合理的模型大小。这可能意味着，训练Sora模型可能不需要像人们预期的那样多的GPU——我预计未来的迭代速度会非常快。
关键的收获来自于“新兴模拟能力”部分。在Sora出现之前，人们不清楚是否可以自然形成长篇连贯性，或者是否需要复杂的以主题为导向的生成流程，甚至物理模拟器。OpenAI已经证明，尽管不完美，但这些行为可以通过端到端训练来实现。然而，有两个关键点尚未被讨论。
1. 训练数据：关于训练数据的来源和构建完全没有提及，这可能意味着数据很可能是Sora成功的关键因素。
👀猜测：关于来自游戏引擎的数据已有许多猜测。我也预计可能会包括电影、纪录片、电影长镜头等。质量非常重要。我非常好奇Sora从哪里获取这些数据的（肯定不仅仅是YouTube，对吧？）。
2.（自回归的）长视频生成：Sora的一大突破是能够生成非常长的视频。制作2秒视频和1分钟视频之间的差异是巨大的。 在Sora中，这可能是通过联合帧预测实现的，允许自回归采样，但一个主要的挑战是如何解决错误累积，并在时间上保持质量和一致性。是需要一个非常长的（并且是双向的）上下文来进行条件化？还是说仅仅通过扩大规模就可以减少问题？这些技术细节可能非常重要，希望未来能够被逐渐揭示。
扩散变换器（DiT）在Sora中的应用效果非常出色。我们纽约大学的团队最近发布了一款新的DiT模型，名为SiT。它保持了与DiT完全相同的架构，但在性能上有所提升，收敛速度更快。我对它在视频生成方面的表现也非常感兴趣！
DiT论文地址：网页链接
这个老哥可能是除了这篇论文的另一个作者（现在在Open AI工作）之外最懂Diffusion Transformer的人了，非常值得关注。
有趣的是这篇论文曾经在2023年的计算机视觉会议(CVR2023)上因“缺少创新性”而遭到拒绝，短短一年时间就变成了Sora这怪物模型的理论基础。
-------------正文开始-------------
以下是我对Sora技术报告的解读，其中包含了一些可能并不准确的猜测。首先，我非常感谢团队分享了极为有价值的见解和设计决策——Sora确实令人惊叹，它将彻底改变视频生成领域。
我们目前所了解到的情况如下：
架构：Sora基于我们的扩散变换器（Diffusion Transformer，简称DiT）模型构建，该模型已发表在2023年国际计算机视觉会议（ICCV 2023）上。简单来说，它是一个结合了变换器（Transformer）主干的扩散模型： DiT = [变分自编码器（VAE）编码器 + 视觉变换器（ViT）+ 去噪扩散概率模型（DDPM）+ VAE解码器]。 根据报告，这个模型似乎没有太多额外的复杂设计。
“视频压缩网络”：这看起来就像是一个在原始视频数据上训练的变分自编码器（VAE）。在实现良好的时间一致性方面，标记化（Tokenization）可能扮演着关键角色。顺便提一下，VAE本质上是一个卷积网络，所以从技术上说，DiT实际上是一个混合模型。 ;)
当Bill和我参与DiT项目时，我们并未专注于创新（详见我之前的推特🤷♂️），而是将重点放在了两个方面：简洁性和可扩展性。这些优先事项带来的不仅仅是概念上的优势。
简洁性代表着灵活性。关于标准的视觉变换器（ViT），人们常忽视的一个亮点是，它让模型在处理输入数据时变得更加灵活。例如，在遮蔽自编码器（MAE）中，ViT帮助我们只处理可见的区块，忽略被遮蔽的部分。同样，Sora可以通过在适当大小的网格中排列随机初始化的区块来控制生成视频的尺寸。而UNet并不直接提供这种灵活性。
👀猜测：Sora可能还使用了Google的Patch n’ Pack（NaViT）技术，使DiT能够适应不同的分辨率、持续时间和长宽比。
突然发现Midjourney的alpha网站已经更新了局部重绘和更改图片比例的功能，交互还非常舒服。#ai画图#
这下网站终于可以完全替代Discord了。我现在90的画图工作已经都在网站上了。 歸藏的AI工具箱的微博视频
这下网站终于可以完全替代Discord了。我现在90的画图工作已经都在网站上了。 歸藏的AI工具箱的微博视频
关于 Sora 的十个赚钱方法：
1、售卖Sora账号或邀请码：利用Sora的早期访问限制，通过售卖账号或邀请码来获利。
2、售卖高质量的视频生成提示（prompt）：在专门的平台上出售精心设计的prompt，帮助用户生成更好的视频。
3、制作/代生成AI视频：为那些不愿意自己操作AI工具的用户代生成视频，或者为有定制需求的用户提供服务。
4、使用Sora生成视频做自媒体：利用Sora生成的视频内容，发布到自媒体平台如抖音、快手等，吸引流量和粉丝。
5、上传Sora生成的视频到素材网站：将生成的视频上传到素材交易网站，通过销售视频素材获利。
6、知识付费，制作Sora使用教程：制作关于Sora的教程或课程，通过知识付费方式赚钱。
7、围绕Sora的电商生意：在电商平台上销售与Sora相关的工具、教程或课程，利用精准用户群体。
8、开发Sora相关的网站或工具：对于有技术背景的人，可以开发与Sora相关的网站或工具，如导航网站或AI写真工具。
9、AI小说推文：利用Sora生成视频内容，用于AI小说推文，可能会成为新的盈利点。
10、直播带货推广Sora相关产品：通过直播方式推广Sora或其他相关付费产品，帮助他人销售并从中获利。
这些机会涵盖了从直接销售账号、提供生成服务、内容创作、知识分享到电商平台销售等多个方面，为不同背景和技能的人提供了多样化的盈利途径。
1、售卖Sora账号或邀请码：利用Sora的早期访问限制，通过售卖账号或邀请码来获利。
2、售卖高质量的视频生成提示（prompt）：在专门的平台上出售精心设计的prompt，帮助用户生成更好的视频。
3、制作/代生成AI视频：为那些不愿意自己操作AI工具的用户代生成视频，或者为有定制需求的用户提供服务。
4、使用Sora生成视频做自媒体：利用Sora生成的视频内容，发布到自媒体平台如抖音、快手等，吸引流量和粉丝。
5、上传Sora生成的视频到素材网站：将生成的视频上传到素材交易网站，通过销售视频素材获利。
6、知识付费，制作Sora使用教程：制作关于Sora的教程或课程，通过知识付费方式赚钱。
7、围绕Sora的电商生意：在电商平台上销售与Sora相关的工具、教程或课程，利用精准用户群体。
8、开发Sora相关的网站或工具：对于有技术背景的人，可以开发与Sora相关的网站或工具，如导航网站或AI写真工具。
9、AI小说推文：利用Sora生成视频内容，用于AI小说推文，可能会成为新的盈利点。
10、直播带货推广Sora相关产品：通过直播方式推广Sora或其他相关付费产品，帮助他人销售并从中获利。
这些机会涵盖了从直接销售账号、提供生成服务、内容创作、知识分享到电商平台销售等多个方面，为不同背景和技能的人提供了多样化的盈利途径。
看关于Sora 乱七八糟所谓科普和解读（包括我发的）都不如仔仔细细的再看一遍技术报告和项目页面，包括所有演示视频的表现。#ai#
《Sora爆火，普通人的10个赚钱机会。》
去年我们都知道是ai绘图的爆发年，mj和sd在国内爆火。
如果你没有赶上，那么ai视频这波可以快速切入。
那么对于普通人来说，这波sora的ai视频有哪些赚钱的机会可以早点切入呢？
1、售卖Sora账号或者邀请码
做过ai相关生意的朋友都知道，第一波最大的流量就是用上工具。
无论是ai绘图还是ai视频工具，你得先用上了才能考虑其他事情。
而且ai视频的生成成本很明显是不低的。
所以第一波好生意一定是在账号的交易上。
甚至早期不一定直接开放，而是需要邀请码。
2、售卖高质量的视频生成prompt
prompt对于接触过ai的人来说应该都不陌生。
一个好的prompt还是非常容易在一些prompt交易平台上售出的。
之前的ai绘画就有类似的交易平台，比如promptbase、prompthero。
上传你的咒语到平台，填写价格等信息即可。
3、制作/代生成ai视频
这个分两种用户。一种是尝鲜的用户，可能并不想自己去注册、研究ai视频，所以可以帮忙代生成。
另一种则是有定制化需求的用户，需要使用类似Sora这样的工具来生成ai视频素材。
当然，这个就依赖于你能否剪辑出一些具有独特风格的短视频内容，在社交平台吸引你的意向客户。
4、使用Sora生成的视频，做个人的自媒体账号
如果你是一个短视频，或者自媒体从业者。
那么你可以优先考虑，直接用sora生成短视频，然后发布到你的自媒体账号上。
国内的平台，比如抖音、快手、视频号、小红书、b站。
这些都是流量比较好的平台。
尤其是像小红书、视频号这样不那么内卷的平台。
比如今天我们有些朋友就已经开始用一些能找到的sora素材，开始发到视频号上，流量都还不错。
当然，长期来看，如果你想靠自媒体的流量进行转化变现，还是和上一条一样，需要形成自己独特的ai视频风格。
比如去年爆火的几类ai视频风格有复活ai名人进行访谈、宠物视频、二次元动漫混剪、电影混剪等等。
名人、宠物、大ip都是好的创作方向。
5、上传Sora生成的视频到各大素材网站赚钱。
国内类似的短视频素材交易网站也有很多。
当然，这类的赚钱方式相对来说比较短，平台不可能任由用户上传大量的ai短视频来薅羊毛的。
所以，这类方式的行动要快。
6、知识付费，制作Sora相关的使用教程
过去一年里，ai领域最经典的好生意就是知识付费，卖课、卖社群。
无论你是写一篇sora的文章，还是一系列的教程，或者一系列的课程视频。
这些都是比较好的知识付费产品。
光是今天一天，就出了好几篇sora相关的爆文，有大几百万的人对sora感兴趣。
所以，关于sora的知识付费教程，后续是肯定不会缺少用户买单的。
7、做电商，围绕sora相关的搜索词做生意。
很多人容易遗漏掉电商平台用户的精准性。
无论是主流的电商平台，比如某宝、某东、某多多。
还是类似某鱼、某转这样的平台，ai相关的精准付费用户是很多的。
所以，任何一个ai相关的需求出现，这些电商平台上就会出现好生意。
这些平台上无论是卖工具、卖教程还是卖课程，都非常多。
所以，盯紧电商平台关于sora的关键词，准没有错。
8、做套壳的sora网站、工具等产品。
这个对于普通人来说门槛有点高，但还是挺适合一些程序猿、产品经理等互联网从业者的。
比如去年ai绘图爆火后，做的比较好的ai绘图产品、导航网站。
还有类似妙鸭这种ai写真工具，都吃到了比较大的红利。
9、用sora做ai小说推文
如果说去年的ai小说推文还是集中在ai图片领域，那么今年，ai小说推文很可能直接跨越到ai视频。
去年这块爆款很多，赚到钱的也有，但是实际上做过的人都知道花费的精力不少，今年这块很可能还会爆发一次。
10、直播带货，帮忙推广sora相关的付费产品
对于没有产品制作能力的朋友，其实可以考虑通过直播进行售卖。
核心就在于，短视频的生成天然吸引用户的注意力。
比如去年很多runway的介绍直播间，流量都很高，但是因为不具备实际的应用场景，所以付费率不高，但是sora很明显更加成熟。
所以，如果你没有做产品的能力，可以考虑帮助别人推广。
无论如何，我们都知道一件事，这是短视频从业者最坏的年代，也是最好的年代
去年我们都知道是ai绘图的爆发年，mj和sd在国内爆火。
如果你没有赶上，那么ai视频这波可以快速切入。
那么对于普通人来说，这波sora的ai视频有哪些赚钱的机会可以早点切入呢？
1、售卖Sora账号或者邀请码
做过ai相关生意的朋友都知道，第一波最大的流量就是用上工具。
无论是ai绘图还是ai视频工具，你得先用上了才能考虑其他事情。
而且ai视频的生成成本很明显是不低的。
所以第一波好生意一定是在账号的交易上。
甚至早期不一定直接开放，而是需要邀请码。
2、售卖高质量的视频生成prompt
prompt对于接触过ai的人来说应该都不陌生。
一个好的prompt还是非常容易在一些prompt交易平台上售出的。
之前的ai绘画就有类似的交易平台，比如promptbase、prompthero。
上传你的咒语到平台，填写价格等信息即可。
3、制作/代生成ai视频
这个分两种用户。一种是尝鲜的用户，可能并不想自己去注册、研究ai视频，所以可以帮忙代生成。
另一种则是有定制化需求的用户，需要使用类似Sora这样的工具来生成ai视频素材。
当然，这个就依赖于你能否剪辑出一些具有独特风格的短视频内容，在社交平台吸引你的意向客户。
4、使用Sora生成的视频，做个人的自媒体账号
如果你是一个短视频，或者自媒体从业者。
那么你可以优先考虑，直接用sora生成短视频，然后发布到你的自媒体账号上。
国内的平台，比如抖音、快手、视频号、小红书、b站。
这些都是流量比较好的平台。
尤其是像小红书、视频号这样不那么内卷的平台。
比如今天我们有些朋友就已经开始用一些能找到的sora素材，开始发到视频号上，流量都还不错。
当然，长期来看，如果你想靠自媒体的流量进行转化变现，还是和上一条一样，需要形成自己独特的ai视频风格。
比如去年爆火的几类ai视频风格有复活ai名人进行访谈、宠物视频、二次元动漫混剪、电影混剪等等。
名人、宠物、大ip都是好的创作方向。
5、上传Sora生成的视频到各大素材网站赚钱。
国内类似的短视频素材交易网站也有很多。
当然，这类的赚钱方式相对来说比较短，平台不可能任由用户上传大量的ai短视频来薅羊毛的。
所以，这类方式的行动要快。
6、知识付费，制作Sora相关的使用教程
过去一年里，ai领域最经典的好生意就是知识付费，卖课、卖社群。
无论你是写一篇sora的文章，还是一系列的教程，或者一系列的课程视频。
这些都是比较好的知识付费产品。
光是今天一天，就出了好几篇sora相关的爆文，有大几百万的人对sora感兴趣。
所以，关于sora的知识付费教程，后续是肯定不会缺少用户买单的。
7、做电商，围绕sora相关的搜索词做生意。
很多人容易遗漏掉电商平台用户的精准性。
无论是主流的电商平台，比如某宝、某东、某多多。
还是类似某鱼、某转这样的平台，ai相关的精准付费用户是很多的。
所以，任何一个ai相关的需求出现，这些电商平台上就会出现好生意。
这些平台上无论是卖工具、卖教程还是卖课程，都非常多。
所以，盯紧电商平台关于sora的关键词，准没有错。
8、做套壳的sora网站、工具等产品。
这个对于普通人来说门槛有点高，但还是挺适合一些程序猿、产品经理等互联网从业者的。
比如去年ai绘图爆火后，做的比较好的ai绘图产品、导航网站。
还有类似妙鸭这种ai写真工具，都吃到了比较大的红利。
9、用sora做ai小说推文
如果说去年的ai小说推文还是集中在ai图片领域，那么今年，ai小说推文很可能直接跨越到ai视频。
去年这块爆款很多，赚到钱的也有，但是实际上做过的人都知道花费的精力不少，今年这块很可能还会爆发一次。
10、直播带货，帮忙推广sora相关的付费产品
对于没有产品制作能力的朋友，其实可以考虑通过直播进行售卖。
核心就在于，短视频的生成天然吸引用户的注意力。
比如去年很多runway的介绍直播间，流量都很高，但是因为不具备实际的应用场景，所以付费率不高，但是sora很明显更加成熟。
所以，如果你没有做产品的能力，可以考虑帮助别人推广。
无论如何，我们都知道一件事，这是短视频从业者最坏的年代，也是最好的年代
