关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
里面给了一下他自己的学习路径和学习渠道，感觉想要入门的都可以看看。
下面是总结的文章要点和全文翻译的链接。
1️⃣实用技能
如果你想进入AI领域，精通编程是首要任务。
大多数情况下，掌握数据处理技能是必不可少的。
能够辨别何时深入研究，何时采取快速简单的方案，是非常重要的技能。
2️⃣学习资源
书籍《深度学习》《机器学习的数学》
视频教程：fast ai 和 Karpathy 的视频课程
论文：RNN 注意力机制、Transformer、切换 Transformer、LoRA、视觉 Transformer、AdamW、GPT-2
Discord：Nous Research和EleutherAI
3️⃣学习要点
理解基础知识对于训练高效模型至关重要。
寻找并解决有趣的问题是提升你所构建系统影响力的最佳途径。
实际上，并不需要很多GPU资源。
详细的全文翻译：https://quail.ink/op7418/p/e5a682e4bd95e5bc80e5a78be6b7b1e5baa6e5ada6e4b9a0e79a84e69785e7a88b
P.S. 到目前为止看过的对 Diffusion 扩散思想的最好类比来自李宏毅老师的课程，他把扩散模型的去噪过程比作工匠雕刻石头的过程，“雕像本来就在石头里，米开朗基罗只是把不要的部分去掉”。某种程度上，这个减熵过程也颇像是逆转时间。
3Blue1Brown 刚出了 Transformer 的系列科普视频，做得很好。之前看过不少讲 Transformer 的课程和文章，包括李宏毅老师的课程在内，最后都陷在矩阵运算的过程里，几乎没有能把 K、Q、V三个矩阵的象征意义讲清楚的。3Blue1Brown通过自己最擅长的动画和类比，把这套 Attention 的原理讲得比较浅显和直白。
具体来说，“Attention 像是问每个 vector 一连串问题，然后根据这串问题的答案来更新自己。” Query 矩阵就像是在问："Are you in English?", “Are you a noun?”, "Do you refer to a person?", "Are you a number?", "Is your tone positive?" 等等，Key 矩阵就像是 vector 对这个问题的答案，而 Value 矩阵则代表向量自己根据这个答案和相关性权重进行的自我调整。整个过程有点像是物理中的受力分析，每个 Attention Head 代表一种力，通过 Q 和 K 找到所有施力的对象，再通过 V 来计算受力的大小， 最后，把多个 Attention Head 代表的多个力进行加总，计算出合力的方向和大小，作用在最后一个Vector上，从而指向 next embedding。之所以叫 transformer，就是指各个不同的力汇总在一起，将原本的 vector 扭曲到了一个新的方向上。
相比之前的 RNN、LSTM 之类的模型，Transformer 的强大在于其支持并发计算。细想之下，这种并行的自注意机制颠覆了语言中的时间观，顺序不再重要。这让我想起《你一生的故事》/ 《降临》里七肢桶的语言 - 把完整的生命在眼前一下子同时铺开，没有先后，没有早晚，没有时间。类似的，Sora 中的所谓 spacetime patches，索性把空间也和时间打包在一起，颇像是爱因斯坦相对论里对“时空”的理解。或许，所谓的时间、空间，其实都是伪概念，只不过是 tokens/patches 的一种分布方式而已。还挺有趣的。
人工智能有潜力在这些关键领域降低成本，使其更加可获得和负担得起。这些变化需要负责任地进行，以减少失业并推动就业创造。人工智能将使我们能够用更少的资源做更多的事情，但我们需要政府和私人努力来重新培训和赋能每个人。
人工智能被定位为改变我们社会中一些最关键领域的成本结构和提高生产力。它有潜力通过抽象化琐碎的工作，使我们能够将注意力集中在更重要的问题和更好的未来工具上，从而带来更好的教育、更健康的人口和更高效的人们。
2024年AI 50捕捉到了人工智能的广泛范围。该列表的应用比以往任何时候都更加通用，我们预计它在未来几年将在深度和广度上进一步扩展。2024年只是个开始。
全文：https://www.sequoiacap.com/article/ai-50-2024/
人工智能被定位为改变我们社会中一些最关键领域的成本结构和提高生产力。它有潜力通过抽象化琐碎的工作，使我们能够将注意力集中在更重要的问题和更好的未来工具上，从而带来更好的教育、更健康的人口和更高效的人们。
2024年AI 50捕捉到了人工智能的广泛范围。该列表的应用比以往任何时候都更加通用，我们预计它在未来几年将在深度和广度上进一步扩展。2024年只是个开始。
全文：https://www.sequoiacap.com/article/ai-50-2024/
下面是一些观察到的一些要点，基于这些判断未来的公司应该是什么样的，后半部分尤其值得关注：
1️⃣ 当前的趋势
突显了生成式人工智能如何提高企业和行业的生产力。企业通用生产力类别今年翻了一番，从四家公司增加到八家。
图像编辑器 Photoroom，视频生成应用程序 Pika 和游戏构建器 Rosebud 表明，消费者和半专业用户之间的界限在创意软件领域变得模糊。
行业垂直类别较少，但出现了一个新的工业领域。机器人领域的 Figure，工业维护领域的 Tractian 和自动驾驶领域的 Waabi 开始展示了人工智能软件与硬件的整合将如何改变物理世界的工作。
2023年对基础设施来说是一个强劲的年份，其中包括一些强大的新参与者，如Mistral，它是基础模型领域的主要竞争者。
2️⃣ 未来的公司应该是什么样的？
技术创新的前几波浪潮——网络、互联网和移动技术——主要是通信革命。人工智能承诺带来不同的东西——一场生产力革命，更类似于个人电脑，它塑造了商业和工业的未来。
随着越来越多的人工智能的发展，它们将开始作为人工智能网络一起工作。在过去的一年中，我们已经看到生成式人工智能不仅仅局限于简单的文本或代码生成，而是涉及到主动交互。
在这个生成式的未来中，公司的建设本身可能成为人工智能Agents的工作；而有一天，整个公司可能像神经网络一样运作。
公司的形成将变得更快、更灵活，拥有新的所有权和管理结构。也许有一天，会有由单个AI工程师运营的大公司。
未来的大多数公司不会是个体经营的公司，但它们将有不同的需求和不同的痛点，与今天的公司不同。它们将需要能够解决知识管理和内容生成、信任、安全和认证方面挑战的企业产品。
赢得未来企业的心与思想，创始人需要回答一些关键问题。这些公司将生产什么样的产品？他们需要什么样的基础设施和应用程序？劳动力将如何变化？分销和价值捕获的模式将如何改变？他们的总可寻址市场中，人类占多大比例，自主AI Agents占多大比例？
3️⃣ 接下来会发生什么？
生产力革命，如人工智能革命，推动成本下降。本世纪的技术进步已经彻底降低了硬件成本，但人类提供的服务成本，从医疗保健到教育，却飙升了。
而且还根据不同的作用做了分类，除了论文地址还有对应的代码仓库和模型下载地址。
非常适合深入学习 SD 的朋友研究。
https://latentbox.com/zh/sd-ecology
