关于AIGC人工智能、思维方式、知识拓展,能力提升等。投稿/合作: @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
▢ Hugging Face API Unity Integration:https://github.com/huggingface/unity-api
🔗 Awesome AI Tools for Game Developers GitHub: https://github.com/simoninithomas/awesome-ai-tools-for-game-dev
🔗 查看最新 ShowMeAI 日报完整版:https://mp.weixin.qq.com/s/RjJ_vWn9JMXrfoUlMsAtqQ
🔗 Awesome AI Tools for Game Developers GitHub: https://github.com/simoninithomas/awesome-ai-tools-for-game-dev
🔗 查看最新 ShowMeAI 日报完整版:https://mp.weixin.qq.com/s/RjJ_vWn9JMXrfoUlMsAtqQ
这是一个强大的AI游戏开发工具精选集合,覆盖了从资产生成、纹理生成、图像生成,到语音识别、对话模型、NPC的方方面面。
独立游戏开发者,或者游戏开发工作室,将AI工具集成到工作流程中,可以极大简化开发过程,提升创造力和沉浸感,并在各个环节释放出更多可能性!
🎮 语音生成
▢ Coqui Studio:https://coqui.ai
▢ Bark:https://github.com/suno-ai/bark
▢ Replica Studios:https://replicastudios.com
🎮 语音识别
▢ OpenAI Whisper:https://huggingface.co/openai/whisper-base
▢ Facebook Wav2Vec2:https://huggingface.co/facebook/wav2vec2-large-xlsr-53
🎮 对话模型
▢ ChatGPT:https://chat.openai.com
▢ HuggingChat:https://huggingface.co/chat
🎮 故事讲述模型
▢ MPT-7B-StoryWriter-65k+:https://huggingface.co/mosaicml/mpt-7b-storywriter
▢ Claude 100k:https://www.anthropic.com/index/100k-context-windows
▢ GTP-4 32k:https://platform.openai.com/docs/models/overview
🎮 游戏设计
▢ Ludo.ai:https://ludo.ai
🎮 搜索引擎
▢ Haddock:https://www.haddock.ai
🎮 AI NPC
▢ Inworld:https://inworld.ai
🎮 Python库
▢ NeMo Guardrails:https://github.com/NVIDIA/NeMo-Guardrails
▢ Guidance:https://github.com/microsoft/guidance
🎮 C#库
▢ Python.Net:https://github.com/pythonnet/pythonnet
单纯蒸馏 ChatGPT
能很快做出一个模型拿融资
也能让模型评分变高哄哄大众
但是在应用的时候就会很尴尬
因为蒸馏 ChatGPT 就不可能超过它
既然如此,为什么不直接用 ChatGPT?
ChatGPT 的出现改变了大模型训练的世界线,但是并不代表就是正确的方向。
能很快做出一个模型拿融资
也能让模型评分变高哄哄大众
但是在应用的时候就会很尴尬
因为蒸馏 ChatGPT 就不可能超过它
既然如此,为什么不直接用 ChatGPT?
ChatGPT 的出现改变了大模型训练的世界线,但是并不代表就是正确的方向。
PI app 背后的模型即将开放 API。
不仅很聪明,说话也更像人。
如果世界上的AI都像 ChatGPT 那样说话,会是一个非常无聊的世界。
Inflection AI: We’re proud to announce Inflection-1, the best-in-class LLM developed at Inflection!
Inflection-1, which powers
More details in our technical memo:
http://Pi.ai http://inflection.ai/inflection-1
不仅很聪明,说话也更像人。
如果世界上的AI都像 ChatGPT 那样说话,会是一个非常无聊的世界。
Inflection AI: We’re proud to announce Inflection-1, the best-in-class LLM developed at Inflection!
Inflection-1, which powers
More details in our technical memo:
http://Pi.ai http://inflection.ai/inflection-1
RT 联合早报 Lianhe Zaobao
中国北方高温天气持续,北京怀柔区气象站星期四(6月22日)下午录得41.8摄氏度高温,为全国最热,并打破当地观测史最高纪录。 https://www.zaobao.com.sg/realtime/china/story20230622-1406833
中国北方高温天气持续,北京怀柔区气象站星期四(6月22日)下午录得41.8摄氏度高温,为全国最热,并打破当地观测史最高纪录。 https://www.zaobao.com.sg/realtime/china/story20230622-1406833
今天最劲爆的新闻应该就是有人爆料了GPT4的参数和架构设计。我根据推友fin提供的线索稍微深挖了一下,找到了这个消息的原始出处一档叫Latent Space的播客,听了涉及消息的最新一期播客真是信息量爆炸,下面是我梳理出的相关信息和播客的精彩内容。
一、播客、主持人、嘉宾的背景分别是什么?
播客名称叫Latent Space,是今年2月底刚起号的播客,4个月更新了18期内容。是一档关于AI 工程师的播客(AI圈内人),主要采访对象是战斗在一线的创始人、建设者和思想家。并且内容及其硬核,大概涉及专业背景名词的强度和技术内部分享会差不多,比高校教授做业内前沿报告稍低。
主持人有两位一位是swyx,是开发人员( Airbyte 的 开发者主管)/PM/天使投资人,还有丰富的写作和演讲经历,最近出版了一本 《The Coding Career Handbook》。一位是Alessio Fanelli,是开源项目fanahova的作者和一家口号是Founders help founders的独立VC的合伙人。两位主理人都是既能冲锋也能演讲写作属于“六边形战士”。
嘉宾George Hotz也是硅谷大红人,第一个解锁 iPhone、越狱 PS3的少年极客,也在马斯克经营的 Twitter 短暂“实习”过,还是自动驾驶解决方案Comma.ai 的创始人。当然最近新创立了一家提供“个人计算集群”的小公司Tinycorp (深度学习框架 tinygrad 以及最近发布的 tinybox 背后的公司)。
二、播客有哪些锐利的观点?
George Hotz真是毒舌之王,硬要类比堪称硅谷的戈登▪拉姆齐。他有如下的观点:
1.首先就是GPT-4是8个一模一样的220B模型连起来做的,只是训练数据不同,8个专家模型mixture expert model,一共1.76T参数,每次推理要做16次循环推理。
2.George非常不喜欢OpenAI高超的工程技巧并认为这是惨痛的教训,并认为OpenAI是深度学习领域的绝对领导者。
3.George认为 transformer 的良好效果奥秘不在于注意力机制而是它是半权重共享。因为权重矩阵是动态生成的,所以你可以压缩权重矩阵。(因为George14年尝试构建维基百科的压缩模型,用了一些贝叶斯和循环神经网络技巧但效果一般般。)
4.为了进一步说明,George举了高通公司的 SNPE 由于这个原因不能运行 transformer。因为神经网络中的大多数矩阵乘法器都是权重乘以值。(Matrix is all your need是吧)
5.然后说起了的架构细节,想象一下你有 256 个(隐藏层维度)权重组,然后根据某些情况选择要加载的权重集。该上下文可以来自另一个神经网络,然后我有另一个神经网络,它投影 256 宽,进行矩阵乘法后做一个 softmax分类输出,然后我实际加载权重。我可以在测试时间和训练时间都做这个操作。
三、George如何锐评OpenAI和剖析马斯克和自己
1. OpenAI 是迈阿密热火队。(我只记得三巨头抱团了,有篮球迷可以科普一下。)
2. OpenAI 可以留住理论家,因为他们相信意识形态的东西,而 Facebook 可以留住每个研究人员,因为研究员只想构建人工智能并发布它。
3. 最狠的观点来了,George认为模型生成内容的幻觉或者说重复输出内容的崩溃情况就像说唱歌手一直说呦呦呦,yesyesyes一样。
4. 他还谈到了马斯克的学科底色是物理学,而自己是信息论。并且也是由于这样的底色,自己最终目的是做出AI机器人而马斯克想要去火星。(他有基于物理学的抱负,而我有基于信息的抱负。真是热血。)(嘉宾的路线图是第一家公司构建硬件基础设施。 第二家TinyCorp 构建软件基础架构。第三家公司是第一家要制造真正产品的公司。那个产品就是AI Girlfriend。)
5. 谈到了山姆奥特曼是一个真正的好人,他对自己追求权力不感兴趣。
四、一些彩蛋
虽然嘉宾暴论频出,专业输出密度极高,但他自己也承认自己的数学水平相对一般只学了大部分本科数学和一些研究生数学。(最简单的度量其实就是解常微分方程和偏微分方程的难度啦,说明本科的数学教育其实对于AI实践是够用了,科学家肯定还不够用。)
一、播客、主持人、嘉宾的背景分别是什么?
播客名称叫Latent Space,是今年2月底刚起号的播客,4个月更新了18期内容。是一档关于AI 工程师的播客(AI圈内人),主要采访对象是战斗在一线的创始人、建设者和思想家。并且内容及其硬核,大概涉及专业背景名词的强度和技术内部分享会差不多,比高校教授做业内前沿报告稍低。
主持人有两位一位是swyx,是开发人员( Airbyte 的 开发者主管)/PM/天使投资人,还有丰富的写作和演讲经历,最近出版了一本 《The Coding Career Handbook》。一位是Alessio Fanelli,是开源项目fanahova的作者和一家口号是Founders help founders的独立VC的合伙人。两位主理人都是既能冲锋也能演讲写作属于“六边形战士”。
嘉宾George Hotz也是硅谷大红人,第一个解锁 iPhone、越狱 PS3的少年极客,也在马斯克经营的 Twitter 短暂“实习”过,还是自动驾驶解决方案Comma.ai 的创始人。当然最近新创立了一家提供“个人计算集群”的小公司Tinycorp (深度学习框架 tinygrad 以及最近发布的 tinybox 背后的公司)。
二、播客有哪些锐利的观点?
George Hotz真是毒舌之王,硬要类比堪称硅谷的戈登▪拉姆齐。他有如下的观点:
1.首先就是GPT-4是8个一模一样的220B模型连起来做的,只是训练数据不同,8个专家模型mixture expert model,一共1.76T参数,每次推理要做16次循环推理。
2.George非常不喜欢OpenAI高超的工程技巧并认为这是惨痛的教训,并认为OpenAI是深度学习领域的绝对领导者。
3.George认为 transformer 的良好效果奥秘不在于注意力机制而是它是半权重共享。因为权重矩阵是动态生成的,所以你可以压缩权重矩阵。(因为George14年尝试构建维基百科的压缩模型,用了一些贝叶斯和循环神经网络技巧但效果一般般。)
4.为了进一步说明,George举了高通公司的 SNPE 由于这个原因不能运行 transformer。因为神经网络中的大多数矩阵乘法器都是权重乘以值。(Matrix is all your need是吧)
5.然后说起了的架构细节,想象一下你有 256 个(隐藏层维度)权重组,然后根据某些情况选择要加载的权重集。该上下文可以来自另一个神经网络,然后我有另一个神经网络,它投影 256 宽,进行矩阵乘法后做一个 softmax分类输出,然后我实际加载权重。我可以在测试时间和训练时间都做这个操作。
三、George如何锐评OpenAI和剖析马斯克和自己
1. OpenAI 是迈阿密热火队。(我只记得三巨头抱团了,有篮球迷可以科普一下。)
2. OpenAI 可以留住理论家,因为他们相信意识形态的东西,而 Facebook 可以留住每个研究人员,因为研究员只想构建人工智能并发布它。
3. 最狠的观点来了,George认为模型生成内容的幻觉或者说重复输出内容的崩溃情况就像说唱歌手一直说呦呦呦,yesyesyes一样。
4. 他还谈到了马斯克的学科底色是物理学,而自己是信息论。并且也是由于这样的底色,自己最终目的是做出AI机器人而马斯克想要去火星。(他有基于物理学的抱负,而我有基于信息的抱负。真是热血。)(嘉宾的路线图是第一家公司构建硬件基础设施。 第二家TinyCorp 构建软件基础架构。第三家公司是第一家要制造真正产品的公司。那个产品就是AI Girlfriend。)
5. 谈到了山姆奥特曼是一个真正的好人,他对自己追求权力不感兴趣。
四、一些彩蛋
虽然嘉宾暴论频出,专业输出密度极高,但他自己也承认自己的数学水平相对一般只学了大部分本科数学和一些研究生数学。(最简单的度量其实就是解常微分方程和偏微分方程的难度啦,说明本科的数学教育其实对于AI实践是够用了,科学家肯定还不够用。)
亚利桑那州立大学的研究人员正在研究人体在极端高温环境下的生理反应。为此,他们开发了一种叫ANDI的类人机器人。ANDI不仅外表酷似真人,它还可以像人一样流汗和呼吸。研究人员希望通过ANDI更深入地了解人体在高温条件下的生理机制,以便为人们在气候变化造成的极端高温天气中保持健康制定更好的对策。
Magi的创始人上播客了。小宇宙最早的第一个版本里,我们因为当时Magi的存在,做了一个show notes里选中文字使用Magi引擎进行智能搜索的功能;最近我们终于把这个功能换成了站内搜索,也是一些令人感慨的小变化。
如果有什么东西会完全失控,那就是个问题,我们不能允许这样。我们说这个会失控,那就是对我们自身责任的放弃。我们可以处理强大的技术。顺便说一句,电力也带来了意想不到的后果。我们确保电网是安全的,我们制定了标准,我们有安全措施。显然,对于核能,我们处理了扩散问题。这两者之间有关如何处理强大技术的好例子。
LLM的一个巨大问题是它们的“幻觉”,在此,Sydney和其他模型只是凭空创造出事物。这能有效地被解决吗?
有很实际的东西可以减少“幻觉”。并且这项技术肯定在变得更好。会有解决方案的。但有时“幻觉”也是“创造力”。人们应该能选择何时使用哪种模式。
那将是一种改进,因为现在我们没有选择。但让我问一个关于另一种技术的问题。不久前,你对元宇宙大加赞扬。在2021年,你说你无法过分强调混合现实是多大的突破。但现在我们只谈论AI。这个热潮是否把元宇宙推向了某个其他维度?
我仍然是[虚拟]存在的信仰者。2016年我写了我对三件事感到兴奋:混合现实,量子,和AI。我对同样的三件事仍然感到兴奋。今天我们谈论的是AI,但我认为存在是最终的杀手级应用。当然,量子加速了所有事情。
AI不仅仅是一个讨论的主题。现在,你已经让微软围绕这种变革性技术展开。你如何管理这个?
我内部喜欢使用的一个比喻是,当我们从蒸汽机转向电力时,你必须重新布线工厂。你不能只是把电动机放在蒸汽机的位置,然后让其他所有东西保持不变。这就是斯坦利汽车公司和福特汽车公司的区别,福特能够改造整个工作流。所以在微软内部,软件的生产方式正在改变。这是微软内部核心工作流程的一次激进转变,以及我们如何推广我们的产出——以及它如何改变每个学校、每个组织、每个家庭。
那个工具如何改变了你的工作?
很多知识工作是苦差事,比如电子邮件处理。现在,如果你看我的Outlook,你会发现Bard(AI助手)正在进行很多工作,让我专注于那些需要我专业技能的地方。以及我还得要提醒自己,这还是第一版。考虑到我们今天讨论的Sydney,想象一下,Bard在两年内将会如何帮助我做出决策。
最后一个问题。这个月你50岁了。你有什么特殊的反思吗?
我经常思考的是,“如何花时间?”我记得当我第一次加入微软的时候,我在计算机历史博物馆看到的一个有趣的事情。那是一个盖茨的早期电子邮件,他在那封邮件里说,“为什么我们的计算机不能像那些大型机一样快?”我想,“这个家伙怎么会有那么多时间去写这么多电子邮件?”因为我知道我没有时间。我现在理解了,他是如何选择花费他的时间,那对他来说是重要的。这就是领导力。你需要在自己的日历中投资,那些真正重要的事情。对我来说,我的50岁生日是一个时刻,我可以思考,“我应该在哪里投资我的时间?”
🌳后记:
以下是我和 GPT 深度交流文章读后感的一些 Prompts,对我来说受益匪浅。也许部分代表着打开新世界的一种方式吧,供启发。
- 纳德拉是什么时候成为微软 CEO 的?请列举他个人的成长经历和微软这些年一起发展的关键里程碑。Azure 平台是他进行微软战略转移的重点吗?
- 在这篇商业报道中,我感受到第一个的关键词是,开源。纳德拉是如何在一个巨型公司内展开这样的文化?为何如此大刀阔斧?
- 我感受到的第二个关键词是,云计算。 这也是在苹果引领移动互联网浪潮下,微软跟上时代(持续挫败但没有掉队)的关键策略吗?
- 对纳德拉第三个强烈感受是,他极度拥抱变革。典型故事,是有关 GPT2.5 过渡到 3,那时纳德拉的一系列反应和决策。在我看来,这是巨型公司面临「创新者的窘境」难以想象的困难。毕竟他们手上可以打的牌可不少,且大多是自己自行研发投入的,普通意义的企业家很难以更开放的心态拥抱「外来的」的创新,这业务是微软能够拿下 Open AI 这个前所未有的新革命技术的重要前提?
- 第四个重要感受的关键词是Copilot。纳德拉说,那是他的顿悟时刻,他还重点提到了 GPT-4 的机器翻译和编程能力的核心意义。他还引用了个人化的童年故事~似乎体现出其雄厚计算机行业背景、经济学素养以及与人类学的交叉视角?
- 第五个重要感受是,创新是唯一的护城河。很少见到这个年龄的企业家,几乎不使用旧世界的话语体系,壁垒、赛道、抢占高低啊。纳德拉,全篇都是最普世的语言,而且充满学习和开放性的姿态,这一点极为令人敬佩。
- 读后感的第六个关键点,「开启新世界,而不是重现辉煌。」纳德拉显然对微软的历史辉煌并不在意,他关注如何在新世界促进新的「工业革命」,这种展望未来的雄心和野望,有时远大于那些盯着过去的企业家,令人深受启发。
原文地址:https://www.wired.com/story/microsofts-satya-nadella-is-betting-everything-on-ai/
LLM的一个巨大问题是它们的“幻觉”,在此,Sydney和其他模型只是凭空创造出事物。这能有效地被解决吗?
有很实际的东西可以减少“幻觉”。并且这项技术肯定在变得更好。会有解决方案的。但有时“幻觉”也是“创造力”。人们应该能选择何时使用哪种模式。
那将是一种改进,因为现在我们没有选择。但让我问一个关于另一种技术的问题。不久前,你对元宇宙大加赞扬。在2021年,你说你无法过分强调混合现实是多大的突破。但现在我们只谈论AI。这个热潮是否把元宇宙推向了某个其他维度?
我仍然是[虚拟]存在的信仰者。2016年我写了我对三件事感到兴奋:混合现实,量子,和AI。我对同样的三件事仍然感到兴奋。今天我们谈论的是AI,但我认为存在是最终的杀手级应用。当然,量子加速了所有事情。
AI不仅仅是一个讨论的主题。现在,你已经让微软围绕这种变革性技术展开。你如何管理这个?
我内部喜欢使用的一个比喻是,当我们从蒸汽机转向电力时,你必须重新布线工厂。你不能只是把电动机放在蒸汽机的位置,然后让其他所有东西保持不变。这就是斯坦利汽车公司和福特汽车公司的区别,福特能够改造整个工作流。所以在微软内部,软件的生产方式正在改变。这是微软内部核心工作流程的一次激进转变,以及我们如何推广我们的产出——以及它如何改变每个学校、每个组织、每个家庭。
那个工具如何改变了你的工作?
很多知识工作是苦差事,比如电子邮件处理。现在,如果你看我的Outlook,你会发现Bard(AI助手)正在进行很多工作,让我专注于那些需要我专业技能的地方。以及我还得要提醒自己,这还是第一版。考虑到我们今天讨论的Sydney,想象一下,Bard在两年内将会如何帮助我做出决策。
最后一个问题。这个月你50岁了。你有什么特殊的反思吗?
我经常思考的是,“如何花时间?”我记得当我第一次加入微软的时候,我在计算机历史博物馆看到的一个有趣的事情。那是一个盖茨的早期电子邮件,他在那封邮件里说,“为什么我们的计算机不能像那些大型机一样快?”我想,“这个家伙怎么会有那么多时间去写这么多电子邮件?”因为我知道我没有时间。我现在理解了,他是如何选择花费他的时间,那对他来说是重要的。这就是领导力。你需要在自己的日历中投资,那些真正重要的事情。对我来说,我的50岁生日是一个时刻,我可以思考,“我应该在哪里投资我的时间?”
🌳后记:
以下是我和 GPT 深度交流文章读后感的一些 Prompts,对我来说受益匪浅。也许部分代表着打开新世界的一种方式吧,供启发。
- 纳德拉是什么时候成为微软 CEO 的?请列举他个人的成长经历和微软这些年一起发展的关键里程碑。Azure 平台是他进行微软战略转移的重点吗?
- 在这篇商业报道中,我感受到第一个的关键词是,开源。纳德拉是如何在一个巨型公司内展开这样的文化?为何如此大刀阔斧?
- 我感受到的第二个关键词是,云计算。 这也是在苹果引领移动互联网浪潮下,微软跟上时代(持续挫败但没有掉队)的关键策略吗?
- 对纳德拉第三个强烈感受是,他极度拥抱变革。典型故事,是有关 GPT2.5 过渡到 3,那时纳德拉的一系列反应和决策。在我看来,这是巨型公司面临「创新者的窘境」难以想象的困难。毕竟他们手上可以打的牌可不少,且大多是自己自行研发投入的,普通意义的企业家很难以更开放的心态拥抱「外来的」的创新,这业务是微软能够拿下 Open AI 这个前所未有的新革命技术的重要前提?
- 第四个重要感受的关键词是Copilot。纳德拉说,那是他的顿悟时刻,他还重点提到了 GPT-4 的机器翻译和编程能力的核心意义。他还引用了个人化的童年故事~似乎体现出其雄厚计算机行业背景、经济学素养以及与人类学的交叉视角?
- 第五个重要感受是,创新是唯一的护城河。很少见到这个年龄的企业家,几乎不使用旧世界的话语体系,壁垒、赛道、抢占高低啊。纳德拉,全篇都是最普世的语言,而且充满学习和开放性的姿态,这一点极为令人敬佩。
- 读后感的第六个关键点,「开启新世界,而不是重现辉煌。」纳德拉显然对微软的历史辉煌并不在意,他关注如何在新世界促进新的「工业革命」,这种展望未来的雄心和野望,有时远大于那些盯着过去的企业家,令人深受启发。
原文地址:https://www.wired.com/story/microsofts-satya-nadella-is-betting-everything-on-ai/
然而,这家公司似乎从未完全恢复过90年代的活力。直到现在。当初创公司OpenAI开始开发其令人瞠目的生成型AI产品时,纳德拉迅速意识到,与该公司及其首席执行官Sam Altman合作将使微软处于新的AI繁荣的中心位置。(OpenAI被吸引到这个协议是由于需要微软的Azure服务器的计算能力。)
作为合作伙伴关系中的第一步,微软通过发布Copilot,一款可以自动化某些编码元素的AI助手,给开发者世界留下了深刻的印象。而在2月份,纳德拉令更广泛的世界(以及其竞争对手谷歌)震惊的是,他通过一个名为Sydney的聊天机器人,将OpenAI的最新大型语言模型集成到了Bing中。有数百万人使用了它。是的,出现了一些小问题——《纽约时报》记者凯文·鲁斯诱使Sydney承认它爱上了他,并将从他的妻子手中抢走他——但总的来说,该公司正在崭露头角成为AI的重量级选手。微软现在正在将生成型AI——“副驾驶员”——集成到其许多产品中。其对OpenAI的投资超过100亿美元,看起来是世纪之交的最佳投资。(不过微软并未免于最近科技行业的紧缩趋势——纳德拉今年已经裁掉了10000名员工。)
如今55岁的纳德拉,终于开始得到认可,不仅仅是一个熟练的看门人和微软巨大资源的精明运用者。他深思熟虑的领导方式和显著的谦逊,一直与他无情且喧闹的前任比尔·盖茨和史蒂夫·鲍尔默形成鲜明对比。(确实,这些人设定的同情心标准相当低。)通过他迅速而全面的采用AI,他表现出了一种勇气,这让人联想到微软早期的活力。现在,每个人都想听听他对AI这个世纪科技热门话题的看法。
史蒂文·列维:你何时意识到这个阶段的AI将带来如此大的变革?
萨蒂亚·纳德拉:当我们从GPT 2.5升级到3时,我们都开始看到这些新的能力。它开始显示出扩展效应。我们并没有只对其进行编码训练,但是它在编码方面确实变得非常好。那时我就成为了一个信徒。我想,“哇,这真的开始了。”
史蒂文·列维:你试图购买OpenAI吗?
萨蒂亚·纳德拉:我在微软的成长过程中,以许多有趣的方式处理合作伙伴关系。早在以前,我们就与SAP进行深度合作构建了SQL Server。所以这种事情对我来说并不陌生。不同的是,OpenAI具有一种有趣的结构;它是非营利的。
通常这看起来似乎会成为一种交易终结者,但你和OpenAI以某种方式提出了一个复杂的解决方案。
他们创建了一个盈利实体,我们说,“我们可以接受。”我们有一个良好的商业伙伴关系。我觉得这里有一个长期稳定的交易。
显然,这种设置使OpenAI从你们的交易中赚钱,微软也是,但对你们合作积累的利润有一个上限。当你达到这个上限时,就像灰姑娘的马车变成南瓜——OpenAI变成了一个纯粹的非盈利组织。那时合作伙伴关系会怎样?OpenAI是否会说,“我们完全是非盈利的,我们不想成为商业运营的一部分?”
我认为他们的博客已经阐述了这一点。但从根本上说,他们的长期想法是我们达到超级智能。如果发生这种情况,我想一切都将不再确定,对吗?
是的。对所有人来说。
如果这是人类的最后一项发明,那么一切都将不再确定。不同的人对这是什么,何时会发生有不同的判断。未说出来的部分是,政府会对此有什么看法?所以我把这个问题放在一边。只有当出现超级智能时,这种情况才会发生。
OpenAI的首席执行官Sam Altman相信这种情况将会发生。你是否同意他的观点,我们将达到那个AGI超级智能的基准?
我更关注所有人都能从中受益的问题。我深受工业革命直到很晚才影响到我成长的世界各地的事实困扰。所以我正在寻找可能比工业革命更大的事情,并真正做到使工业革命为西方,为全世界的每一个人所做的事情。所以我一点也不担心AGI的出现,或者快速出现。很好,对吗?这意味着80亿人口有了丰富的资源。那是一个理想的世界。
你如何规划来实现这个愿景?现在你正在将AI融入你的搜索引擎,你的数据库,你的开发者工具。但这些并不是那些被忽视的人们正在使用的。
很好的观点。我们首先从开发者的前沿看起。我真正兴奋的一件事是带回开发的乐趣。微软开始是一个工具公司,尤其是开发者工具。但是多年来,由于软件开发的复杂性,开发者曾经享受的关注和流动性被中断。我们对这个AI程序员Copilot[它编写日常代码并释放程序员解决更具挑战性的问题]所做的对这门手艺的贡献,美丽可见。现在,在GitHub上的一亿开发者可以享受自己的时间。然而,随着AI改变编程过程,它可以增长10倍——一亿可以变成十亿。当你正在提示一个LLM时,你正在对它编程。
任何拥有智能手机并知道如何说话的人都可以成为开发者吗?
绝对可以。你不需要写一个公式,或者学习语法或代数。如果你说提示只是开发,学习曲线将变得更好。你现在甚至可以问,“什么是开发?”这将被大众化。
至于把这个带给全球80亿人,我在一月份去了印度,看到了一个令人惊奇的演示。政府有一个名为“数字公共产品”的项目,其中之一是文本到语音系统。在演示中,一位农村农民正在使用这个系统询问他在新闻上看到的一个补贴计划。它告诉他关于该计划以及他可以填写的申请表格。通常情况下,它会告诉他在哪里可以得到这些表格。但是印度有一个开发者用所有印度政府文件训练了GPT,所以系统自动用不同的语言为他填写了表格。一些几个月前在美国西海岸创建的东西,已经到了印度的一位开发者那里,然后他写了一个模块,让印度农村的农民可以在WhatsApp机器人上的手机上获得该技术的好处。我的梦想是地球上的每一个80亿人都能有一个AI导师,一个AI医生,一个程序员,也许是一个顾问!
那是一个伟大的梦想。但生成型AI是新技术,有些神秘。我们真的不知道这些东西是如何工作的。我们还有偏见。有些人认为现在大规模采用还为时过早。Google多年来一直拥有生成型AI技术,但出于谨慎,它步调缓慢。然后你把它放入Bing,并挑衅Google做同样的事情,尽管有所保留。你的确切话:“我希望人们知道我们让Google跳舞。”Google确实跳舞了,改变了它的策略,并用它自己的生成AI搜索产品Bard跳入市场。我不想说这是鲁莽,但可以说,你大胆的Bing举动是一个过早的发布,开始了一个由大大小小的竞争者不顾一切地跳入,无论他们的技术是否准备好的绝望周期。
我们行业的美在于,不仅看你拥有什么能力,更看你如何实际运用这些能力并转化为实实在在的产品。如果你想展开这个论点,你可以回头看看施乐PARC或者微软研究院,说他们开发出的所有东西都应该被留下来。问题是,谁做出了实际有用的东西,真正帮助了世界向前发展?这就是我觉得我们需要做的。去年谁能想到搜索可以再次变得有趣?谷歌做得非常好,并在产品和分销两方面坚固地领导了这个行业。谷歌搜索是Android上的默认搜索引擎,iOS上的默认搜索引擎,最大的浏览器上的默认搜索引擎,等等。所以我说,“嘿,让我们去创新,改变搜索范例,使得谷歌的10个蓝色链接看起来像Alta Vista!”
你在说90年代的搜索引擎,当谷歌超越它的创新时,它立即变得过时。那太残酷了。
此时,当我使用必应聊天时,我根本不能回到原来的必应。这根本没有意义。所以我现在很高兴有了Bard和必应。让真正的竞争存在,让人们享受创新。
我想你一定对终于推出一种让人们注意到必应的搜索创新感到很兴奋。我记得你在2009年管理必应的时候是多么的沮丧,你似乎在追求一个无法超越的对手。那么对于AI,我们是否处于这样一个拐点,原先牢固的赢家变得脆弱?
绝对。从某种意义上说,每次变化都让我们更接近Vannevar Bush在文章中首次提出的愿景[《我们可能会想什么》是一篇1945年发表在大西洋月刊上的文章,首次提出了一个由计算机驱动的信息乌托邦的观点]。这就是梦想,对吧?问题是,如何真正创造出这种成功感,这包括从Bush到J. C. R. Licklider[他在1960年设想了“人类和计算机的共生”]到Doug Engelbart[鼠标和窗口]到Alto[Xerox PARC的图形界面PC],到个人电脑,到互联网。这一切都是说,“嘿,能不能有一个更自然的接口,让我们作为人类增强我们的认知能力,做更多的事情?”所以,这就是其中的一个例子。副驾驶是一个隐喻,因为这是一个把人放在中心的设计选择。所以不要把这个发展变成关于自动驾驶——它关乎副驾驶。很多人都在说,“哦我的上帝,AI来了!”猜猜看?AI已经在我们周围。实际上,所有的行为定向都使用了很多生成式AI。它是一个黑盒子,你我只是目标。
我觉得未来将是副驾驶和自动驾驶之间的拉锯战。
问题是,人们如何控制这些强大的能力?一种方法是让模型本身与我们关心的核心人类价值观保持一致。这些不是技术问题,更多的是社会文化考虑。另一方面是设计选择和产品制造与上下文相结合。这意味着真正确保这些模型被部署的环境与安全保持一致。
你对那些说我们应该对AI停下来六个月的人有耐心吗?
我对任何说“让我们对所有难以对齐的挑战保持思考,确保我们没有失控的AI”的人都充满了尊重和耐心。如果AI开始疯狂增长,我们最好能控制住。回想一下,当蒸汽机首次被部署,工厂被创建的时候。如果当时,我们就考虑到了童工和工厂污染,我们能否避免几百年的恶劣历史?所以每当我们对新技术感到兴奋的时候,思考一下这些意想不到的后果是很好的。尽管如此,此刻,我不会说我们应该停下来,而是我们应该加快工作进程,创造这些对齐。我们第一天看到GPT-4的时候,并没有立即发布Sydney,因为我们需要做很多工作来建立一个安全套索。但我们也知道,我们不能在实验室里完成所有的对齐。要使一个AI模型与世界对齐,你必须在世界中对齐它,而不是在某个模拟中。
那么你知道Sydney会爱上记者Kevin Roose吗?
我们从没想到有人会在发布后的100小时内做出荣格分析。
你还没有说你是否认为AI有可能毁灭人类。
作为合作伙伴关系中的第一步,微软通过发布Copilot,一款可以自动化某些编码元素的AI助手,给开发者世界留下了深刻的印象。而在2月份,纳德拉令更广泛的世界(以及其竞争对手谷歌)震惊的是,他通过一个名为Sydney的聊天机器人,将OpenAI的最新大型语言模型集成到了Bing中。有数百万人使用了它。是的,出现了一些小问题——《纽约时报》记者凯文·鲁斯诱使Sydney承认它爱上了他,并将从他的妻子手中抢走他——但总的来说,该公司正在崭露头角成为AI的重量级选手。微软现在正在将生成型AI——“副驾驶员”——集成到其许多产品中。其对OpenAI的投资超过100亿美元,看起来是世纪之交的最佳投资。(不过微软并未免于最近科技行业的紧缩趋势——纳德拉今年已经裁掉了10000名员工。)
如今55岁的纳德拉,终于开始得到认可,不仅仅是一个熟练的看门人和微软巨大资源的精明运用者。他深思熟虑的领导方式和显著的谦逊,一直与他无情且喧闹的前任比尔·盖茨和史蒂夫·鲍尔默形成鲜明对比。(确实,这些人设定的同情心标准相当低。)通过他迅速而全面的采用AI,他表现出了一种勇气,这让人联想到微软早期的活力。现在,每个人都想听听他对AI这个世纪科技热门话题的看法。
史蒂文·列维:你何时意识到这个阶段的AI将带来如此大的变革?
萨蒂亚·纳德拉:当我们从GPT 2.5升级到3时,我们都开始看到这些新的能力。它开始显示出扩展效应。我们并没有只对其进行编码训练,但是它在编码方面确实变得非常好。那时我就成为了一个信徒。我想,“哇,这真的开始了。”
史蒂文·列维:你试图购买OpenAI吗?
萨蒂亚·纳德拉:我在微软的成长过程中,以许多有趣的方式处理合作伙伴关系。早在以前,我们就与SAP进行深度合作构建了SQL Server。所以这种事情对我来说并不陌生。不同的是,OpenAI具有一种有趣的结构;它是非营利的。
通常这看起来似乎会成为一种交易终结者,但你和OpenAI以某种方式提出了一个复杂的解决方案。
他们创建了一个盈利实体,我们说,“我们可以接受。”我们有一个良好的商业伙伴关系。我觉得这里有一个长期稳定的交易。
显然,这种设置使OpenAI从你们的交易中赚钱,微软也是,但对你们合作积累的利润有一个上限。当你达到这个上限时,就像灰姑娘的马车变成南瓜——OpenAI变成了一个纯粹的非盈利组织。那时合作伙伴关系会怎样?OpenAI是否会说,“我们完全是非盈利的,我们不想成为商业运营的一部分?”
我认为他们的博客已经阐述了这一点。但从根本上说,他们的长期想法是我们达到超级智能。如果发生这种情况,我想一切都将不再确定,对吗?
是的。对所有人来说。
如果这是人类的最后一项发明,那么一切都将不再确定。不同的人对这是什么,何时会发生有不同的判断。未说出来的部分是,政府会对此有什么看法?所以我把这个问题放在一边。只有当出现超级智能时,这种情况才会发生。
OpenAI的首席执行官Sam Altman相信这种情况将会发生。你是否同意他的观点,我们将达到那个AGI超级智能的基准?
我更关注所有人都能从中受益的问题。我深受工业革命直到很晚才影响到我成长的世界各地的事实困扰。所以我正在寻找可能比工业革命更大的事情,并真正做到使工业革命为西方,为全世界的每一个人所做的事情。所以我一点也不担心AGI的出现,或者快速出现。很好,对吗?这意味着80亿人口有了丰富的资源。那是一个理想的世界。
你如何规划来实现这个愿景?现在你正在将AI融入你的搜索引擎,你的数据库,你的开发者工具。但这些并不是那些被忽视的人们正在使用的。
很好的观点。我们首先从开发者的前沿看起。我真正兴奋的一件事是带回开发的乐趣。微软开始是一个工具公司,尤其是开发者工具。但是多年来,由于软件开发的复杂性,开发者曾经享受的关注和流动性被中断。我们对这个AI程序员Copilot[它编写日常代码并释放程序员解决更具挑战性的问题]所做的对这门手艺的贡献,美丽可见。现在,在GitHub上的一亿开发者可以享受自己的时间。然而,随着AI改变编程过程,它可以增长10倍——一亿可以变成十亿。当你正在提示一个LLM时,你正在对它编程。
任何拥有智能手机并知道如何说话的人都可以成为开发者吗?
绝对可以。你不需要写一个公式,或者学习语法或代数。如果你说提示只是开发,学习曲线将变得更好。你现在甚至可以问,“什么是开发?”这将被大众化。
至于把这个带给全球80亿人,我在一月份去了印度,看到了一个令人惊奇的演示。政府有一个名为“数字公共产品”的项目,其中之一是文本到语音系统。在演示中,一位农村农民正在使用这个系统询问他在新闻上看到的一个补贴计划。它告诉他关于该计划以及他可以填写的申请表格。通常情况下,它会告诉他在哪里可以得到这些表格。但是印度有一个开发者用所有印度政府文件训练了GPT,所以系统自动用不同的语言为他填写了表格。一些几个月前在美国西海岸创建的东西,已经到了印度的一位开发者那里,然后他写了一个模块,让印度农村的农民可以在WhatsApp机器人上的手机上获得该技术的好处。我的梦想是地球上的每一个80亿人都能有一个AI导师,一个AI医生,一个程序员,也许是一个顾问!
那是一个伟大的梦想。但生成型AI是新技术,有些神秘。我们真的不知道这些东西是如何工作的。我们还有偏见。有些人认为现在大规模采用还为时过早。Google多年来一直拥有生成型AI技术,但出于谨慎,它步调缓慢。然后你把它放入Bing,并挑衅Google做同样的事情,尽管有所保留。你的确切话:“我希望人们知道我们让Google跳舞。”Google确实跳舞了,改变了它的策略,并用它自己的生成AI搜索产品Bard跳入市场。我不想说这是鲁莽,但可以说,你大胆的Bing举动是一个过早的发布,开始了一个由大大小小的竞争者不顾一切地跳入,无论他们的技术是否准备好的绝望周期。
我们行业的美在于,不仅看你拥有什么能力,更看你如何实际运用这些能力并转化为实实在在的产品。如果你想展开这个论点,你可以回头看看施乐PARC或者微软研究院,说他们开发出的所有东西都应该被留下来。问题是,谁做出了实际有用的东西,真正帮助了世界向前发展?这就是我觉得我们需要做的。去年谁能想到搜索可以再次变得有趣?谷歌做得非常好,并在产品和分销两方面坚固地领导了这个行业。谷歌搜索是Android上的默认搜索引擎,iOS上的默认搜索引擎,最大的浏览器上的默认搜索引擎,等等。所以我说,“嘿,让我们去创新,改变搜索范例,使得谷歌的10个蓝色链接看起来像Alta Vista!”
你在说90年代的搜索引擎,当谷歌超越它的创新时,它立即变得过时。那太残酷了。
此时,当我使用必应聊天时,我根本不能回到原来的必应。这根本没有意义。所以我现在很高兴有了Bard和必应。让真正的竞争存在,让人们享受创新。
我想你一定对终于推出一种让人们注意到必应的搜索创新感到很兴奋。我记得你在2009年管理必应的时候是多么的沮丧,你似乎在追求一个无法超越的对手。那么对于AI,我们是否处于这样一个拐点,原先牢固的赢家变得脆弱?
绝对。从某种意义上说,每次变化都让我们更接近Vannevar Bush在文章中首次提出的愿景[《我们可能会想什么》是一篇1945年发表在大西洋月刊上的文章,首次提出了一个由计算机驱动的信息乌托邦的观点]。这就是梦想,对吧?问题是,如何真正创造出这种成功感,这包括从Bush到J. C. R. Licklider[他在1960年设想了“人类和计算机的共生”]到Doug Engelbart[鼠标和窗口]到Alto[Xerox PARC的图形界面PC],到个人电脑,到互联网。这一切都是说,“嘿,能不能有一个更自然的接口,让我们作为人类增强我们的认知能力,做更多的事情?”所以,这就是其中的一个例子。副驾驶是一个隐喻,因为这是一个把人放在中心的设计选择。所以不要把这个发展变成关于自动驾驶——它关乎副驾驶。很多人都在说,“哦我的上帝,AI来了!”猜猜看?AI已经在我们周围。实际上,所有的行为定向都使用了很多生成式AI。它是一个黑盒子,你我只是目标。
我觉得未来将是副驾驶和自动驾驶之间的拉锯战。
问题是,人们如何控制这些强大的能力?一种方法是让模型本身与我们关心的核心人类价值观保持一致。这些不是技术问题,更多的是社会文化考虑。另一方面是设计选择和产品制造与上下文相结合。这意味着真正确保这些模型被部署的环境与安全保持一致。
你对那些说我们应该对AI停下来六个月的人有耐心吗?
我对任何说“让我们对所有难以对齐的挑战保持思考,确保我们没有失控的AI”的人都充满了尊重和耐心。如果AI开始疯狂增长,我们最好能控制住。回想一下,当蒸汽机首次被部署,工厂被创建的时候。如果当时,我们就考虑到了童工和工厂污染,我们能否避免几百年的恶劣历史?所以每当我们对新技术感到兴奋的时候,思考一下这些意想不到的后果是很好的。尽管如此,此刻,我不会说我们应该停下来,而是我们应该加快工作进程,创造这些对齐。我们第一天看到GPT-4的时候,并没有立即发布Sydney,因为我们需要做很多工作来建立一个安全套索。但我们也知道,我们不能在实验室里完成所有的对齐。要使一个AI模型与世界对齐,你必须在世界中对齐它,而不是在某个模拟中。
那么你知道Sydney会爱上记者Kevin Roose吗?
我们从没想到有人会在发布后的100小时内做出荣格分析。
你还没有说你是否认为AI有可能毁灭人类。
✨ 导读:
这篇 Wired 近期采访文章极富洞见。让我感受到了近几个月来(New Bing 发布至今)一次完整和系统思考,它代表了微软眼中的新世界。
这些生动的对话,以一个巨型公司在不同时代浪潮下微型史诗进行展开。以纳德拉看似个人化的角度,娓娓道来,从他上任 CEO、进行公司文化与战略变革,再到拥抱OpenAI的创新故事多个阶段展开。
报道的深刻性在于,它揭示出纳德拉的全新 Mindset 以及語言體系,它不再是面向过去的,而是面向未来。
上一次让我有如此思想冲击的文章还是比尔·盖茨的《人工智能时代已经到来》,强烈推荐给新世界的创造者们。
(我在后记部分,留下读后感,以及与 GPT 深度交流 Prompts ,供参考)
📖全文如下
微软的萨蒂亚·纳德拉正在全力投入人工智能
(这位首席执行官无法想象没有人工智能的生活,即使这是人类最后的发明。)
我从未想过我会写下这些话,但是现在来了。萨蒂亚·纳德拉以及他领导的微软公司,都在其搜索引擎带来的热潮中飞速发展。这与我第一次与纳德拉交谈时的情况形成了鲜明对比,那是在2009年。那时候,他并不那么出名,他特别向我介绍了他的起源。他出生在印度的海得拉巴,后来在美国读研究生,并在1992年加入微软,正好是该公司崭露头角的时候。纳德拉在公司各个部门都有涉猎,并且在微软经历低谷时期,包括微软的反垄断法庭之战和错过智能手机革命后,他都留在了公司。只有在他谈到他当时的项目——即被讽刺为与谷歌的主导地位相差甚远的搜索引擎Bing之后,他才谈到了他的个人简历。
众所周知,Bing未能打破谷歌在搜索引擎方面的垄断地位,但纳德拉的运气只是上升。2011年,他领导了新兴的云平台Azure,并开始构建其基础设施和服务。然后,由于他的过往业绩,他低调而有效的领导,以及比尔·盖茨的赞同,他在2014年成为微软的首席执行官。纳德拉立即开始转变公司的文化和商业模式。他开放了.net等产品的源代码,与以前的死敌(如与Salesforce的合作)成为了朋友,并开始了一系列大规模的收购,包括Mojang(Minecraft的制造商)、Linkedin和Github——这些网络的忠实成员可以被引导进入微软的世界。他加大了对Azure的投入,使其成为了亚马逊的AWS云服务的真正竞争对手。微软蓬勃发展,成为一家2万亿美元的公司。