AI探索指南
-
- RT Tinyfool
他们习惯了 - RT 老范讲故事🎙️
今天坐 @ghosTM55 的极客001智能汽车，我通过车机的语音助手，要求放一段郭德纲的相声，得到答复，这是收费节目，然后推荐我听中医课程，然后就开始播放中医产后护理相关的内容了。
我是不是被侮辱了？ - 太真实了😂
▢ Hugging Face API Unity Integration：https://github.com/huggingface/unity-api
🔗 Awesome AI Tools for Game Developers GitHub: https://github.com/simoninithomas/awesome-ai-tools-for-game-dev
🔗 查看最新 ShowMeAI 日报完整版：https://mp.weixin.qq.com/s/RjJ_vWn9JMXrfoUlMsAtqQ- 游戏开发者看过来！这应该是目前最全的游戏开发 AI 工具大盘点！
这是一个强大的AI游戏开发工具精选集合，覆盖了从资产生成、纹理生成、图像生成，到语音识别、对话模型、NPC的方方面面。
独立游戏开发者，或者游戏开发工作室，将AI工具集成到工作流程中，可以极大简化开发过程，提升创造力和沉浸感，并在各个环节释放出更多可能性！
🎮 语音生成
▢ Coqui Studio：https://coqui.ai
▢ Bark：https://github.com/suno-ai/bark
▢ Replica Studios：https://replicastudios.com
🎮 语音识别
▢ OpenAI Whisper：https://huggingface.co/openai/whisper-base
▢ Facebook Wav2Vec2：https://huggingface.co/facebook/wav2vec2-large-xlsr-53
🎮 对话模型
▢ ChatGPT：https://chat.openai.com
▢ HuggingChat：https://huggingface.co/chat
🎮 故事讲述模型
▢ MPT-7B-StoryWriter-65k+：https://huggingface.co/mosaicml/mpt-7b-storywriter
▢ Claude 100k：https://www.anthropic.com/index/100k-context-windows
▢ GTP-4 32k：https://platform.openai.com/docs/models/overview
🎮 游戏设计
▢ Ludo.ai：https://ludo.ai
🎮 搜索引擎
▢ Haddock：https://www.haddock.ai
🎮 AI NPC
▢ Inworld：https://inworld.ai
🎮 Python库
▢ NeMo Guardrails：https://github.com/NVIDIA/NeMo-Guardrails
▢ Guidance：https://github.com/microsoft/guidance
🎮 C#库
▢ Python.Net：https://github.com/pythonnet/pythonnet - 单纯蒸馏 ChatGPT
能很快做出一个模型拿融资
也能让模型评分变高哄哄大众
但是在应用的时候就会很尴尬
因为蒸馏 ChatGPT 就不可能超过它
既然如此，为什么不直接用 ChatGPT？
ChatGPT 的出现改变了大模型训练的世界线，但是并不代表就是正确的方向。 - PI app 背后的模型即将开放 API。
不仅很聪明，说话也更像人。
如果世界上的AI都像 ChatGPT 那样说话，会是一个非常无聊的世界。
Inflection AI: We’re proud to announce Inflection-1, the best-in-class LLM developed at Inflection!
Inflection-1, which powers
More details in our technical memo:
http://Pi.ai http://inflection.ai/inflection-1 - RT 联合早报 Lianhe Zaobao
中国北方高温天气持续，北京怀柔区气象站星期四（6月22日）下午录得41.8摄氏度高温，为全国最热，并打破当地观测史最高纪录。 https://www.zaobao.com.sg/realtime/china/story20230622-1406833 
- 新租的房子是loft
然后膝盖受伤了上下楼不方便
还好搬家找了蓝犀牛全程不用管 - 今天最劲爆的新闻应该就是有人爆料了GPT4的参数和架构设计。我根据推友fin提供的线索稍微深挖了一下，找到了这个消息的原始出处一档叫Latent Space的播客，听了涉及消息的最新一期播客真是信息量爆炸，下面是我梳理出的相关信息和播客的精彩内容。
一、播客、主持人、嘉宾的背景分别是什么？
播客名称叫Latent Space，是今年2月底刚起号的播客，4个月更新了18期内容。是一档关于AI 工程师的播客（AI圈内人），主要采访对象是战斗在一线的创始人、建设者和思想家。并且内容及其硬核，大概涉及专业背景名词的强度和技术内部分享会差不多，比高校教授做业内前沿报告稍低。
主持人有两位一位是swyx，是开发人员（ Airbyte 的 开发者主管）/PM/天使投资人，还有丰富的写作和演讲经历，最近出版了一本 《The Coding Career Handbook》。一位是Alessio Fanelli，是开源项目fanahova的作者和一家口号是Founders help founders的独立VC的合伙人。两位主理人都是既能冲锋也能演讲写作属于“六边形战士”。
嘉宾George Hotz也是硅谷大红人，第一个解锁 iPhone、越狱 PS3的少年极客，也在马斯克经营的 Twitter 短暂“实习”过，还是自动驾驶解决方案Comma.ai 的创始人。当然最近新创立了一家提供“个人计算集群”的小公司Tinycorp （深度学习框架 tinygrad 以及最近发布的 tinybox 背后的公司）。
二、播客有哪些锐利的观点？
George Hotz真是毒舌之王，硬要类比堪称硅谷的戈登▪拉姆齐。他有如下的观点：
1.首先就是GPT-4是8个一模一样的220B模型连起来做的，只是训练数据不同，8个专家模型mixture expert model，一共1.76T参数，每次推理要做16次循环推理。
2.George非常不喜欢OpenAI高超的工程技巧并认为这是惨痛的教训，并认为OpenAI是深度学习领域的绝对领导者。
3.George认为 transformer 的良好效果奥秘不在于注意力机制而是它是半权重共享。因为权重矩阵是动态生成的，所以你可以压缩权重矩阵。（因为George14年尝试构建维基百科的压缩模型，用了一些贝叶斯和循环神经网络技巧但效果一般般。）
4.为了进一步说明，George举了高通公司的 SNPE 由于这个原因不能运行 transformer。因为神经网络中的大多数矩阵乘法器都是权重乘以值。（Matrix is all your need是吧）
5.然后说起了的架构细节，想象一下你有 256 个（隐藏层维度）权重组，然后根据某些情况选择要加载的权重集。该上下文可以来自另一个神经网络，然后我有另一个神经网络，它投影 256 宽，进行矩阵乘法后做一个 softmax分类输出，然后我实际加载权重。我可以在测试时间和训练时间都做这个操作。
三、George如何锐评OpenAI和剖析马斯克和自己
1. OpenAI 是迈阿密热火队。（我只记得三巨头抱团了，有篮球迷可以科普一下。）
2. OpenAI 可以留住理论家，因为他们相信意识形态的东西，而 Facebook 可以留住每个研究人员，因为研究员只想构建人工智能并发布它。
3. 最狠的观点来了，George认为模型生成内容的幻觉或者说重复输出内容的崩溃情况就像说唱歌手一直说呦呦呦，yesyesyes一样。
4. 他还谈到了马斯克的学科底色是物理学，而自己是信息论。并且也是由于这样的底色，自己最终目的是做出AI机器人而马斯克想要去火星。（他有基于物理学的抱负，而我有基于信息的抱负。真是热血。）（嘉宾的路线图是第一家公司构建硬件基础设施。 第二家TinyCorp 构建软件基础架构。第三家公司是第一家要制造真正产品的公司。那个产品就是AI Girlfriend。）
5. 谈到了山姆奥特曼是一个真正的好人，他对自己追求权力不感兴趣。
四、一些彩蛋
虽然嘉宾暴论频出，专业输出密度极高，但他自己也承认自己的数学水平相对一般只学了大部分本科数学和一些研究生数学。（最简单的度量其实就是解常微分方程和偏微分方程的难度啦，说明本科的数学教育其实对于AI实践是够用了，科学家肯定还不够用。） - 会流汗的人形机器人，代人测试极端高温天气| CyberDaily
亚利桑那州立大学的研究人员正在研究人体在极端高温环境下的生理反应。为此，他们开发了一种叫ANDI的类人机器人。ANDI不仅外表酷似真人，它还可以像人一样流汗和呼吸。研究人员希望通过ANDI更深入地了解人体在高温条件下的生理机制，以便为人们在气候变化造成的极端高温天气中保持健康制定更好的对策。
