AI探索指南

  1. 冷知识,美国版权法对“教育”有豁免规定,并且不限于教育人类

    冷知识,美国版权法对“教育”有豁免规定,并且不限于教育人类。
    所以人类“教育”模型并不违法版权法。
    但是“训练”模型不行。

    vbmoneyspender: @Scobleizer

    Companies at the forefront of the AI movement should stop referring to having 'trained' their AI models and instead should declare that they've been 'teaching' them because U.S. copyright law provides a fair use exception for 'teaching' and does not limit it to…
    https://twitter.com/i/web/status/1657081423009050625

  2. 开源模型的架构限制导致问题

    开源模型的架构限制导致问题。

    Aman Sanger: Llama and many recent open-source models have a significant architectural limitation

    They use multi-head attention instead of multi-query attention (which is used by PaLM and probs Claude 100K)

    This can result in slowdowns of up to 30x

    Heres the math behind why (1/n)

     https://twitter.com/i/web/status/1657095380650311681

  3. AI探索指南
    去年8月,我想要的机器人,说不定很快就要来了。 tidybot 是一个接入了大语言模型的辅助机器人,更智能且更能够完成一些个性化的任务,如把家中物品摆放整齐等。 大概原理,我的理解,摄像头等传感器实时获取环境信息,在多维空间里与文字对齐绑定,生成文字信息传给 LLM ,再由 LLM 理解后输出格式化的控制文字,再把控制文字转成控制信号来控制机器人动作。 因为 LLM 目前只支持文字输入,文字输出,所以想要使用 LLM 作为大脑,就得把机器人的输入和输出都转成文字。那就需要用到类似于 ImageBind 的…
    FlPO8xFwciuPUpKpSS5X4pmYoR8mv3.png
    711.1 KB

  4. 去年8月,我想要的机器人,说不定很快就要来了

    去年8月,我想要的机器人,说不定很快就要来了。
    tidybot 是一个接入了大语言模型的辅助机器人,更智能且更能够完成一些个性化的任务,如把家中物品摆放整齐等。
    大概原理,我的理解,摄像头等传感器实时获取环境信息,在多维空间里与文字对齐绑定,生成文字信息传给 LLM ,再由 LLM 理解后输出格式化的控制文字,再把控制文字转成控制信号来控制机器人动作。
    因为 LLM 目前只支持文字输入,文字输出,所以想要使用 LLM 作为大脑,就得把机器人的输入和输出都转成文字。那就需要用到类似于 ImageBind 的思路,把文字、图像、传感器数据在多维空间对齐绑定。
    https://tidybot.cs.princeton.edu/

  5. claude 100k

    claude 100k
    - 无须等待,现在任何有测试资格的开发者都可以通过 api 直接调用
    - 价格和标准版相同,可以说非常良心了
    (与此同时 gpt4 api 还在 waitlist,特别扯)
    - 完整包含100k的推理一次大概需要30秒,所以不太适合对话场景,但很适合总结和分析
    现在就缺一个支持100k的客户端了
    谁来做一个?

    Anthropic: To answer your questions: Right now, our 100K context window is a beta feature and will be priced at our standard API pricing rates during this period!