AI探索指南

  1. 而过去一些通过引入先验的方式提升模型能力,在参数量上去之后可能反过来制约了模型

    AI探索指南
    北大卢菁: 1. 训练起来大模型和训练出有通用能力的模型完全是两码事。 目前国内大模型只能说训练起来了,但是远无技术壁垒,这是大厂本就应该具备的能力,并不值得骄傲。 2. 具备通用能力的大模型,入门参数量可能不是GPT3.5的175B,可能是GPT4的1.8T。而且这仅仅是必要条件,大规模的高质量语料也许才是现阶段除OpenAI以外其他企业真正的瓶颈所在。 3. 如果瓶颈真的在语料,我很悲观这会成为比芯片更大的壁垒。 因为人类最高质量的语料是书籍和论文,而真正高质量的书籍和论文掌握在西方世界手里。 …
    而过去一些通过引入先验的方式提升模型能力,在参数量上去之后可能反过来制约了模型。

    11. 语言只是世界的一个投影。真正的未来是多模态,在这一点上,OpenAI做得很慢,慢得让全世界着急,它却又走得比任何人都要快。真正的世界模型还在后头。

    12. 在高校,尤其是国内高校很难再做出有意义的工作了,有机会的话还是进厂做大模型刷新认知。

  2. 北大卢菁:

    北大卢菁:

    1. 训练起来大模型和训练出有通用能力的模型完全是两码事。
    目前国内大模型只能说训练起来了,但是远无技术壁垒,这是大厂本就应该具备的能力,并不值得骄傲。

    2. 具备通用能力的大模型,入门参数量可能不是GPT3.5的175B,可能是GPT4的1.8T。而且这仅仅是必要条件,大规模的高质量语料也许才是现阶段除OpenAI以外其他企业真正的瓶颈所在。

    3. 如果瓶颈真的在语料,我很悲观这会成为比芯片更大的壁垒。
    因为人类最高质量的语料是书籍和论文,而真正高质量的书籍和论文掌握在西方世界手里。

    4. 现阶段,最关键的是把智能做上去。诸如长文本建模,性能优化,应用场景这些一点都不关键。至少对有出息企业来说是这样,如果只是想做做应用就另当别论了。

    5. 拿Llama2 Finetune刷榜意义不大,在特定数据集上刷得比GPT-4高并不能说明任何问题。
    国内厂商最搞笑的是把C-eval的数据丢进训练集里面,然后再在C-eval上刷榜,各种吊打GPT,这种行为跟芯片造假的性质差不多,让国人认不清差距,以为GPT-4根本没有什么壁垒,国内厂商已经很接近了。
    事实是,如果GPT4是100分的话,国产的大模型能拿个10分已经烧高香了。

    6. 知识能力可能不是个事,GPT4除了四则运算会犯傻逼错误之外,很少犯傻逼错误。而且推理能力比其他模型要强太多太多,我想其中可能有特别的建模方式,不清楚是不是RLHF带来的收益。

    7. 数学能力不是做算术,也不是做高考题。而是有数学直觉,推导,证明的能力。目前我只在GPT4上看到了拥有数学直觉,但证明的能力还很欠缺。

    8. 流量不是大模型要考虑的事情,大模型要解决的是人类面临的难题,
    比如解决人类还没解决的科学问题去扩展人类的智能;
    帮助企业做商业计划优化市场经济;帮助社会建立更健全体系等等,达到千金一Token的效果。否则只是陪用户聊天,ROI很难做正。

    9. 在国内做LLM其实竞争不大,因为大家做事都太急太糙,目前看来大家都没太大出息。
    预计两年内不会有太好的成果,而我也非常期待被打脸。

    10. 两个东西需要重新思考:在过去做不Work的想法,也许在大模型下可以重新尝试,说不定就Work了;在小模型下做Work的想法,也许在一定规模之后就不再Work了。
    原因很简单,过去不Work的做法也许只是模型能力不够无法按照我们的预期去拟合;

  3. 这篇 Reddit 文章讨论了如何使用人工智能生成一张包含四个女性的图片

    这篇 Reddit 文章讨论了如何使用人工智能生成一张包含四个女性的图片。
    讨论中的评论包括对 AI 生成图片的辨别能力的讨论,以及一些用户分享了他们使用不同工具和技术来生成这样的图片的方法。
    有些评论者对这种图片的性质和目的提出了质疑,还有一些评论者对这种技术的潜在滥用表示担忧。
    总的来说,这篇文章主要是关于 AI 生成图片的讨论和技术分享。
    🔗 https://redd.it/16tnjfa

  4. Runway 宣布举办 48 小时影片创作比赛 Gen48

    Runway 宣布举办 48 小时影片创作比赛 Gen48

    🔸 这是一项完全在线的活动,无论在世界的任何地方,都可以参加。比赛主题将在开赛前公布。

    🔸 报名参赛的团队限制在 1-3 人内,团队将有 48 小时的时间,从构思到完成,制作一部 1-4 分钟的影片。比赛将于 2023 年 10 月 21 日美东时间早上 9 点开始,至 10 月 23 日早上 9 点结束。

    🔸 参赛队伍将获得 300,000 个 Runway 积分,以及其他制作资源。比赛结束后,入围影片将公布在GEN48的网站上,接受公众投票。

    🔸 最终获胜的影片将获得 $5,000 美元,100 万个 Runway 积分,Epidemic Sound一年的订阅,以及在今年在纽约和洛杉矶举办的 AI 电影节上放映。

    🔸 比赛注册地址:gen48.runwayml.com

    一起来玩吧~

  5. AI 领域近期几个大事放一起看,那些比 Llama 2 还落后的大模型团队根本睡不着觉:

    AI 领域近期几个大事放一起看,那些比 Llama 2 还落后的大模型团队根本睡不着觉:

    🐰 Claude 被亚马逊投资了 40 亿美金,只释放了少量股份。前者可以在第一梯队继续领跑,后者则用自家芯片能力(Tranium 和 Inferentia 技术类似Nvidia 的 GPU )换来一张靠谱的竞技场门票。

    🦙 Meta AI 低调登场。以「名人数字分身」的打法,是非常接地气的;Instagram 、WhatsApp 和 Messenger 为代表的开路先锋,足以引爆战火的全面升级。

    🦊 ChatGPT 受到 Google Bard 插件系统和 Meta 刺激,火速放出了各种多模态能力 GPT-V ,企图拉开距离。

    以上都还没算 Bing、X AI 、Apple、 Pi 、Character.ai 这些重量级玩家。

    这就为什么红色皇后常常笑着说,「你需要拼命奔跑,才能停留在原地」。

  6. 刚刚收到了ChatGPT语音交谈的更新,我看应该很多人都收到了,应该是大规模推送了,可以看一下你的设置里面有没有

    刚刚收到了ChatGPT语音交谈的更新,我看应该很多人都收到了,应该是大规模推送了,可以看一下你的设置里面有没有。

    试了一下沟通过程真的很顺畅,首次说中文她可能会卡一下,后面就好了。

  7. 🚀 超重量级玩家 Meta AI 终于来了 ~

    🚀 超重量级玩家 Meta AI 终于来了 ~

    Meta 刚刚低调宣布,正式加入AIGC 新世界的战役,计划率先在WhatsApp、Instagram和Messenger上获得类似ChatGPT的对话体验。

    Meta 将其定位通用助手,能在单聊、群聊中都可以发起对话。 如果你深入使用过Slack上Claude或者微信群内类 GPT 体验, 会意识到这是指数级裂变式的技术渗透。

    产品负责人Ahmad Al-Dahle 对Meta AI背后技术还有所保留,目前只强调 Meta AI是一个基于Llama2 的核心原则而「定制」的大语言模型。Al-Dahle 也表示和Llama 2有区别, 例如完善更多对话数据集让聊天更有人情味,也拓展了上下文限制,增进用户互动。

    Meta AI 可能将会是一个「非常简洁」的聊天属性,并同时提出28个AI 默认角色,其中不乏像Charli D’Amelio、Dwyane Wade、Kendall Jenner、Mr. Beast、Snoop Dogg和Paris Hilton这样的名人,也有一些基于场景设计的功能属性的代理。一些科技媒体记者亲身体验,还透露了Meta AI一些微创新之处:让AI角色在聊天过程,微妙产生动画,一个被称为具象(embodiments)产品特性让体验变得更富沉浸感。

    还有一个有趣的能力, 所有聊天过程产生向搜索引擎提问的,由Bing提供实时搜索结果,这是一个差异化的能力。也表明在这场复杂Meta Llama 2和微软战略合作后,又一重大举措。)

    Ahmad Al-Dahle 表示他们将有一个长线的产品路线图来交付新特性,整合更广泛的社交场景中。 作为一个多年社交平台古典产品经理,我深深理解他们的信心和雄心的来源——这必然是比搜索引擎还直接、迅猛的技术渗透场景。

    随着Meta AI的正式登场, 红色皇后意义的战役规模和量级瞬间升级; 无论是ChatGPT、Claude还是蓄势待发Google Gemini ,格局完全被拉升到了新的高度。这些平台的疯狂竞速和博弈, 将进一步推动世界那进入寒武纪大爆发的创新时代。

    世界是非零和的,未来可期~

  8. Adobe 正式发布了 Photoshop 网页版,你现在可以在网页版里面使用 PS AI 了,而且不是之前那种半成品,是带图层和蒙版的完整版本

    Adobe 正式发布了 Photoshop 网页版,你现在可以在网页版里面使用 PS AI 了,而且不是之前那种半成品,是带图层和蒙版的完整版本。在 AI 功能的使用上基本跟本地版本区别不大。
    没有推出的功能中,修补工具、钢笔工具、智能对象支持、多边形套索等等将会很快推出。
    刚才买完试了一下。首先肯定是不对大陆提供服务,然后买的时候国内的卡也不行。美国的话按年订阅是 20 美元/月。按月购买是 31美元/月,还是挺贵的。土耳其区又很容易被遣返。
    刚好前几天做了一个项目PS AI 帮了大忙,感兴趣的话我出一个教程,教一些门槛低的基础用法。

    官方公告:https://blog.adobe.com/en/publish/2023/09/27/photoshop-streamlines-power-precision-web
    使用地址:https://photoshop.adobe.com

    Invalid media: video

  9. 下午的课要分享恐怖谷(the uncanny valley)

    下午的课要分享恐怖谷(the uncanny valley)
    认真看了原文做ppt

    虽然听说 & 肤浅认知好几年了
    但确实是第一次看原文

    出于好奇把图上不知道的查了一遍
    作者觉得图2比图3可爱
    图3又比图4可爱

    (不是很理解为何图2比图4高这么多
    (只能说隔行如隔山

    (作者很热爱本国文化✅

    (作者Masahiro Mori是日本机器人专辑

  10. ChatGPT新的Text to Audio模型生成的中文人声挺逼真啊,不愧是跟专业配音演员合作录制的采样,特别是Cove这个语音包还会在生成文本的基础上自主加上一些气口、停顿和语气助词,显得更加自然

    ChatGPT新的Text to Audio模型生成的中文人声挺逼真啊,不愧是跟专业配音演员合作录制的采样,特别是Cove这个语音包还会在生成文本的基础上自主加上一些气口、停顿和语气助词,显得更加自然

    Invalid media: video