关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
你可以在这里加入等待列表：https://grok.x.ai
Grok的目标：
收集反馈并确保我们正在构建能够最大程度造福全人类的人工智能工具。
赋能研究和创新：我们希望 Grok 成为任何人强大的研究助手，帮助他们快速访问相关信息、处理数据并提出新想法。
Grok-1模型的相关信息：
Grok-1，是过去四个月内开发的前沿LLM
首个版本Grok-0的参数为33B，Grok-1的参数没有公布
该模型在 HumanEval 编码任务中的得分为 63.2%，在 MMLU 中的得分为 73%。
xAI 感兴趣的研究方向：
通过工具辅助进行可扩展的监督。人类反馈至关重要。
与安全性、可靠性和接地性的形式验证相集成。
长上下文理解和检索。
对抗鲁棒性。
多模态联运能力。
- HumanEval：Python代码补全任务，（Chen等人，2021），零-shot评估通过率@1。
- 数学：中学和高中的数学问题以LaTeX格式编写，（Hendrycks等，2021），使用固定的4个提示进行提示。
在这些基准测试中，Grok-1展现出了强大的结果，超过了其所属计算级别中的所有其他模型，包括ChatGPT-3.5和Inflection-1。它只被那些使用了大量训练数据和计算资源进行训练的模型所超越，比如GPT-4。这展示了我们在xAI方面以卓越的效率训练LLM模型所取得的快速进展。
由于这些基准测试可以在网络上找到，我们不能排除我们的模型无意中是在这些基准测试上进行训练的，因此我们对我们的模型（以及Claude-2和GPT-4）进行了手动评分，评估的是2023年5月底发布的匈牙利国家高中数学期末考试，这是在我们收集数据集之后发布的。Grok在考试中获得了C（59%），而Claude-2获得了相同的成绩（55%），GPT-4获得了B（68%）。所有模型都在温度为0.1且相同的提示下进行评估。值得注意的是，我们没有为这次评估进行任何调整。这个实验是对我们的模型从未明确调整过的数据集进行的“现实生活”测试。
我们在模型卡中提供了Grok-1的重要技术细节摘要。
👩💻 xAI的工程技术
在深度学习研究的前沿，可靠的基础设施必须像数据集和学习算法一样慎重构建。为了创建Grok，我们基于Kubernetes、Rust和JAX构建了一个定制的训练和推理框架。
LLM培训就像一辆疾驰的货运火车，如果其中一节车厢出轨，整个火车都会脱轨，使得重新恢复正常运行变得困难。GPU的故障方式多种多样：制造缺陷、松动的连接、配置错误、降级的内存芯片、偶发的随机位翻转等等。在训练过程中，我们需要在数万个GPU之间进行计算同步，而由于规模的扩大，所有这些故障模式都变得更加频繁。为了克服这些挑战，我们采用了一套自定义的分布式系统，确保每一种故障都能立即被识别并自动处理。在xAI，我们将最大化每瓦有用计算作为我们努力的重点。在过去几个月中，我们的基础设施使我们能够将停机时间降至最低，并在硬件不可靠的情况下保持高模型浮点运算利用率（MFU）。
Rust已被证明是构建可扩展、可靠和易维护基础设施的理想选择。它提供高性能、丰富的生态系统，并防止了分布式系统中通常会遇到的大多数错误。考虑到我们团队规模较小，基础设施的可靠性至关重要，否则维护将会抑制创新。Rust让我们有信心，任何代码修改或重构都有可能产生可运行数月且需要最少监督的程序。
我们现在正在为我们下一次模型能力的跃升做准备，这将需要可靠地协调数万个加速器上的训练运行，运行互联网规模的数据管道，并将新的能力和工具集成到Grok中。如果这听起来令人兴奋，请申请加入我们的团队。
🔬 xAI的研究
我们为Grok提供了搜索工具和实时信息的访问权限，但是像所有基于下一个标记预测训练的LLM一样，我们的模型仍然可能生成错误或矛盾的信息。我们相信实现可靠的推理是解决当前系统限制的最重要的研究方向。在这里，我们想要强调一些在xAI最令人兴奋的有前途的研究方向。
- 可扩展的工具辅助监督。人类反馈至关重要。然而，在处理冗长的代码或复杂的推理步骤时，提供一致准确的反馈可能具有挑战性。人工智能可以通过查找不同来源的参考资料、使用外部工具验证中间步骤，并在必要时寻求人类反馈来协助可扩展的监督。我们的目标是在我们的模型的帮助下，最有效地利用我们的人工智能导师的时间。
- 将正式验证与安全性、可靠性和基础结合起来。为了创建能够深入思考现实世界的AI系统，我们计划在较少歧义和更可验证的情况下开发推理能力。这使我们能够在没有人类反馈或与现实世界的互动的情况下评估我们的系统。这种方法的一个主要即时目标是为代码正确性提供正式保证，特别是关于AI安全的可验证方面。
- 长上下文理解和检索。训练模型以高效地在特定上下文中发现有用的知识是打造真正智能系统的核心。我们正在研究能够在需要时发现和检索信息的方法。
- 对抗性鲁棒性。对抗性示例表明，优化器可以轻易地利用人工智能系统的漏洞，无论是在训练还是服务期间，从而导致系统犯下严重错误。这些漏洞是深度学习模型长期存在的弱点。我们特别关注提高LLMs、奖励模型和监控系统的鲁棒性。
- 多模态能力。目前，Grok没有其他感官，比如视觉和听觉。为了更好地帮助用户，我们将为Grok配备这些不同的感官，以实现更广泛的应用，包括实时互动和协助。
我们相信人工智能对于为社会做出重大科学和经济贡献具有巨大潜力，因此我们将努力开发可靠的防范措施，以防止恶意使用带来的灾难性后果。我们坚信要尽最大努力确保人工智能始终成为一种正能量。
如果你和我们一样乐观，并且想为我们的使命做出贡献，请申请加入我们的团队。
🧪 Grok的早期访问
我们正在向美国地区的一部分用户提供机会，让他们尝试我们的Grok原型，并提供宝贵的反馈意见，以帮助我们在正式发布之前改进其功能。您可以在这里加入Grok的等待列表。这次发布只是xAI的第一步。展望未来，我们有一个令人兴奋的路线图，并将在未来几个月推出新的功能和特性。
https://x.ai/
- 数学：中学和高中的数学问题以LaTeX格式编写，（Hendrycks等，2021），使用固定的4个提示进行提示。
在这些基准测试中，Grok-1展现出了强大的结果，超过了其所属计算级别中的所有其他模型，包括ChatGPT-3.5和Inflection-1。它只被那些使用了大量训练数据和计算资源进行训练的模型所超越，比如GPT-4。这展示了我们在xAI方面以卓越的效率训练LLM模型所取得的快速进展。
由于这些基准测试可以在网络上找到，我们不能排除我们的模型无意中是在这些基准测试上进行训练的，因此我们对我们的模型（以及Claude-2和GPT-4）进行了手动评分，评估的是2023年5月底发布的匈牙利国家高中数学期末考试，这是在我们收集数据集之后发布的。Grok在考试中获得了C（59%），而Claude-2获得了相同的成绩（55%），GPT-4获得了B（68%）。所有模型都在温度为0.1且相同的提示下进行评估。值得注意的是，我们没有为这次评估进行任何调整。这个实验是对我们的模型从未明确调整过的数据集进行的“现实生活”测试。
我们在模型卡中提供了Grok-1的重要技术细节摘要。
👩💻 xAI的工程技术
在深度学习研究的前沿，可靠的基础设施必须像数据集和学习算法一样慎重构建。为了创建Grok，我们基于Kubernetes、Rust和JAX构建了一个定制的训练和推理框架。
LLM培训就像一辆疾驰的货运火车，如果其中一节车厢出轨，整个火车都会脱轨，使得重新恢复正常运行变得困难。GPU的故障方式多种多样：制造缺陷、松动的连接、配置错误、降级的内存芯片、偶发的随机位翻转等等。在训练过程中，我们需要在数万个GPU之间进行计算同步，而由于规模的扩大，所有这些故障模式都变得更加频繁。为了克服这些挑战，我们采用了一套自定义的分布式系统，确保每一种故障都能立即被识别并自动处理。在xAI，我们将最大化每瓦有用计算作为我们努力的重点。在过去几个月中，我们的基础设施使我们能够将停机时间降至最低，并在硬件不可靠的情况下保持高模型浮点运算利用率（MFU）。
Rust已被证明是构建可扩展、可靠和易维护基础设施的理想选择。它提供高性能、丰富的生态系统，并防止了分布式系统中通常会遇到的大多数错误。考虑到我们团队规模较小，基础设施的可靠性至关重要，否则维护将会抑制创新。Rust让我们有信心，任何代码修改或重构都有可能产生可运行数月且需要最少监督的程序。
我们现在正在为我们下一次模型能力的跃升做准备，这将需要可靠地协调数万个加速器上的训练运行，运行互联网规模的数据管道，并将新的能力和工具集成到Grok中。如果这听起来令人兴奋，请申请加入我们的团队。
🔬 xAI的研究
我们为Grok提供了搜索工具和实时信息的访问权限，但是像所有基于下一个标记预测训练的LLM一样，我们的模型仍然可能生成错误或矛盾的信息。我们相信实现可靠的推理是解决当前系统限制的最重要的研究方向。在这里，我们想要强调一些在xAI最令人兴奋的有前途的研究方向。
- 可扩展的工具辅助监督。人类反馈至关重要。然而，在处理冗长的代码或复杂的推理步骤时，提供一致准确的反馈可能具有挑战性。人工智能可以通过查找不同来源的参考资料、使用外部工具验证中间步骤，并在必要时寻求人类反馈来协助可扩展的监督。我们的目标是在我们的模型的帮助下，最有效地利用我们的人工智能导师的时间。
- 将正式验证与安全性、可靠性和基础结合起来。为了创建能够深入思考现实世界的AI系统，我们计划在较少歧义和更可验证的情况下开发推理能力。这使我们能够在没有人类反馈或与现实世界的互动的情况下评估我们的系统。这种方法的一个主要即时目标是为代码正确性提供正式保证，特别是关于AI安全的可验证方面。
- 长上下文理解和检索。训练模型以高效地在特定上下文中发现有用的知识是打造真正智能系统的核心。我们正在研究能够在需要时发现和检索信息的方法。
- 对抗性鲁棒性。对抗性示例表明，优化器可以轻易地利用人工智能系统的漏洞，无论是在训练还是服务期间，从而导致系统犯下严重错误。这些漏洞是深度学习模型长期存在的弱点。我们特别关注提高LLMs、奖励模型和监控系统的鲁棒性。
- 多模态能力。目前，Grok没有其他感官，比如视觉和听觉。为了更好地帮助用户，我们将为Grok配备这些不同的感官，以实现更广泛的应用，包括实时互动和协助。
我们相信人工智能对于为社会做出重大科学和经济贡献具有巨大潜力，因此我们将努力开发可靠的防范措施，以防止恶意使用带来的灾难性后果。我们坚信要尽最大努力确保人工智能始终成为一种正能量。
如果你和我们一样乐观，并且想为我们的使命做出贡献，请申请加入我们的团队。
🧪 Grok的早期访问
我们正在向美国地区的一部分用户提供机会，让他们尝试我们的Grok原型，并提供宝贵的反馈意见，以帮助我们在正式发布之前改进其功能。您可以在这里加入Grok的等待列表。这次发布只是xAI的第一步。展望未来，我们有一个令人兴奋的路线图，并将在未来几个月推出新的功能和特性。
https://x.ai/
马斯克即将发布的大模型能力概览：
计划装上特斯拉
最高支持2.5万字符输入
可以获取twitter最新信息
这里面最吸引人的应该是2.5万的字符上下文，相当于25K的characters。按照OpenAI自己认为1个token约等于0.75个字符来说，25K的characters相当于33.3K的tokens，比GPT-4-32K稍长。
Grōk AI的SuperPrompt功能
除了前面透露的功能外，还有个超级Prompt功能也是Grōk AI提供的。根据信息透露，SuperPrompt是一种情感驱动的Prompt，可以大幅增强LLM对用户输入的理解。这种技术的实施可能包括在构造提示时包含某些特定的情感或心理触发词，从而使AI的响应更加精确和人性化。
Grōk AI强大的新闻能力根据透露
Grōk AI 对新闻的 “感觉 “是其他人工智能平台无法比拟的。由于 Grōk AI 是通过 Twitter EB级数据中的 “突发 “新闻进行训练的，因此它对新闻有敏锐的嗅觉。它能从偏见中辨别出突发新闻的要素。这意味着可能可以很快的分发重要的新闻，并尽可能实现客观与真实。也就是说Grōk AI会因为清晰、公正的洞察力成为突发新闻事件的 “首选”。
所以估计会很好玩
计划装上特斯拉
最高支持2.5万字符输入
可以获取twitter最新信息
这里面最吸引人的应该是2.5万的字符上下文，相当于25K的characters。按照OpenAI自己认为1个token约等于0.75个字符来说，25K的characters相当于33.3K的tokens，比GPT-4-32K稍长。
Grōk AI的SuperPrompt功能
除了前面透露的功能外，还有个超级Prompt功能也是Grōk AI提供的。根据信息透露，SuperPrompt是一种情感驱动的Prompt，可以大幅增强LLM对用户输入的理解。这种技术的实施可能包括在构造提示时包含某些特定的情感或心理触发词，从而使AI的响应更加精确和人性化。
Grōk AI强大的新闻能力根据透露
Grōk AI 对新闻的 “感觉 “是其他人工智能平台无法比拟的。由于 Grōk AI 是通过 Twitter EB级数据中的 “突发 “新闻进行训练的，因此它对新闻有敏锐的嗅觉。它能从偏见中辨别出突发新闻的要素。这意味着可能可以很快的分发重要的新闻，并尽可能实现客观与真实。也就是说Grōk AI会因为清晰、公正的洞察力成为突发新闻事件的 “首选”。
所以估计会很好玩
微软作为OpenAI的亲爸，自己推出了专门的AI课程，非常值得学习。
一共包含12 课时的课程，旨在教授初学者如何构建生成式AI应用。每节课都涵盖了AI原理和应用开发的关键。
该课程主要是模拟创建一个使用生成式AI技术的创业公司。
📌 课程内容：https://microsoft.github.io/generative-ai-for-beginners/
📘 课程简介：技术设置和课程结构。
🧠 生成式AI和LLMs简介：了解生成式AI是什么以及大型语言模型(LLMs)如何工作。
🔍 探索和比较不同的LLMs：选择适合您用例的正确模型。
⚖️ 负责任地使用生成式AI：了解基础模型的局限性和AI背后的风险。
🛠️ 理解提示工程基础：了解提示结构和使用。
✍️ 创建高级提示：应用提示工程技术来改进您的提示的结果。
📝 构建文本生成应用：了解如何有效地使用令牌和温度来改变模型的输出。
💬 构建聊天应用：了解如何有效地监控和维护AI驱动的聊天应用的质量。
🔎 构建搜索应用：创建使用嵌入来搜索数据的应用。
🎨 构建图像生成应用：构建一个图像生成应用。
🖥️ 构建低代码AI应用：使用低代码构建学生作业跟踪应用。
🔄 与函数调用集成的外部应用：设置函数调用以从外部API检索数据。
🎨 为AI应用设计UX：在开发生成式AI应用时应用UX设计原则。
所以就拿Framer做一个，边做边学搞了半天终于捣鼓出来了。
介绍一下Midjourney提示词及风格收集网站Catjourney。
争取每周更新一些比较好的。都是我们两个精心挑选的风格和提示词。如果你有自己喜欢的风格也可以发给我们，都会写来源和链接。
欢迎常来看看。有什么意见和需要也可以提。
网站地址：https://catjourney.framer.website
