GPT4 在优化速度降低成本，智商也跟着大幅降低了。

Quinn Leng: 可能很多重度用户跟我一样都感觉到 ChatGPT 最近几个月变傻了一些。还真是这样， 这篇论文最近半年对 GPT3.5 和 GPT4 的研究发现： GPT4 年初生成的代码 52% 概率可以直接执行，而现在大幅下降到 10% 。对素数的识别准确率从 97.6% 骤降到了 2.4% https://arxiv.org/pdf/2307.09009.pdf https://t.co/28rsZECku1

做了一个壁纸套样机模板的网站，https://mjcn.club，方便套上AI生成的壁纸发到小红书等平台。

壁纸套上 iPhone 样机后会比单纯发图片更有沉浸感，更让人想拥有。现在的小红书大V基本都是套样机的，而且效果很不错。

我也在做卖壁纸的事情，为了自己方便就做了个小工具，想着自己玩还不如发出来让大家用，没准可以碰撞出更好的想法~

💡下面是一些小细节：
- 在壁纸过亮时，为自动加上一层蒙层，让其亮度降下来。iPhone 就是这样的~
- 颜色选择里面会根据当前的图片提供颜色推荐。

PS: 推荐使用 Chrome 浏览器电脑版导出，其他浏览器可能存在导出有问题的情况。

Llama2发布了，这版本可以商用了，国内的大模型有救了，我详细整理了一些信息：

- Llama2 的性能和参数
- 如何使用和限制条件
- Llama2 的模型架构
- Llama2 的训练方法论

👇下面是详细的信息

Llama2 的性能和参数

- Llama2有三个大小的版本分别是7B 13B和70B
- Llama 2 的训练数据比 Llama 1 多 40%，上下文长度是 Llama 1 的两倍。
- 预训练的Token为2 万亿，上下文长度为4096
- 据Meta所说，Llama 2 在许多外部基准测试中都优于其他开源语言模型，包括推理、编码、熟练程度和知识测试。

如何使用和限制条件

- 与第一次泄漏的版本不同，这次Meta开放了商业使用的权限。
- 现在可以直接在这个页面申请下载模型：https://ai.meta.com/resources/models-and-libraries/llama-downloads/
- 日活大于7亿的产品需要单独申请商用权限
- 不得使用 Llama 材料或 Llama 材料的任何输出或结果来改进任何其他大型语言模型。

Llama2 的模型架构

- Llama 2-Chat 的基础是 Llama 2 系列预训练语言模型。Llama 2 使用标准的Transformer架构。

- Llama 2-Chat 通过监督微调和强化学习人类反馈进行了优化。先进行监督微调,然后应用包括拒绝采样和PPO在内的强化学习算法进行迭代改进。

- 采用了一些优化,比如预规范化、SwiGLU激活函数和旋转位置嵌入(RoPE)。

- Llama 2-Chat有70亿、34亿、13亿和7亿参数的版本。训练使用公开可获得的数据,没有使用任何Meta用户数据。

Llama2 的训练方法论

1. 预训练
• 使用公开可获得的在线数据进行预训练,总计2万亿个标记。
• 对数据进行了清洗,移除了一些包含大量个人信息的网站。
• 采用标准的Transformer架构,以及一些优化如RoPE等。

2. 监督微调
• 使用高质量的人工标注数据(约3万示例)进行监督微调。
• 优化回答标记,而不是提示标记。

3. 基于人类反馈的强化学习
• 收集人类偏好数据: letting人类比较并选择更好的回复。
• 训练奖励模型,给回复打分。
• 使用拒绝抽样和PPO算法进行迭代调优。