关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
又来帮在快手的朋友招人了，这次是 2-5 年的成产品设计岗位。#ai##招聘#
除开正常的要求外，需要有 AIGC 实践经验和设计系统的搭建经验，有代码能力更好。
-----完整 JD-----
我们是快手研发设计中心团队，负责面向公司内部的产品交互设计。我们正在进行前沿的 AIGC 设计探索，并把探索的成果变成产品，希望找到志同道合的朋友一起同行:
1. 招聘交互设计师（UE） 或者产品设计师（UX）
2. 有 2 ～ 5 年 B 端或工具类产品设计工作经验
3. 有良好的逻辑性
4. 对 AIGC 方向感兴趣，在 AIGC（MJ，SD，GPT 等）有实践经验优先
5. 有设计系统建设 / 设计规范建设经验优先
6. 有代码基础优先
7. Base 北京
如果你对我们的工作感兴趣，请和我联系，我的微信：ding_zu，邮箱 dzwangyihan@gmail.com
除开正常的要求外，需要有 AIGC 实践经验和设计系统的搭建经验，有代码能力更好。
-----完整 JD-----
我们是快手研发设计中心团队，负责面向公司内部的产品交互设计。我们正在进行前沿的 AIGC 设计探索，并把探索的成果变成产品，希望找到志同道合的朋友一起同行:
1. 招聘交互设计师（UE） 或者产品设计师（UX）
2. 有 2 ～ 5 年 B 端或工具类产品设计工作经验
3. 有良好的逻辑性
4. 对 AIGC 方向感兴趣，在 AIGC（MJ，SD，GPT 等）有实践经验优先
5. 有设计系统建设 / 设计规范建设经验优先
6. 有代码基础优先
7. Base 北京
如果你对我们的工作感兴趣，请和我联系，我的微信：ding_zu，邮箱 dzwangyihan@gmail.com
支持在Vercel上面一键部署。由于目前还没有 Sora API 看了一下是通过模拟 DALL-E3 的 API 接口字段做的。
项目地址：https://github.com/SoraWebui/SoraWebui
他可以把相当复杂的LLM概念用非常好理解的方式讲出来。希望了解LLM的强烈建议听一下他的课，包括一些历史课程。
用GPT-4翻译了一下这节课，感兴趣可以听一下。字幕文件下载和历史课程会放最后。
补充一下视频介绍：
分词器是大语言模型（LLM）处理流程中一个独立且关键的环节。它们有专属的训练数据集、采用特定的训练算法——字节对编码（Byte Pair Encoding），训练完成后，分词器能够执行两个核心功能：encode() 函数将普通文本字符串转换为词元，而 decode() 函数则能将词元还原为原始文本字符串。在这场讲座中，我们将一步步揭开 OpenAI GPT 系列分词器的构建过程。
我们将发现，许多大语言模型(LLM)表现出的异常行为和问题，其实都源于标记化(tokenization)这一环节。我们会针对这些问题进行详细讨论，探究标记化为何成为问题的关键所在，以及为什么最理想的情况是有人能够找到办法，完全去除这一处理阶段。
字幕及视频下载：网页链接
开源代码： https://github.com/SoraWebui/SoraWebui
演示网站：https://sorawebui.com/
大家可以先基于这套代码，把网线部署上线，然后等待 Sora 官方 API 上线。
因为目前暂时无法调用 OpenAI 的官方接口，所以还有个配套项目 FakeSoraAPI。
FakeSoraAPI 基于 DALL-E 的接口，猜测 Sora 的接口参数和返回值，实现了一个假的 Sora API 来完成 Text to Video 流程。
大家如果自己要开发，也可以先基于 FakeSoraAPI ，把整个业务流程走通，等到 Sora 官方 API 上线之后就可以第一时间做一些小改动，就能够让自己的产品可以使用，而不是等到API上线了才开始开发。
开源代码：https://github.com/SoraWebui/FakeSoraAPI
既可以自己基于开源代码一键部署，也可以使用部署好的 https://fake-sora-api.sorawebui.com/ 。
先说结论由于 LUP 这个卡显存太低，所以运行同样的模型需要的数量比英伟达的 H100 多的多。
成本主要来自于卡的购买成本，比H100 贵 3 倍。运营成本也比 H100 贵很多。
------完整解释------
这可能是首次对使用 GroqInc 硬件运行 Llama2-70b 的运营成本进行分析。
首先，我必须说我非常欣赏 Groq 的产品。它们性能卓越，潜力巨大。下面的内容仅是展示在与行业领头羊竞争时可能遇到的挑战，但随着时间推移，我对它充满期待。
每张 Groq 卡的内存为 230MB。考虑到 LLaMA 70b 模型，假设采用 int8 量化技术（一种降低数据精度以减少存储需求的技术）并完全忽略在模型推理（即模型执行过程中的数据处理）时的内存消耗，至少需要 305 张这样的卡。但实际上，根据报告，需要的卡数多达 572 张，因此我们的计算将基于这个数字。
每张 Groq 卡的价格是 $20,000，因此购买 572 张卡的总成本为 $11.44 百万。当然，考虑到销售策略和大规模购买的优惠，实际价格可能会更低，但我们暂时按照标价来计算。
对于 572 张卡片，平均每张卡的功耗为 185W，总功耗达到 105.8kW，这还不包括附加的外围设备。（实际的能耗可能会更高）
目前，数据中心每千瓦每月的电费平均为 $200，这意味着每年的电费为 105.8 * 200 * 12 = $254,000。
事实上，使用 4 张 H100 卡可以达到 Groq 一半的性能，因此 8 张卡组成的 H100 盒子在性能上大致等同于上述 Groq 配置。一个 8 卡的 H100 盒子的名义最大功率是 10kW（实际上大约在 8-9 kW），因此其年电费约为 $24,000 或略低。
目前，一个 8 卡的 H100 盒子的价格大约为 $300,000。
因此，如果运营三年，Groq 硬件的购买成本是 $114.4 万，运营成本为 $76.2万。而对于一个 8 卡的 H100 盒子，硬件购买成本为 $30 万，运营成本约为 $7.2 万或稍低。
以上数字仅为估算值。如果我有任何重大错误，请不吝指正。
来源：网页链接
