DeepSeek:今天,我们正式开源大规模云服务推理框架 DeepInfer。 基于这一框架,我们已实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务。目前单一集群的服务吞吐是 155 万亿 Tokens/天,整体收入是每卡每小时 38 美金(按谷价)。
DeepSeek 竟然把自己的服务吞吐量和单卡收入都公布了...,联想到胖东来超市公布部分商品的成本价...
@aigc1024