关于AIGC人工智能、思维方式、知识拓展,能力提升等。投稿/合作: @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
✅豪礼大放送、高端嫩模、劳力士手表、奔驰E300等大礼等你来豪夺、首存日存彩金送不停
✅u存u提每日提款无上限,随便提、全球不限ip、免实名绑定手机号码、银行,大额出款无忧 (您的最佳选择,欢迎体验)
#亚洲顶级真人视讯博彩盘口!
🔥平台
📢重磅消息首存彩金一倍流水
首存1000送108+100
首存3000送238+188
首存5000送358+188
首存10000送528+188
首存30000送788+188
首存50000送1088+188
首存80000送1488+188
💖福利频道:@qsty8999
💖体育赛事推单:@QSTY988
💖午夜剧场:@madoudp9
💖vip客服专属热线,添加客服领取活动福利
双向用户点击:@qsty168168_bot
🌐注册网址: qs1848.cc
这是一个操作系统系列模型,最小参数 20B 最大参数 120B
模型的配置文件也被泄露:
MoE Transformer:36 层,128 个专家,Top-4 路由
注意力:64 个注意力头、每头 64 维;GQA
总参数(稀疏总量)≈ 116B
训练/基础上下文:initial_context_length: 4096
RoPE 长上下文扩展:可将可用上下文扩至约 4096×32 ≈ 131k tokens
滑动窗注意力:sliding_window: 128 表示主要采用 局部注意力窗口 128
KV 缓存占用:每 token 每层 K+V 元素数 ≈ 72 KB/token。GQA 已显著降低占用。 #ai创造营#