AI探索指南Crazy!!!在我孱弱性能的老手机上,尝试了本地离线跑DeepSeek-R1蒸馏的Qwen1.5B,竟然效果出奇的好!!才1.5B的参数规模,就能完整推理04:30 · 2025年1月27日 · 周一 × Crazy!!!在我孱弱性能的老手机上,尝试了本地离线跑DeepSeek-R1蒸馏的Qwen1.5B,竟然效果出奇的好!!才1.5B的参数规模,就能完整推理。虽然是纯CPU推理,但目测也有10 tokens/s以上的吞吐率😲惊了能在边缘设备上跑有CoT思维链的大模型,这哪怕放在1个月前,也是不敢想😵而且1.5B模型拥有深度思考能力,1个月前也是不敢想的。简直打开端侧未来想象空间!04:30 · 2025年1月27日 · 周一