在 256MB 内存的廉价开发板上本地运行十亿参数级 LLM 的纯 C 推理引擎
PicoLM 是约 2500 行 C11 写的极简 LLM 推理引擎,零依赖、单文件约 80KB,能在树莓派 Zero 2W、LicheeRV Nano 这类廉价板子上跑 TinyLlama 1.1B 等 GGUF 模型。
https://github.com/RightNow-AI/picolm
AI探索 | Hermes/OpenClaw|优质资源|优质信息
PicoLM 是约 2500 行 C11 写的极简 LLM 推理引擎,零依赖、单文件约 80KB,能在树莓派 Zero 2W、LicheeRV Nano 这类廉价板子上跑 TinyLlama 1.1B 等 GGUF 模型。
https://github.com/RightNow-AI/picolm
AI探索 | Hermes/OpenClaw|优质资源|优质信息