Colibri：纯 C 写的推理引擎，把 700B 级大模型塞进普通电脑

它是干啥的
个人开发者 JustVugg 写的纯 C、零依赖推理引擎，10 月 GitHub 月榜第 5。狠活是：从磁盘流式加载 MoE 专家权重，据项目介绍能把 744B 参数的 MoE 大模型（约 372GB 权重）在消费级机器上用约 25GB 内存跑起来，不需要 GPU（项目方说法，实际体验因机器而异）。

核心功能

• 纯 C 零依赖，编译完就能跑。
• MoE 架构的稀疏特性：推理时只加载被激活的专家权重，内存占用大幅下降。
• 适合研究推理引擎实现，代码干净可读。

博主们拿它干嘛

• 本地跑超大模型的发烧友：笔记本无独显跑大模型的演示在好几个语种的教程区都火了。
• 推理引擎研究者拿它当学习材料——零依赖的 C 实现比大框架好读得多。

适合谁：本地部署发烧友、推理引擎学习者。仓库：github.com/JustVugg/colibri。