284B 的 DeepSeek 塞进 64GB 内存，不用显卡：llama-modchip 登上 HN

11 月 2 日站里发过一篇 FreeToken 把 284B 模型塞进游戏电脑，那篇靠的是显卡。这篇反过来：不要显卡，只要 64GB 内存。开源项目 llama-modchip（v2.4.0）用一套 llama.cpp 内核补丁和超激进的量化，把 284B 的 DeepSeek-V4-Flash 压进 57GB 内存，在一颗 16 核 AMD CPU 上跑了起来，11 月 8 日晚登上 Hacker News 首页，314 分、118 条评论。

数字先摆出来，来源是仓库 README 本人——全部是作者自报，未独立验证，读的时候心里要有这根弦。DeepSeek-V4-Flash 一共 284.33B 参数，但 MoE 结构每 token 只激活 13.17B。标准 UD-IQ1_S 量化要 76.87 GiB，塞不进 64GB 内存；modchip 用自己的 Fractal-64 量化压到 56.56 GiB（约 1.71 bit/参数），256K 上下文峰值内存 57.61 GiB，刚好卡进 64GB 机器约 62.5 GiB 的可用内存，零 swap。速度上，16 核 AMD Ryzen 9 9955HX 纯 CPU：prefill 44.36 tok/s，decode 9.1–14.7 tok/s，0 GPU。同项目还支持 Nemotron-3.5-30B-A3B：14.35 GiB，纯 CPU 25–60.4 tok/s。

它靠三招做到：一是量化够狠，专家权重压到约 1.56 bit/参数，敏感层才留到 2 bit；二是内核够专，AVX-512BW 四级寄存器 tiling，自称 prefill 快 77%、decode 快 53%；三是推测解码够巧，一个 1.64MB 的 Stockfish-PVS 小模型先猜、再由大模型验，KV 快照存在 /dev/shm 里，13.1 毫秒就能恢复一个 40 工具的 Claude Code 会话。顺带一提，项目自带 ./modchip claude 命令，能把 Claude Code 直接接到本地这个 256K 引擎上——这就是它跟纯跑分项目的区别：目标不是“跑起来”，是“接进你的 agent 工作流”。

但有三件事必须先说清楚。第一，1.71bpw 是极激进的量化，仓库里“1.00000 的 logit 余弦相似度”“100/100 质量门”都是作者自己的评测门，不是第三方跑分——拿它写生产代码之前，先用你自己的任务跑一遍评测，别信仓库里的满分。第二，这些模型文件用了自定义张量类型，原版 llama.cpp、Ollama、LM Studio 会直接拒绝，必须用项目自带的二进制。第三，标题速度要 Zen 5 的 AVX-512，普通笔记本 CPU 别照搬；decode 9–15 tok/s 能聊天、能跑 agent，但长文生成会慢。

我的判断是，这件事值得看的不是“284B”这个数字，而是它点破的方向：MoE 模型每 token 只激活一小部分参数，本地跑大模型的瓶颈正在从“显存”变成“内存够不够装下冷专家、带宽够不够喂给计算核心”。64GB 内存的台式机，现在能离线跑旗舰级开源模型接 Claude Code——对不想把代码发给云端的人，这条路通了。代价也很明确：量化越狠，质量越要自己验。

这个结论不成立的情形：如果你要的是开箱即用的稳定体验，Ollama + Qwen3 这类常规路线仍然更合适（站里 11 月 8 日发过一篇）；modchip 是给愿意折腾内核补丁、自己验质量的人准备的。以及，如果你只有 16GB 内存的笔记本，别看 284B，看它同项目里的 Nemotron-30B，那个才是 16–32GB 档位的菜。