FreeToken 今天又上 GitHub 日榜：284B 的模型塞进游戏电脑，靠的不是显卡变大

FreeToken 在 11 月 2 日的 GitHub Daily Picks 里再度出现，单日新增 242 星，总数随快照时点在变，这篇不钉死总数。先说清它是什么：一个来自 UC Berkeley 与 UT Austin 团队的边缘原生 MoE 推理引擎，Apache-2.0 开源，2026 年 8 月发布，论文见 arXiv:2608.16157。它解决的问题很具体：MoE 模型总参数很大，但每次推理只激活一小部分专家——DeepSeek-V4-Flash 总共 284B，每 token 只激活约 13B。这 13B 本可以塞进 16–24GB 显存的消费级显卡，但剩下的 271B 非激活参数无处可去，只能放在系统内存里，每次按需经 PCIe 取回。FreeToken 的做法是把整台电脑当成一个推理系统来调度：GPU、CPU、系统内存与互联带宽统一编排，常用专家缓存在显存里，完整专家池留在内存中，带宽自适应的 CPU-GPU 协同执行，辅以全局 LRU 专家缓存与全层双缓冲预填充流。作者自报的数字要分开读：Qwen3.6-35B-A3B 在 RTX 5090 上约 77–83 tokens/秒，在 8GB 的 RTX 4060 笔记本显卡上约 39 tokens/秒；DeepSeek-V4-Flash 在 RTX 5090 上约 22–25 tokens/秒；作者称在 5 台消费级机器上比最强的受支持基线快 1.3–2.1 倍，首 token 最差情况低于 44 秒，而基线在某些格子里超过 150 秒。这些是作者在论文里的自报数字，没有独立复测，读的时候要打折。支持的模型超过 20 个 MoE 模型，包括 DeepSeek-V4、Qwen、GLM、GPT-OSS、Gemma 与 MiniMax，量化格式覆盖 MXFP4、NVFP4、FP8 与 BF16；它还暴露 OpenAI 兼容与 Anthropic 兼容的接口，可以直接插进 coding agent 与工具调用 agent。上手门槛也要先说：桌面应用支持 Windows 与 Linux，命令行目前要求 Linux x86_64、NVIDIA GPU（r580 以上驱动）、Python 3.10 以上、CUDA 13 与 nvcc，AMD 支持仍在进行中；快速上手用 Qwen3.6-35B-A3B 先测，命令是 ft serve --model ~/models/Qwen3.6-35B-A3B，接口在本地 127.0.0.1:1919。磁盘、内存与电费不是免费的：引擎本身开源免费，但模型权重、内存、存储与运维成本都在你这边。我的判断：FreeToken 值得试的人，是已经有一台带 NVIDIA 显卡的电脑、又想在本地跑开源 MoE 模型而不想付云端 token 账单的人——先从 35B 档起步，确认你机器上的速度与显存占用，再决定要不要挑战 284B。只想跑小模型、或主力是稠密模型的人，FreeToken 的 MoE 优化对你帮助有限，Ollama 这类通用引擎更省事。还有一条反直觉的提醒，来自独立评测的观察：本地能跑起来不等于本地够好用——有评测者在一台 i7 + RTX 4070 + 64GB 内存的机器上跑 gpt-oss-20b 做文档摘要与编码，仍觉得不够用。引擎解决了“能不能跑”，模型本身的能力边界还在，本地部署的算账要把“效果够不够”也算进去。什么情况下这篇结论不成立：你用的是 AMD 显卡或 macOS 机器，那命令行路径目前就不适用；或者你的主力模型不是 MoE，那它的核心优化打不到你的场景；又或者你把作者自报的速度当成保底承诺——那组数字没有独立复测，实际速度随模型、显卡、显存、内存带宽与量化格式大幅波动。