4GB 显存也能微调 8B 模型：Soup 用逐层流式把门槛拆成一层

微调一个 8B 模型，fp16 权重本身就要约 16GB，再加上优化器、梯度和激活，普通游戏本根本装不下。Soup 的解法是把“一次性全装进显存”改成“一次只过一层”：冻结的基座模型存在内存或硬盘里，训练时逐个解码层流进显存，训完一层换下一层，峰值显存只取决于一层加适配器。项目方自报的实测是：Llama-3.1-8B-Instruct 加 NF4 量化，在一块 4GB 的 RTX 3050 笔记本显卡上跑到 119.6 tok/s，峰值 3.32GB；二手转述称 H100 上复现到 113 tok/s，代价是耗时约为常驻训练的 1.43 倍。上手路径只有三步：装 soup-cli 的训练版，soup init 生成一份 YAML 配置，soup train 开训；它会自动判断优化器、调度和目标模块，训练前还会先做预检，装不下就直接拒绝，不会跑到一半爆显存。支持 SFT、DPO、GRPO 等 23 种方法，100 多个现成配方，模型覆盖 Hugging Face 上能用 AutoModelForCausalLM 加载的文本生成模型。但有两盆冷水要先泼。第一，逐层流式目前还是 BETA，只限 transformers 加纯文本 LoRA，速度也比常驻训练慢，它解决的是“能不能跑”，不是“跑得快”。第二，显存门槛降下来之后，真正的瓶颈会现形：数据。你拿 200 条随手拼的问答去微调，训出来的只是更自信地胡说八道，Soup 自带的评估门控会给 SHIP 或 DON'T-SHIP 的 verdict，这个 verdict 要认真看。我的判断是：对小团队和个人开发者，Soup 的价值是把领域适配从“租卡”变成“在自己电脑上先验证一版”——先在小数据上跑通、测出效果，再决定要不要为正式训练花钱上云。