从零推理第8轮，收官之作！ 本系列最后一讲，讲蒸馏作为之前强化学习训练的高效替代方案。 （打算短暂休息一下，但我会回来的！） 00:00 引言与系列回顾 01:07 为什么要蒸馏一个推理模型？ 02:51 软蒸馏与硬蒸馏 11:06 同策略蒸馏与异策略蒸馏 18:09 为推理蒸馏准备数据 22:35 加载 DeepSeek R1 MATH 数据集 28:04 检查推理轨迹与最终答案 31:27 分词与聊天模板 35:58 预分词训练数据集 39:01 序列长度与 2,048 token 限制 42:38 创建训练集与验证集划分 45:32 加载 Qwen3-0.6B 基础模型 46:24 计算答案 token 的对数概率 54:10 蒸馏的交叉熵损失 57:25 训练与验证损失辅助函数 1:02:03 实现蒸馏训练循环 1:07:26 运行独立训练脚本 1:09:41 绘制训练与验证损失曲线 1:11:31 在 MATH-500 上评估检查点 1:14:09 比较教师模型与蒸馏结果 1:16:34 推理模型的未来方向 1:19:41 附加练习与后续步骤
机器翻译
