多数开发者对推理模型的理解，正被 API 接口框死在两个极端，要么把 DeepSeek R1 和 OpenAI o1 当作不可探知的庞然大物，要么以为给提示词加上一段思维链就算完成了升级。2026 年 10 月 24 日，AI 研究学者 Sebastian Raschka 发布了一套总长超过 11 小时的视频课程与开源代码，选择在 PyTorch 层面把推理模型的底层逻辑从头写了一遍。
这场教学实验没有去堆砌上千亿参数的算力神话，而是选用轻量的 Qwen3 0.6B 作为基座。它交付的信息极为明确：推理能力不是提示工程变出来的戏法，而是依赖强化学习（RLVR）与测试时扩展（Inference Scaling）后天训练出的工程能力。
引擎与鞍具：理清推理模型与 Agent 的边界
业内过去一年热衷于讨论 AI Agent，但很多团队在实际落地中混淆了执行层与思考层。Raschka 在课程开头给出了一个清晰的机械隐喻，将常规语言模型与推理模型视作动力引擎，而外部的工具调度、上下文管理与多轮编排框架则是 Agent Harness（控制鞍具）。
传统的 Agent 往往套在基础生成模型之上，遇到逻辑死结只能靠外部规则硬拽；而推理模型的核心价值，在于通过可验证奖励强化学习（RLVR），让模型内部形成自我质疑与分支验证的思考轨迹。
市面上的课程划分得很开，Hugging Face 的 smol-course 偏向应用层微调，Stanford CS336 着眼于分布式系统底层工程。Raschka 的切入点则卡在两者之间，不用任何现成训练库的高阶抽象封装，用最原始的 PyTorch 矩阵操作和损失函数，把 GRPO（Group Relative Policy Optimization）的相对优势计算与 KL 散度约束完整还原。
0.6B 小模型的蜕变：数学基准测试下的跃升
让一个仅有数亿参数的边缘级小模型去解数学题，听起来像是堂吉诃德式的实验。真正的 DeepSeek R1 拥有 671B 规模的庞大躯体，其泛化推理具备明显的规模涌现特征；但 Raschka 的实验意图在于做机制归因，而不是跑分竞赛。
在最具代表性的 MATH-500 基准测试中，未经过强化训练的 Qwen3 0.6B 基座表现孱弱，准确率仅有 15.2%。但在引入包含答案标准化比对、数学等价性校验的验证器后，模型接入 GRPO 训练循环，通过生成多个候选答案、计算组内相对回报并更新权重。
随着推理链路被奖励机制引导拉长，该模型的准确率直接跃升至 47.4%。
这个跳变证实了一个常被误解的事实，即所谓的推理能力，很大程度上是模型在特定规则约束下，学会了分配更多的前向生成步数来进行自检与试错。它不需要魔法，只需要可量化的奖励信号。
算力现实：GRPO 训练的显存暗礁
然而，脱离硬件代价空谈算法提升是不切实际的。Raschka 在公开代码中记录的运行配置，直击推理训练真正的现实瓶颈。
在自回归阶段，通过 KV 缓存与模型编译，0.6B 模型几乎可以在任何消费级硬件上流畅推理。但一旦切入 GRPO 的训练阶段，显存压力便呈现断崖式上升。为了形成组内相对优势，模型必须同时针对同一提示采样 8 个响应，当序列长度设定在 1024 tokens 时，训练过程的显存峰值瞬间逼近 30.5 GB。
硬件门槛下，常规 24GB 消费级显卡在此类训练配置下直接面临 OOM（内存溢出）这意味着即便是最小量级的 0.6B 参数模型，想要进行完整的强化学习调教，单张消费级显卡也捉襟见肘。
- 风险.当前强化学习推理高度依赖数学和代码等客观答案环境，这类规则驱动的验证奖励机制在向缺乏唯一解的通用逻辑迁移时，往往面临奖励欺骗与泛化失效的困境。
学界目前对小模型实验的批评十分尖锐，认为 0.6B 的算法收敛能够验证机制有效性，但无法替代 671B 级别在常识世界中的隐式联想。
纸上得来终觉浅，绝知此事要躬行。
在 API 调用日益廉价的时代，理解模型内部如何在张量与梯度间完成纠错，恰恰是应用工程师拉开技术身位的分水岭。知道引擎如何消耗算力，才不至于在未来更大的架构变动前束手无策。