大模型网关与护栏系统正试图甩掉传统文本生成的沉重包袱。vLLM Semantic Router 团队正式开源 Decision 3.0 决策模型家族，基于 Apache-2.0 协议发布，涵盖从 0.8B 到 27B 的 5 种参数规格。这套模型放弃了生成自由文本让下游解析的传统做法，转而直接输出结构化概率，试图将大模型系统里的路由与护栏变成毫秒级反应的系统一。
长期以来，AI 架构师为了拦截一条越狱请求或把提示词分流到最划算的后端模型，往往需要调用另一个大模型输出一段 JSON 并做文本解析。这种模式延迟高、算力开销大，且容易遭遇 JSON 格式损坏。Decision 3.0 依靠单次前向传播直接输出选择题、是非题或连续分值的概率，标志着语义路由生态向原生多模态与端到端轻量化推理迈出了关键一步。但工程团队很快就会发现，评测榜上的高概率与生产环境的真正稳定性之间，仍横亘着一道未被校准的技术鸿沟。
告别自回归解析，用概率重构系统一路由
Decision 3.0 的核心逻辑在于将大模型分流退行回本质的分类器形态。整套家族覆盖 d3-lite（0.85B）、d3-nano（2.21B）、d3-mini（4.54B）、d3-flash（8.39B）以及旗舰款 d3（26.09B）。该系列全系基于通义千问 Qwen 基座微调，其中 27B 旗舰建立在 Qwen3.8-27B 之上，其余小尺寸版本则基于 Qwen3.5 相应分支，并在每一款模型中均集成了 0.10B 至 0.46B 不等的视觉编码器，支持同时接收文本、JSON、最高 1.6 百万像素的图像输入乃至视频信号。
这套体系与传统多模态大模型的根本不同在于输入与输出机制。开发者传入请求上下文与预设问题后，系统不产生自回归文字，而是直接为每个命题返回确定性的浮点数概率。
在 AMD Instinct MI325X 单卡单请求测量环境中，官方最新模型卡数据显示，旗舰模型 d3 的中位数延迟分别达到 文本 55 毫秒、图像 273 毫秒、10秒视频 553 毫秒；而面向高吞吐场景设计的 9B 级别 d3-flash，文本延迟进一步压缩至 19.1 毫秒，图像和视频耗时也分别仅需 149.4 毫秒与 407.6 毫秒。
相比上一代产品，性能飞跃尤为明显。根据官方测试配比，d3-flash 文本得分达到 59.0，较上一代 9B Decision 2.0 提升了 11.0 分，甚至超越了上代 27B 模型的 55.9 分表现；旗舰 d3 也较上代 27B 提升了 8.5 分。Semantic Router 架构本身设计包含了提取 13 种信号类型的管线、布尔策略引擎与 13 种模型选择算法，并将 HaluGate 幻觉拦截门控等安全插件解耦。这套组合拳的意图非常明确：在主力模型接客之前，以极其低廉的算力代价完成首轮安检和分诊。
榜单迷雾与竞品夹击下的跑分错位
Decision 3.0 的推出直接将开源决策模型推向了与闭源及半开源阵营的竞争前线。其核心参照物是 Perplexity Decider 与 Torchcast Decision。但在审视其亮眼战绩时，必须辨清媒体报道与官方元数据之间的口径差异，以及基准版本上的时间错位。
部分早期技术报道引述的评测数据滞后于模型迭代：早期快照中 d3 文本得分为 64.1，延迟标为 84 毫秒，且未记录视频支持；而官方模型卡最新快照显示，d3 在 Jev Decision Index 0.3.1 的文本综合得分实际为 64.7，公共评测集亮点得分达 65.45，视觉看板得分达 71.6，并在新增的视频感知测试中拿到 77.4。
| 决策模型 | 参数规格 | 基础模型 | Jev Index (v0.3.1) | 视觉得分 | 文本延迟 (MI325X) | 开源协议 |
|---|---|---|---|---|---|---|
| d3 | 26.09B | Qwen3.8-27B | 64.7 (自测) | 71.6 | 55 ms | Apache-2.0 |
| Perplexity Decider v1.1 | 26B | Qwen3.8-27B | 62.8 | 70.6 | 未公开 | Apache-2.0 |
| Torchcast Decision | 27B | 未公开 | 59.9 (0.3.1映射) | 未公开 | 未公开 | 专有 / 未开源 |
| Decision 2.0 Vega | 29.37B | Qwen3.8-27B | 55.9 | 未支持 | 71.4 ms | Apache-2.0 |
基准版本的不对齐是当前决策模型横向对比中最容易被忽视的陷阱。例如，Torchcast 在早先的 Decision Index 0.2.1 体系中自测得分曾达 65.00，但在 d3 采用的 0.3.1 跨版本评估表中其对应映射得分仅为 59.9。
此外，尺寸级别也并非全面碾压。虽然 4B 的 d3-mini 和 9B 的 d3-flash 双双领跑同级别文本与视觉榜单，但 0.8B 的 d3-lite 在视觉任务上落后于 JPT-0.8B（41.1 比 42.1），2B 的 d3-nano 文本表现也落后于 LiquidAI d1-3B（35.8 比 40.1）。更重要的是，MMMU-Pro 专业视觉感知（46.2）与恶意识别（44.6）两项短板表明，小体积决策模型应对复杂恶意样本审查时依然存在性能折损。
浮点数背后的陷阱：分类概率不等于业务成功率
技术团队如果仅凭基准高分就将 Decision 3.0 接入生产流量，极易踩入系统级陷阱。其核心风险在于：模型输出的意图分类概率，并不等同于下游业务的真实执行成功率。
路由模型算出的高概率，只是对输入标签的置信度，绝非下游系统能完成任务的承诺。
在大规模生产环境中，开发者需要确认的是被选中的候选模型能否达成业务目标，而 Decision 3.0 交付的只是请求属于某一类别的条件概率。目前官方仅公布了常规准确率类指标，尚未披露期望校准误差（ECE）、Brier 分数以及关键的分布外（OOD）拒识指标。缺乏这些置信度度量，强行拿裸浮点数作为硬性路由拦截阈值，无异于盲人摸象。
- 风险.下游模型微调或视觉编码器轻微修正，都会直接引发特征分布漂移，导致原本固化的置信度阈值发生大面积误拦截或雪崩式失效。
社区过往的工程实践已经出现过前车之鉴：仅仅因为修正了视觉编码器底层权重，原本设置的图像路由阈值就发生了严重分布漂移，导致部分正常图像请求被护栏大规模拒识。生产级路由必须把模型版本、编码器工件以及版本化的正负校准集强行绑死。
项目团队目前正在 GitHub 上推进“受校准成功率约束的模型选择”（calibrated success-constrained selection）机制，试图在架构层将校准成功概率、不确定性、证据范围与降级原因做类型化封装。对于基础设施架构师而言，在生产网关引入 Decision 3.0 前，必须先搭建独立于模型之外的置信度监控与版本化断言机制，否则再快的系统一反应，也只会加速错误决策在下游链条里的级联放大。