Baseten 发布了两款采用 Google Gemma 4 的开放权重决策模型 bison-1 和 groundhog-1。两款模型都把上下文上限从上一代 mammoth-1 的 16k 提到 128k tokens。bison-1 在 Artificial Analysis 决策指数 v2.1 上拿到 76 分,在 19 款模型中居首,比 Liquid AI 的 d1.2-ultra 高 1 分。对负责工单分流的团队,这一分足以让它进入测试名单,还不足以据此减少人工复核。
Baseten 让业务直接按概率分流
bison-1 是 31B 稠密模型;groundhog-1 是总参数 26B 的混合专家模型,每个 token 约激活 4B 参数。两款模型都接收文本和图像,可在一次预填充中对同一份材料回答多道是非、选择或评级题,返回结构化结果和概率,不生成自由文本。
过去用聊天模型分工单,业务系统还要解析回复。现在它可以直接用业务阈值决定哪些工单自动处置、哪些转人工。模型是否省人,取决于维持同一高风险漏判上限时,有多少工单能跨过自动处置门槛。
<svg viewBox='0 0 760 210' width='100%' height='210' role='img' aria-label='从工单输入到按阈值分流'>
<rect x='1' y='1' width='758' height='208' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='28' y='37' font-size='19' font-weight='700' fill='#b25a3a'>概率怎样进入工单分流</text>
<line x1='28' y1='53' x2='732' y2='53' stroke='#e2dccf'/>
<rect x='28' y='83' width='200' height='96' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<rect x='280' y='83' width='200' height='96' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<rect x='532' y='83' width='200' height='96' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<line x1='237' y1='131' x2='263' y2='131' stroke='#7a7266'/><polygon points='271,131 263,127 263,135' fill='#7a7266'/>
<line x1='489' y1='131' x2='515' y2='131' stroke='#7a7266'/><polygon points='523,131 515,127 515,135' fill='#7a7266'/>
<text x='128' y='124' text-anchor='middle' font-size='17' font-weight='700' fill='#2c2822'>工单与政策</text>
<text x='128' y='149' text-anchor='middle' font-size='13' fill='#7a7266'>文本与图像</text>
<text x='380' y='124' text-anchor='middle' font-size='17' font-weight='700' fill='#2c2822'>模型给出概率</text>
<text x='380' y='149' text-anchor='middle' font-size='13' fill='#7a7266'>同一材料多题</text>
<text x='632' y='124' text-anchor='middle' font-size='17' font-weight='700' fill='#b25a3a'>业务按阈值分流</text>
<text x='632' y='149' text-anchor='middle' font-size='13' fill='#7a7266'>自动处置或转人工</text>
</svg>
榜首的一分,不能替代阈值测试
第三方榜单并非各项都领先。bison-1 在工具调用判断 When2Call 中排第一,在偏知识的 AA-Omniscience-Decision v1.1 中只排第 11。五项按正误计分的评测,都用 50 × (1 + 准确率 − Brier 分数) 计算决策分,准确率取小数。AA-Symmetry 占总指数的 15%,却不计入汇总 Brier,后者会重新归一化其余五项的权重。
Baseten 公布的对比里,bison-1 的 Brier 是 0.14,d1.2-ultra 是 0.15,越低越好。这个口径只计算所选答案的置信度误差,把答对记为 1、答错记为 0,再对置信度与正误之差取平方平均。权重占 30% 的 AA-Paperclip 甚至把整份文档当作一次决策,将 15 道题所选答案的概率相乘,只有全对才算正确。这样的汇总分既不检验整组选项的概率是否可靠,也不能说明模型在少见工单或高置信阈值附近更稳。
128k 能装多少,不等于能找准证据
Baseten 公布的 LongMemEval M 成绩中,bison-1 和 groundhog-1 分别为 84.8 和 77.4,两者都标注 128k。原版 LongMemEval 的 S 组历史约 115k tokens,M 组却约 150 万 tokens。Baseten 尚未说明 M 组如何保留历史证据,也未交代怎样将生成式问答改成给备选答案打分。当前结果只能比较两款模型在厂商设置下的表现,不能拿来和读完整历史的系统直接排名。
托管接口会拒绝超长请求,不会自动截断。若团队为了塞进预算而预先筛选历史,可能先丢掉改变工单归类的那条记录。即使输入没有超限,不生成自由文本也只省掉逐 token 解码,读取长材料仍要花时间。
bison-1 分数更高,同榜单下也更慢
Artificial Analysis 给出的同榜单加权中位耗时,bison-1 为 154 ms,mammoth-1 为 106 ms,两者得分分别为 76 和 71。耗时来自各子评测的中位数,再按权重汇总,不能拿来估算满 128k 输入的延迟。两款模型的托管输入价同为每百万 tokens 0.10 美元;groundhog-1 是 0.035 美元,但还没有同口径的第三方指数和耗时。
<svg viewBox='0 0 760 219' width='100%' height='219' role='img' aria-label='同榜单下两款模型的耗时和得分'>
<rect x='1' y='1' width='758' height='217' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='28' y='37' font-size='19' font-weight='700' fill='#b25a3a'>同榜单得分与耗时</text>
<line x1='28' y1='53' x2='732' y2='53' stroke='#e2dccf'/>
<rect x='28' y='83' width='338' height='106' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<rect x='394' y='83' width='338' height='106' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='49' y='112' font-size='15' font-weight='700' fill='#2c2822'>bison-1</text>
<text x='49' y='157' font-size='34' font-weight='700' fill='#b25a3a'>154 ms</text>
<text x='282' y='155' font-size='15' fill='#7a7266'>76 分</text>
<text x='415' y='112' font-size='15' font-weight='700' fill='#2c2822'>mammoth-1</text>
<text x='415' y='157' font-size='34' font-weight='700' fill='#2c2822'>106 ms</text>
<text x='648' y='155' font-size='15' fill='#7a7266'>71 分</text>
</svg>
低价也不代表易于自托管。groundhog-1 每次只激活部分参数,仍须为整套权重安排存储。两款新模型都发布了 BF16 权重,Gemma 底座适用 Apache 2.0,Baseten 的修改适用 MIT。旧款 mammoth-1 已有 vLLM 原生文本部署路径,默认上限 16,384 tokens,不支持图像和 instructions 字段。新款能否在本地复现托管端的概率输出、图像输入和超长拒绝行为,现有材料还不能确认。
有迁移预算的团队,可以用 bison-1 做托管长上下文基线,把 groundhog-1 放进低价候选,保留 mammoth-1 作短文本自托管对照。用同一批真实工单,在相同漏判约束和并发下,比较自动处置覆盖率、尾延迟和每次正确处置的成本。三项结果摆在一起,才能看出少掉的复核是否值得换模型。
