让大模型写代码,业界已经习惯了刷 LeetCode 语法题,或者在几百行函数里找补全。StarSkirmish v0.2 换了一种非常残酷的检验方式:给模型 1 个小时,断开公网访问,让它在原生命令行环境里从零编写一个《星际争霸:母巢之战》的神族 C++ 战术引擎。这不仅要求语法不出错,模型还必须自主编译、打练习赛、看文本日志并反思改写。
结果给行业降了温。OpenAI 的 GPT-6 Astra 以 57 的胜率登顶,但在面对人类社区打磨数年的 Stardust、PurpleWave 和 BananaBrain 等顶尖手写规则 Bot 时,最强模型的胜率断崖式跌落到 7%。许多人以为通用智能早已通关星际争霸,这其实是把 DeepMind 当年的强化学习网络 AlphaStar,与现在由大模型写出符号逻辑代码的元编程混为一谈。大模型离真正解决长程软件工程,还有一道难以逾越的高墙。
战力梯队与工程性格
StarSkirmish v0.2 发布于 2026 年 10 月 15 日。评测机制是让每个模型独立跑 5 次,每次 1 小时,最终生成的 Bot 在 3 张天梯地图上与 13 个固定对手(包含 10 个主流人类手写 Bot 和 3 个演示 Bot)交手,通过总胜率定座次。

榜单呈现出清晰的断层结构。OpenAI 的 GPT-6 Astra 拿到 57 分领跑,而同门的 GPT-6.1 Sol 拿下 46 分居第二。更有意思的是成本坐标:Sol 的平均 API 消耗仅略高于 Astra 的十分之一,展现出极强的工程实用性。紧随其后的是 37 到 39 分的密集区,Google 的 Gemini 4 Argon(39)、Anthropic 的 Claude Opus 5.5(39)与 Claude Fable 5.1(37)几乎打成平手。Meta 的 Muse Wonder Full 表现欠佳,仅获 21 分。
比分数更吸引人的是模型展现出来的“工程人格”。Gemini 4 Argon 在运行中表现出极强的赌徒心态:它的构建次数和代码重写版本是全场最少的,喜欢憋大招,试图通过单次大改(One-shot)直接解决战斗。在战术选择上,Argon 极度偏爱单一波次的重兵推进,在 70% 以上的对局中选择憋金甲虫(Reaver)。虽然它有 41% 的训练赛选择挑战高难对手,但转化胜率只有 7%,而 Astra 对高难对手的转化胜率能达到 28%。
这种偏执让 Argon 呈现出极高的数据方差。它的最佳运行与最差运行胜率相差 18 个百分点,相比之下,GPT-6 Astra 的波动只有 9 个百分点,Claude Opus 5.5 只有 8 个百分点。缺乏耐心的渐进式调优,让模型很容易在错误的前提下一错到底。
评测机制转向与隐性变量
基准测试本身的变化同样需要看清。v0.1 于 2026 年 9 月 26 日发布,当时所有模型共用一套第三方的 Inspect ReAct 架构,最终输出归一化 Elo 分;到了 v0.2,环境全面切换为各家厂商的原生命令行工具,分数也直接采用实际锦标赛胜率。

这种规则变更意味着 v0.1 与 v0.2 的数据无法直接横向对比。Gemini 4 Argon 使用的是 Antigravity CLI 1.3.5,推理档位设为其支持的最高档 high;而其余多数模型在各自 CLI 里跑在 max 档位。
原生工具链的调优差异,往往会悄悄遮蔽纯粹的模型推理能力。
各个厂商的第一方 CLI 在上下文压缩机制、系统提示词模板以及终端工具调用的延迟上差异明显。当对话长度触及约 250k token 时,各家环境都会启动上下文压缩。CLI 到底是帮了模型还是拖了后腿,成了胜负背后的变量。这不是纯粹的“大脑”比拼,而是连带考察了厂商给模型套上的“外骨骼”。
人类经验的高墙尚未松动
真正的试金石是对战人类顶尖 Bot。当 Astra 面对普通规则库时还能游刃有余,但一旦对上 Stardust、PurpleWave 和 BananaBrain 这些在真实星际锦标赛里演化多年的顶尖程序,胜率便直线跌落:GPT-6 Astra 仅有 7%,GPT-6.1 Sol 仅 4%,Argon 和 Opus 5.5 则被压到 2%。

这不是语法问题。大模型完全能写出可编译、能采矿造兵的 C++ 代码,但顶尖游戏 Bot 背后是人类开发者花费数年精雕细琢的状态机、精密的几何风筝微操算法以及极具韧性的战场容错机制。在 1 小时的沙盒迭代里,模型光是修复逻辑 Bug 和调整兵种配比就已经耗尽算力,根本无力构建出深层的博弈架构。
这正是通用编码 Agent 必须面对的现实断层。在玩具级的代码片断上,大模型展现出惊人的成熟度;可一旦进入高强度、强博弈且需要长期状态演化的复杂系统,靠几轮简单反思拼凑出来的代码,在严密的人工体系面前依旧脆弱。
- 结论.对于企业级代码 Agent 落地,GPT-6.1 Sol 这种在十分之一成本下维持梯队战力的模型,比盲目追求极限跑分的旗舰更有部署价值。
- 提醒.不要把文本补全或通用跑分的高分,简单等同于复杂软件工程的替代能力;缺乏长期演化机制的 Agent 仍难以攻破核心专家系统。
