让两只大模型组队玩宝可梦双打，不仅能实时纠正水系与格斗系的属性克制认知，还能靠语音协商把胜率拉到 64%，甚至压过一个大脑同时操纵两只宝可梦的表现。德州农工大学 Oliver Grabner 基于 Pokémon Showdown 双打搭建的多智能体对战实验，给大模型协作提供了一个极其漂亮的竞技叙事。
但在多智能体系统里，越是显得自发与聪明的协同，越要翻开代码看代价。
自由对话的胜率与算力代价
宝可梦双打属于典型的不完全信息博弈。对手的携带道具、努力值分配与招式完全隐藏，伤害自带微小浮动，胜负依赖集火、轮换与保全队友的预判。现有的多智能体协作研究大多集中在 ChatDev、MetaGPT 这种流水线式的上下游任务传递，缺乏动态博弈下的即时协商基准。
Grabner 选用 Qwen3.8-27B 构建了双人队伍，在 0.11.11 版本的 Pokémon Showdown 模拟器中测试不同沟通模式对抗脚本机器人的胜率。实验结论呈现出教科书般的梯度递进。
从 42% 到 64%，整整 22 个百分点的跃升，似乎坐实了沟通创造智能的假设。更扎眼的是，自由对话甚至赢过了由同一个模型统筹全局的 54% 胜率。作者据此推论，收益来自两台模型交互讨论的过程，而不是单一大脑的统筹规划。
然而，这种性能提升背后伴随着惊人的推理开销。自由对话场均吃掉 978k prompt tokens，几乎是无沟通组 259k 的 3.8 倍。在 API 客户端单次调用上限被放宽到 32,768 tokens、且未设立单局总算力预算的前提下，胜率的激增究竟来自协同的智慧，还是纯粹靠算力堆砌，需要打上一个问号。
扒开代码：底牌透明与特权通信
翻看该项目开源在 GitHub 的实现逻辑，会发现这并非一场对等的博弈。
在 Free talk 模式下，作者设置了每回合最高互通 20 条消息的上限。但致命的偏差在于行动锁定机制：当其中一只宝可梦的智能体调用 choose 动作锁定了自己的出招后，环境并不会等待双方同时提交，而是立即把这一选择广播给未提交行动的队友。
后动者不仅知晓队友的最终决定，还能在此基础上继续发送私聊或者微调方案。而在 No talk 模式下，智能体只能使用 choose 工具各自盲选，毫无行动互通。
所谓的协商涌现，很大程度上被出老千式的开牌特权掩盖了。
把后选者看到先选者指令的特权，与自然语言的沟通价值混为一谈，是多智能体评测极易踏入的混淆变量泥潭。
粗糙的标尺测不出真智能
除了行动泄露与算力不均，实验所采用的基准对手也值得推敲。测试选用的对手名为 maxpower bot。代码实现表明，这是一个极度简陋的贪心启发式脚本：它仅按照招式基础威力、命中率、本系修正和属性克制做粗暴加权，遇到可变威力的技能一律按 60 算，遇到同分随机丢骰子。它完全忽略了宝可梦实际的攻防种族值、防御端特化、特性配合以及携带道具。
在 NeurIPS 2025 的 PokéAgent Challenge 中，包含了 400 万条人类对战轨迹与 1800 万条合成轨迹，其基准测试涵盖了 Gen 1 OU 与 Gen 9 OU 单打。在那套严密体系下，专用强化学习模型（如 Metamon）完全压制了通用大语言模型。面对复杂的深度博弈，大模型靠单轮 prompt 很难抗衡长程规划。
而在 Grabner 的实验中，对战样本量与置信区间完全处于未公开状态，输出 token、GPU 时间与美元成本亦无列出。面对一个纯粹靠静态数值打人的启发式脚本，64% 与 54% 之间仅有 10 个百分点的落差，在统计学上是否显著都存疑。
- 风险.若评测无法剥离额外信息暴露与算力膨胀的影响，所谓多智能体协同就只是一场昂贵的幻觉。
《淮南子·说林训》有言：“同舟而济，胡越何患其异。”两只模型在战局里看似患难与共、分工拆火，但真正的协同智能应当建立在规则公平、信息透明与资源受限的前提之上。
剥离行动泄露特权、在严格统一的推理预算下重测，是这套环境成为合格基准前必须迈出的一步。否则，多智能体沟通的胜率跃迁，就只是一场把算力换算成消息弹窗的数字游戏。