魔方复原动画测试里,Claude Opus 4.8 五次尝试全部翻车,零次干净通关。同门的Claude Fable 5,五次全部干净通关。同一个"Claude"品牌,答案完全相反。
这轮横评来自 TryAI,用 12 个模型测 4 类应用,每项任务各跑 5 次。作者说得很直白:这是主观判断,不是科学基准,但所有尝试都留了公开链接,方便读者自己验证。
三个任务,三张成绩单
光线投射迷宫(Doom式第一人称迷宫)看角色能不能真的走起来。GPT-5.6 Sol 五次全过关,质量在这轮里最好;Grok 4.5 同样5/5,成本却低得多;GPT-5.6 Luna 也是5/5,成本最低。Muse Spark 1.1 只成功两次,但成功时质量能追平Sol——能力上限高,不代表每次都够得到。
魔方任务测的是打乱后能不能干净复原,动画不能卡顿、颜色不能跳变。Claude Fable 5 五次全部通关;Claude Opus 4.8 五次全部翻车。GPT-5.6 Luna 在这里也是0/5,一打乱就崩;GLM-5.2 同样挂零。
计算器任务看着最简单,却翻车得最没道理。Kimi K2.6 五次全灭,原因是处理不了负数。GPT系普遍用力过猛,一个计算器也要做3D效果、加多余按钮,反而更不稳。Qwen 3.7 Plus 便宜又稳,4/5,五次调用总成本只要0.04美分。
| 任务 | 表现最好 | 表现最差 | 关键变量 |
|---|---|---|---|
| 光线投射迷宫 | GPT-5.6 Sol(5/5,质量最佳) | Muse Spark 1.1(2/5,成功时质量追平Sol) | 成本相差近9倍 |
| 魔方复原动画 | Claude Fable 5(5/5) | Claude Opus 4.8(0/5) | 同门两极分化 |
| 计算器 | Qwen 3.7 Plus(4/5,成本0.04¢) | Kimi K2.6(0/5,负数处理失败) | 简单任务不等于零风险 |
原文还测了第四个应用,但完整数据没有给出,这里不展开。
对开发者和技术圈读者意味着什么
对做小工具生成的开发者,这轮测试给出的提示很具体:同一家公司的不同档位模型,不是同一套能力打折出售,是完全不同的工程取舍。选Claude不能只看品牌,要先看具体任务的历史通过率。
如果任务里有数值边界,比如计算器要处理负数、除零,Kimi K2.6 这类模型需要单独测试,不能直接信任demo效果。高频调用、预算敏感的场景,Grok 4.5和Qwen 3.7 Plus这类低成本高稳定组合更值得先试,但同样要按具体任务验证,不能照搬这轮的通过率。
对跟踪模型性价比的读者,这轮结果说明"开源全面落后"或"闭源全面领先"都站不住。Qwen便宜又稳,GLM-5.2和Kimi K2.6却在某些任务上直接挂零。开源与闭源的差距,已经变成任务对任务的差距,不是阵营对阵营的差距。
下一轮如果把尝试次数从5次拉长到10次,或者换成更接近真实项目的复杂场景,同门模型的两极分化会不会缩小,这是比"谁赢了"更值得盯的问题。
稳定比高光重要
峰值能力决定种草,交付稳定性决定能不能真用。孙子说"兵无常势,水无常形",放在这轮测试里恰好对上:没有一个模型能在三个任务里通吃,连同门兄弟都能打出天壤之别。
Claude Opus 4.8和Fable 5的分裂说明品牌不能兜底。Qwen 3.7 Plus 性价比突出,但同为开源的GLM-5.2和Kimi K2.6在各自任务上直接挂零,"开源能打"这句话得看具体任务才算数。
AI编程工具卖的不是一次演示的惊艳,是十次、一百次调用后依然靠谱那份笃定。Muse Spark 1.1 的2/5,就是"高光但不可靠"留给真实产品的一个具体案例。
