魔方复原动画测试里,Claude Opus 4.8 五次尝试全部翻车,零次干净通关。同门的Claude Fable 5,五次全部干净通关。同一个"Claude"品牌,答案完全相反。

这轮横评来自 TryAI,用 12 个模型测 4 类应用,每项任务各跑 5 次。作者说得很直白:这是主观判断,不是科学基准,但所有尝试都留了公开链接,方便读者自己验证。

三个任务,三张成绩单

光线投射迷宫(Doom式第一人称迷宫)看角色能不能真的走起来。GPT-5.6 Sol 五次全过关,质量在这轮里最好;Grok 4.5 同样5/5,成本却低得多;GPT-5.6 Luna 也是5/5,成本最低。Muse Spark 1.1 只成功两次,但成功时质量能追平Sol——能力上限高,不代表每次都够得到。

光线投射迷宫:三家满分模型的成本差 GPT-5.6 Luna 0.15¢ Grok 4.5 0.27¢ GPT-5.6 Sol 1.35¢ 五次全部可玩,成本却相差9倍(每5次调用总价)

魔方任务测的是打乱后能不能干净复原,动画不能卡顿、颜色不能跳变。Claude Fable 5 五次全部通关;Claude Opus 4.8 五次全部翻车。GPT-5.6 Luna 在这里也是0/5,一打乱就崩;GLM-5.2 同样挂零。

同门不同命:魔方任务清洁通关率 Claude Opus 4.8 0/5 五次尝试,全部翻车 Claude Fable 5 5/5 五次尝试,全部干净通关 同一家公司,两档模型给出相反答案

计算器任务看着最简单,却翻车得最没道理。Kimi K2.6 五次全灭,原因是处理不了负数。GPT系普遍用力过猛,一个计算器也要做3D效果、加多余按钮,反而更不稳。Qwen 3.7 Plus 便宜又稳,4/5,五次调用总成本只要0.04美分。

任务表现最好表现最差关键变量
光线投射迷宫GPT-5.6 Sol(5/5,质量最佳)Muse Spark 1.1(2/5,成功时质量追平Sol)成本相差近9倍
魔方复原动画Claude Fable 5(5/5)Claude Opus 4.8(0/5)同门两极分化
计算器Qwen 3.7 Plus(4/5,成本0.04¢)Kimi K2.6(0/5,负数处理失败)简单任务不等于零风险

原文还测了第四个应用,但完整数据没有给出,这里不展开。

对开发者和技术圈读者意味着什么

对做小工具生成的开发者,这轮测试给出的提示很具体:同一家公司的不同档位模型,不是同一套能力打折出售,是完全不同的工程取舍。选Claude不能只看品牌,要先看具体任务的历史通过率。

如果任务里有数值边界,比如计算器要处理负数、除零,Kimi K2.6 这类模型需要单独测试,不能直接信任demo效果。高频调用、预算敏感的场景,Grok 4.5和Qwen 3.7 Plus这类低成本高稳定组合更值得先试,但同样要按具体任务验证,不能照搬这轮的通过率。

对跟踪模型性价比的读者,这轮结果说明"开源全面落后"或"闭源全面领先"都站不住。Qwen便宜又稳,GLM-5.2和Kimi K2.6却在某些任务上直接挂零。开源与闭源的差距,已经变成任务对任务的差距,不是阵营对阵营的差距。

下一轮如果把尝试次数从5次拉长到10次,或者换成更接近真实项目的复杂场景,同门模型的两极分化会不会缩小,这是比"谁赢了"更值得盯的问题。

稳定比高光重要

峰值能力决定种草,交付稳定性决定能不能真用。孙子说"兵无常势,水无常形",放在这轮测试里恰好对上:没有一个模型能在三个任务里通吃,连同门兄弟都能打出天壤之别。

Claude Opus 4.8和Fable 5的分裂说明品牌不能兜底。Qwen 3.7 Plus 性价比突出,但同为开源的GLM-5.2和Kimi K2.6在各自任务上直接挂零,"开源能打"这句话得看具体任务才算数。

AI编程工具卖的不是一次演示的惊艳,是十次、一百次调用后依然靠谱那份笃定。Muse Spark 1.1 的2/5,就是"高光但不可靠"留给真实产品的一个具体案例。