海事分析师问 Shippy 一句"巴拿马专属经济区上个月的捕捞活动",这个AI要去查边界、查事件,给出一个能拿去指挥巡逻船的答案。答错了,轻则巡逻资源打水漂,重则让执法人员多冒一份险。
Ai2 旗下海事监测平台 Skylight 在 2026 年 7 月 15 日发的这篇技术博客,谈的就是怎么防住这种答错。有意思的地方不在模型多聪明,在于团队几乎把全部笔墨都花在了"怎么不让模型乱来"上。
发生了什么:Shippy 是谁在用,答错代价在哪
Skylight 是个免费平台,服务对象是政府机构和 NGO 的海事分析师,合作方超过 300 家,业务覆盖 70 多个国家。Shippy 是它接入对话式AI后的产品,连的是持续更新的卫星与船只信号数据,不是一份静态快照。
几个关键点:
- 做什么.回答海事态势问题,查边界、查可疑船只行为、给可验证的答案
- 服务谁.政府海事部门、NGO 分析师,答案会直接影响巡逻部署
- 为什么答错代价高.漏掉一次可疑行为,或者边界查错,后果是资源错配,任务人员风险上升
- 不做什么.系统明确拒绝法律定性和军事情报类请求,只做态势辅助
这个用户规模决定了 Shippy 没法靠"模型大概率答对"糊弄过去。渔业执法这类工作,答案是拿来指挥行动的,不是聊天记录。
怎么把出错空间收紧:从模型自由发挥到四层关卡
Ai2 把 Shippy 拆成四层,一层管一层,层层往下收窄出错的地方。
| 层级 | 干什么 | 解决什么问题 |
|---|---|---|
| Agent 层 | soul(系统提示词划红线)+ skills(任务操作手册,遵循 Claude Code、Codex 同款技能规范)+ config(框架、模型,可替换) | 划定行为边界,模型和框架都是插拔件 |
| CLI 层 | 类型化命令,如 skylight events search,统一处理认证、分页、几何参数、结构化输出 | 模型不再手拼 API,早期版本分页丢结果、几何编码出错的问题堵上 |
| 沙箱层 | 托管平台 Mothership 为每个用户会话单起一套 Kubernetes 部署,注入用户 Skylight JWT | 数据只归本人,文件不串会话 |
| 评测层 | 领域专家写场景、定权重,LLM 裁判逐项打分,过一道及格线才放行 | 版本回归不过关,不给用户用 |
config 目前指定 OpenClaw 框架配 Claude Opus 4.6,换模型换框架只是改一行配置,不用重建整套系统——这也说明 Ai2 并不指望靠某个具体模型建立优势。
早期版本让 Shippy 直接自己拼 API 请求,吃过亏:分页悄悄丢结果,几何编码出错,query 看着对却用错过滤器。专用 CLI 是踩坑之后补的课,不是一开始就设计好的。
评测捅出的三个窟窿,谁该多留个心眼
评测本身也没走通用基准,是针对"模型+技能+沙箱"整体流程自建的:领域专家写场景、定权重(查捕捞事件,数据准确性权重最高),LLM 裁判打分写理由,加权后过及格线,用开源框架 Harbor 跑,连真实数据一起测。
这套流程揪出了三个具体问题:
- 巡逻规划类任务里,Shippy 有时越界给出战术建议,而不只是辅助决策
- 涉及复杂边界的查询,几何简化会漏掉本该命中的事件
- 出现过一次,Shippy 凭空编了一个不存在的 CLI 命令
Ai2 没说这些问题解决了,只说每一项都指向下一轮技能改进。
要留意一个限制:这是团队自报的内部结果,不是第三方独立验证。博客没给样本量、没给具体通过率、没给和基线模型的对比数据——读者暂时没法判断 Shippy 到底可靠到什么程度,这一点目前还看不清。
对企业级智能体开发者,这套架构给的参考不是"Shippy 现在多好用",是一个可以照抄的顺序:先把模型自己拼工具调用的自由度收掉,换成类型化 CLI;再把会话隔离做实;评测跟着版本走,回归不过不上线。对负责高风险行业AI落地、合规评测的技术负责人,更实际的动作是:采购或复用这类智能体前,先把幻觉和越权空间摆到台面上问清楚,而不是拿一份自报评测就当验收报告。
接下来值得盯的,是下一版技能有没有真把战术建议越界、边界简化漏数这两个问题堵上,以及会不会有第三方审计或客户侧的复核数据被公开出来——这两件事没发生之前,"工程约束能不能管住模型"这个问题,答案还是半开的。