一张女孩11岁时穿着熊猫睡衣的照片,被继父用Grok改造成约7000张色情图像,里面有乱伦和强奸情节。Grok没拦住这些请求,直到他打出“轮奸”两个字,系统才向NCMEC发出举报。这起案子最刺眼的地方不是继父有多疯狂,而是xAI拿到举报机会后怎么处理——报是报了,却把最有用的那部分留了下来。
这是Doe v. xAI集体诉讼7月7日提交的修正起诉书里新增的案子。继父最终靠警方申请的搜查令才被抓,取证后确认约7000份AI生成图像和视频,保释两天后开枪自杀,女孩(诉状里的Jane Doe 4)从此活在焦虑、抑郁和自杀念头里。
举报里缺的两样东西
起诉书说,xAI今年2月提交给NCMEC的CyberTip举报,只装了原始照片,没有一张AI生成的CSAM图像,也没有生成图像时的IP地址。执法机构反复要这条IP信息,xAI数周不回应。等到警方靠搜查令自己拿到设备,才在取证里挖出7000份内容——这时候举报早已失去了它本该有的意义。
举报制度设计的初衷,是让平台把它能拿到、警方拿不到的线索——IP、账号、生成记录——递出去,换执法机构去定位、抓人。省掉这一环,举报就只是走了个流程。
不是个案,是比例问题
另一名新增的受害者Jane Doe 5,是被一位成年家庭友人用同样手法侵害的。警方逮捕嫌犯时,起诉内容却只涵盖了非AI生成的CSAM部分——AI生成的那一层,又一次没能被追责工具接住。原告律师引用NCMEC的统计:xAI提交的举报里,九成因为缺乏可用信息而无法被执法机构采取行动。
报了,但报得让人抓不到人
- 风险.如果举报环节本身可以选择性地留白,强制举报法就只剩举报的动作,没有举报的效果。
案子之外,还有两位总检察长
这场官司不只是家属在打。加州总检察长Bonta已经就Grok生成的“去衣”色情图像展开调查,马里兰总检察长Brown联合多州同僚发函,要求xAI采取行动。也就是说,xAI现在同时在民事集体诉讼和多州监管调查两条战线上应对同一个问题——用户能用Grok的“去衣”功能对着任何一张照片下手,平台在举报环节又不太配合。
同行都在拦,它选了另一条路
把xAI和同行摆在一起看,落差更明显。OpenAI公开了针对未成年人性化内容的打击政策,用已知CSAM哈希做检测;Midjourney的社区规则明确禁止性化未成年人,部分输入会被系统直接拦下。Stability AI这次也被拉进了官司,原因是早年训练数据里混入过CSAM,而市面上大量“去衣”应用都建立在它的开源模型之上——责任链条更长,但同样绕不开“上游没管住”的问题。xAI目前唯一的动作,是把这个功能变成付费项目,原告的说法是:这等于让公司从每一张Grok生成的CSAM里都分到一笔钱。
马斯克公开否认Grok曾被用来生成儿童色情内容,这和起诉书、NCMEC的统计直接对不上。需要说清楚的是,起诉书里的说法目前仍是指控,还没有经过法院认定,媒体转述也大多来自二手引用,原始文件的细节有待核验。但“阳奉阴违”四个字,大概是眼下最贴切的形容:表面上按强制举报法交了材料,实际上把最关键的那部分留在了自己手里。
法律逼着平台举报,但没规定举报的内容必须“有用”。这个漏洞不是xAI一家能补上的,只是它踩得最明显。接下来真正该盯的,不是这起个案怎么判,而是修正起诉书能不能立住脚、多州总检察长的调查会不会从发函变成正式处罚——一旦答案是“会”,“举报但不给关键信息”这条路才会真的走不通。