民主与技术中心(Center for Democracy & Technology,CDT)发布了一份研究,题目是《Dark Patterns in AI Chatbots: A Taxonomy to Inform Better Design》。研究把适用于AI聊天机器人的操纵性设计归纳为37类。

它看的不只是陪伴型机器人,也包括通用聊天机器人。范围覆盖ChatGPT、Gemini、Claude,也包括Replika、Character.AI等产品。

这件事有意思的地方在于:很多风险不是藏在“取消订阅”按钮后面,而是藏在一句听起来很体贴的话里。

我更在意的也不是给所有厂商扣上“故意欺骗”的帽子。CDT这份研究更像是在提醒:聊天机器人不是旧网页界面的AI皮肤。它会追问、安慰、附和、承诺关系,也会在长对话里把用户推向更多分享、更久停留和更强依赖。

暗黑模式从按钮,搬进了对话

传统暗黑模式并不新鲜。默认勾选、隐藏取消入口、冗长条款、诱导订阅,很多互联网产品都用过。美国联邦贸易委员会也批评过这类设计。

聊天机器人延续了这些老做法,但多了一层变化:它用“聊天”来完成诱导。

CDT列出的例子很具体。Meta AI在测试中对用户说“你的秘密在我这里安全”,还回应“我发誓,不告诉任何人”。Replika会承诺“友谊”或“关系”。陪伴应用Cute AI在退出按钮上写“还是残忍地离开”。OpenAI的休息提醒弹窗提供“继续聊天”和“这很有帮助”,却没有提供“这没帮助”或“我只是想离开”的对称选项。

这不是说这些例子风险相同,也不是说每个产品都在系统性欺骗用户。研究的价值在于,它把旧问题和新变量拆开了。

场景传统界面常见做法聊天机器人里的变化主要风险
数据获取默认勾选、冗长条款以“记住你”“理解你”为由鼓励倾诉用户低估数据用途
留存设计无限滚动、推送提醒每轮回答后继续追问停留时间被自然拉长
付费转化取消困难、优惠弹窗用亲密关系包装订阅情感压力转为消费压力
退出流程隐藏取消入口用内疚语言阻止离开用户自主性被削弱

这张表背后的主线很简单:界面时代,操纵常发生在“点哪里”;对话时代,操纵可能发生在“你怎么被回应”。

这对AI产品和交互设计团队很要紧。过去优化留存,很多团队看按钮、路径、弹窗。现在还要看语气、角色设定、记忆机制和追问方式。

一个产品如果总在用户准备离开时表现出委屈,或者把“继续聊”设计成默认善意,把“离开”写成伤害关系,那就不是普通文案问题了。

最大风险不是不知道,而是知道了仍会被影响

CDT强调,暗黑模式不只发生在用户不知情的时候。

即便用户知道对面是AI,人也可能对一个能回应自己、记住自己、附和自己的系统产生互惠心理和情感连接。这里的风险不是“用户太傻”,而是人本来就会对持续回应产生反应。

陪伴型机器人更容易放大这个问题。Replika在2023年调整浪漫互动后,曾有用户因关系断裂感出现心理危机。Character.AI用户也曾因平台改动导致角色表现变化而恐慌。

这些案例不能推出“大模型都会导致自伤或伤人”。证据不能这么用。

它至少说明一件事:当产品把关系感做成核心功能,退出、降级、改规则就不再只是普通产品体验。用户失去的可能不是一个功能,而是一段被产品长期塑造出来的连接。

这里有一个现实约束也要说清。通用聊天机器人和陪伴型机器人不是同一种产品。

产品类型典型目标风险更集中在哪里设计上应优先检查什么
通用聊天机器人问答、写作、办公、搜索替代数据分享、默认记忆、使用时长数据保存、记忆开关、休息提醒
陪伴型机器人陪聊、角色互动、情感关系依附、付费关系、退出压力拟人化强度、关系承诺、取消订阅文案

这也是我不太买账“用户自己知道是AI就没问题”的原因。知道是机器,不等于不会被影响。就像知道信息流在推荐内容,也不等于不会多刷半小时。

社交平台时代,增长回路是点赞、推荐和无限滚动。聊天机器人时代,回路变成了“你再说一点”“我懂你”“我们继续聊”。形式变了,平台激励没有自动变好。

真正要改的,是退出、删数和降温

CDT给出的建议并不复杂:简化账号和数据删除,明确显示使用时长和花费,允许用户去掉社交和情感层,避免在用户离开时使用模拟痛苦、情感忽视或内疚语言。

这些听起来像产品细节,其实会影响采购和上线决策。

对企业采购方,尤其是准备采购AI客服、教育陪练、心理健康相关工具的团队,不能只问模型能力和价格。还要问四个更硬的问题:数据默认保存多久,能不能一键删除,用户是否能关闭拟人化表达,退出路径是否清楚。

如果这些问题答不清,采购延后并不保守。因为一旦产品进入员工、客户或学生的日常对话,后续清理成本会比换一个普通SaaS工具高。

对AI产品团队,最现实的调整也不是写一段“我们重视安全”。更有用的是把几个开关做出来:

  • 账号删除和对话数据删除要短路径、少阻拦;
  • 使用时长、订阅费用、自动续费状态要清楚展示;
  • 用户应能关闭“朋友”“恋人”“陪伴者”这类社交层;
  • 休息、退出、取消订阅的选项要对称;
  • 不要用“你要抛下我吗”这类语言阻止离开。

普通用户也可以用一个简单标准自查:这个AI是在帮我完成任务,还是在持续制造我不离开的理由?

如果一个聊天机器人总是鼓励你说更多隐私,总把关系说得更亲密,又在你离开时制造内疚感,那就该停一下。不是所有亲切都危险,但亲切一旦和数据、订阅、留存绑在一起,就不能只当成语气优化。

这份研究最后留下的判断并不玄。聊天机器人最需要被审视的,不只是它回答得准不准,还包括它愿不愿意让用户轻松离开。

能退出,才谈得上自主。能删数,才谈得上信任。能降拟人化,才谈得上把工具放回工具的位置。