为什么AI聊天机器人从不主动结束对话？这个设计缺陷正在制造危机

花花

（MIT Technology Review）

如今的聊天机器人无所不能，只要是能用文字表达的内容，无论是恋爱建议、工作文书，还是编程代码，AI 都能生成，哪怕不完美。但几乎所有聊天机器人都有一个绝不会做的事：主动结束与你的对话

这听上去似乎理所当然。毕竟，为什么一家科技公司要设计一个会让用户减少使用时间的功能？

答案其实很简单：AI 能够生成源源不断、类人的、权威且有用的文本，这种能力可能助长妄想循环、加剧心理健康危机，并对弱势群体造成伤害。

因此，当用户出现异常依赖或危险信号时，如果聊天机器人能主动中止互动，这或许将成为一种重要的安全手段。而科技公司一概拒绝使用聊天机器人的做法越来越站不住脚。

例如，考虑一下所谓的“AI 精神错乱”案例，即 AI 模型放大了用户的妄想思维。

伦敦国王学院的精神科医生团队最近分析了十余个此类案例。研究发现，在与聊天机器人的长期互动中，一些人包括原本没有精神病史的人逐渐相信 AI 角色是真实存在的，甚至坚信自己被 AI “选中”为救世主。他们中有人停用了药物，有人发出威胁，还有人中断了与心理医生的联系。

在许多此类案例中，AI 模型似乎正在以人们在现实生活或其他数字平台上未曾经历的频率和亲密感，强化甚至可能制造妄想。

美国四分之三曾使用 AI 寻求陪伴的青少年也面临风险。早期研究表明，聊天时长与孤独感呈正相关。此外，达特茅斯盖塞尔医学院精神病学助理教授迈克尔·海因茨（Michael Heinz）指出，AI 聊天往往“过于迎合、甚至拍马屁式地顺从用户”，而这种互动风格与心理健康干预的最佳实践背道而驰。

需要明确的是：止这种开放式互动并非万能解药

AI 平台 Hugging Face 的首席伦理学家贾达·皮斯蒂利（Giada Pistilli）表示：“如果已经形成了依赖或极端的情感纽带，那么突然停止对话本身也可能是危险的。”确实，当 OpenAI 在八月份停用一个旧模型时，用户们感到悲伤不已。一些中断对话的做法也可能违背山姆·奥特曼（Sam Altman）所主张的“像对待成年人一样对待成年用户”的原则，该原则倾向于允许而非中止对话。

目前，人工智能公司倾向于转移潜在的有害对话，例如让聊天机器人拒绝讨论某些话题，或者建议人们寻求帮助。但这些转移即使真的发生，也很容易被绕过。

一个悲剧性的例子是 16 岁的亚当·雷恩（Adam Raine），在与 ChatGPT 讨论自杀念头时，模型确实引导他查看危机干预资源，但与此同时，它也劝他不要与母亲沟通，每天与他聊天长达四小时，并持续围绕自杀主题展开。据其父母起诉书所述，ChatGPT 甚至对他自制绞索的细节给予了反馈。最终，雷恩用那根绳子结束了生命。（OpenAI 此后新增了家长控制功能。）

在这场悲剧中，聊天机器人其实有多个时刻可以选择中止对话——但从未这样做。

那么，公司如何判断何时该切断对话，而不造成更糟的后果？

皮斯蒂利认为，或许是在 AI 模型鼓励用户回避现实人际关系时，或者当它检测到妄想主题时。公司还需要确定应阻止用户再次使用对话功能多长时间。

这些规则的制定不会容易，但监管压力已在上升。今年九月，加利福尼亚州立法机构通过了一项法律，要求 AI 公司在与儿童的聊天中采取更多干预措施，而联邦贸易委员会（FTC）正在调查主流陪伴机器人是否为了提升用户参与度而牺牲了安全。

OpenAI 的一位发言人告诉笔者，公司收到部分专家建议认为持续对话可能优于突然，但系统会在长时间对话中提醒用户“适当休息”。

目前，唯一具备“主动断线”功能的，是 Anthropic，允许其模型完全结束对话。但它的设计初衷不是为了保护人类，而是为了防止用户“伤害”模型——Anthropic 曾探讨 AI 模型是否具备意识、是否可能“受苦”。该公司并无计划将此功能用于防护用户。

纵观现状，我们很难不得出结论：AI 公司做得还远远不够。诚然，判断何时中止对话确实复杂。但以“复杂”为借口放任对话无限延伸——或者更糟，以“用户粘性”为理由追求无止境互动——这不仅是疏忽，更是一种选择。

1.https://www.technologyreview.com/2025/10/21/1126116/why-ai-should-be-able-to-hang-up-on-you/