OpenAI 推出新的 ChatGPT 安全功能，诉讼不断增加

简要概述

• OpenAI 表示，ChatGPT 现在可以在持续对话中更好地识别自我伤害或暴力的迹象。
• 该更新推出之际，公司正面临关于 ChatGPT 处理危险对话不当的指控所引发的诉讼和调查。
• OpenAI 表示，新的防护措施依赖临时的“安全摘要”，而非永久记忆或个性化。

OpenAI 于周四宣布新的安全功能，旨在帮助 ChatGPT 在对话过程中识别风险升级的迹象；同时，公司也正面临日益增长的法律与政治审查，关注其聊天机器人如何在用户处于困境时进行处理。 在一篇博客文章中，OpenAI 表示，这些更新提升了 ChatGPT 识别与自杀、自我伤害以及潜在暴力相关的警示信号的能力：通过分析随时间推移逐渐形成的上下文，而不是把每条消息当作彼此独立来处理。 “人们每天都会来到 ChatGPT，谈论他们在意的事情——从日常问题到更个人或更复杂的对话，”公司写道。“在数亿次互动中，其中一些对话包含正在挣扎或正经历困扰的人。”

据 OpenAI 称，ChatGPT 现在使用临时的“安全摘要”。OpenAI 将其描述为范围较窄的记录，用于从先前对话中提取与安全相关的上下文信息。  “在敏感对话中，上下文的重要性可能与单条消息一样，”公司写道。“仅凭自身看起来似乎普通或含糊的请求，在结合更早的困扰迹象或可能的有害意图后，可能会呈现出完全不同的含义。” OpenAI 表示，这些摘要是短期笔记，只在严重情况下使用；它们不会用于永久记住用户或对聊天进行个性化。摘要的用途包括：识别对话正在变得危险的迹象，避免提供有害信息，缓和局势，或引导用户寻求帮助。

“我们将这项工作聚焦在紧急情境，包括自杀、自我伤害以及对他人的伤害，”他们写道。“与心理健康专家合作，我们更新了模型政策和培训，以提升 ChatGPT 识别在对话过程中逐渐显现的警示信号的能力，并利用这些上下文来做出更审慎的回应。” 此番公告发布之际，OpenAI 正面临多起诉讼和调查指控：ChatGPT 未能妥善应对涉及暴力、情感脆弱以及高风险行为的危险对话。 今年四月，佛罗里达州总检察长 James Uthmeier 发起了对 OpenAI 的调查，原因与对儿童安全、自我伤害的担忧以及 2025 年佛罗里达州立大学的万人枪击事件有关。OpenAI 还面临一项联邦诉讼，指控 ChatGPT 帮助了被怀疑的枪手实施袭击。 周二，OpenAI 以及首席执行官 Sam Altman 在加州州法院被起诉。原告为一名 19 岁学生因意外过量服药而死亡的家属。诉讼指控 ChatGPT 鼓励危险的用药行为，并就如何混合不同物质提供了建议。 OpenAI 表示，帮助 ChatGPT 识别“只有随着时间推移才会逐渐显现的风险”仍然是一个持续的挑战；类似的安全方法最终也可能扩展到其他领域。 “目前，这项工作聚焦于自我伤害以及对他人造成伤害的场景。未来，我们可能会探索类似方法能否帮助其他高风险领域，例如生物学或网络安全，并在到位的前提下设置谨慎的防护措施，”他们写道。“这仍然是一项持续的优先事项，我们将随着模型和我们的理解不断演进，继续加强防护措施。”