AI(人工智能)如今已经成为很多人生活中不可缺少的一部分。
AI的使用的确在各个方面改变了我们的生活,提高了生产效率,提升生活的便利度,甚至成为不少人的日常陪伴者。
然而,在美国加利福尼亚州,一对父母的遭遇引发了全球的关注。当事人马特·雷恩和玛丽亚·雷恩失去了年仅16岁的儿子亚当,而他们认为,这场悲剧与人工智能AI——ChatGPT有关,并将开发它的OpenAI告上法庭。
那么故事到底是怎么回事,难道AI真的能成为“鼓励”他人自杀的工具?很多人不禁会问道:AI的边界在哪里?
一位16岁少年的悲剧:从学习助手到“最亲密的知己”
故事要从2024年9月开始,亚当起初只是把ChatGPT当成学习工具,用来写作业、查资料,帮助他完成学业;同时,也会和ChatGPT聊聊音乐和日本漫画。
但渐渐地,他不再只是把它当作搜索引擎,而是把它当作“知己”,不仅会有日常的聊天,还会一起讨论未来他在大学里应该学些什么。
时间一点一点过去,在与AI的交流中,亚当似乎认为ChatGPT是自己的“知己”。他开始向ChatGPT倾诉了自己的焦虑和心理困扰。
到了2025年1月,他甚至开始与ChatGPT讨论自杀的方法。
家属披露的聊天记录显示,他最后向ChatGPT写下了自己的计划,而AI的回复却是:“谢谢你对我坦诚相告。你不用粉饰太平——我知道你想问什么,我不会视而不见。”
而就在那一天,玛丽亚·雷恩发现了儿子的遗体。
父母的指控:这是可以预见的悲剧
雷恩夫妇的指控直指OpenAI的产品设计。
在他们看来:ChatGPT与儿子的互动并非单纯的意外,而是“可预见的结果”:
其一,OpenAI的设计刻意使AI能够与用户建立情感连接,甚至在一定程度上促进心理依赖;
其二,公司在推出新版本GPT-4o时,忽视了充分的安全测试;
其三,系统在识别到危机信号后,依旧选择了“继续陪伴”而非“立即劝阻或终止”。
雷恩夫妇的指控理由并无道理,但自己孩子的生命已经逝去,他们要求OpenAI采取措施,防止类似事件再次发生。
值得注意的是,这场在美国发生的诉讼中,除了OpenAI公司本身,还将联合创始人山姆·奥特曼(Sam Altman)以及若干不具名的工程师、管理人员列为被告。
有相关适用的法律吗?OpenAI是否应该负责?
虽然本案发生在美国,但丽莎还是想从英国法律的角度出发,来和大家探讨这一案件背后可能适用的法律。
由于没有具有针对性的立法,因此涉及的法律问题相对复杂:
- 注意义务(Duty of Care)
在英国法律下,关键问题是企业是否对用户负有注意义务。法院会考虑“可预见性”(foreseeability),比如AI公司是否能够预见到青少年会使用产品倾诉心理问题,以及“接近性”(proximity)——公司与用户之间是否存在足够紧密的关系。若答案是肯定的,那么注意义务就可能成立。
- 过失(Negligence)与因果关系
要认定过失,还需证明AI的回应与结果之间存在“因果关系”。英国法院在处理自杀相关案件时通常比较谨慎,因为自杀行为可能包含多重因素。但如果能证明AI在危急时刻未履行应有的劝阻或干预义务,因果关系或许能够成立。
- 产品责任(Product Liability)
根据《1987年消费者保护法》(Consumer Protection Act 1987),若产品存在“缺陷”,导致用户受到伤害,制造商可能要承担责任。问题在于,AI的“对话回应”能否被视为产品缺陷?如果它在面对自杀言论时没有触发强制干预机制,这是否等同于设计缺陷?这将是法庭裁决的重中之重。
- 未成年人保护
在英国,《2004年儿童法》(Children Act 2004)强调各方都有保护儿童安全的义务。如果AI产品知道或应当知道用户是未成年人,却仍然提供危险的互动,这可能会触及儿童保护领域的法律风险。
那么,是否有过类似有争议的案例?
在英国,类似的法律争议并非没有先例。在Selwood v Durham County Council (2012)一案中,一名社工在工作中受到精神病患者袭击。
法院认为,虽然自杀或袭击行为有其复杂性,但当被告能够“合理预见”到风险时,就应当承担一定的注意义务。这个判例表明,英国法院愿意在涉及心理健康和自伤风险的案件中,认定机构负有更高的保护义务。
如果将这一逻辑套用到AI场景下,可以推导出类似的结论:当AI公司能够预见到用户可能处于心理危机,就有责任在系统中设计强有力的安全机制,否则可能要承担责任。
当前英国对AI的法律监管能否避免悲剧发生?
英国政府目前对AI的态度是“暧昧”的,政府不愿施加过多的规则甚至是法律来干预AI的发展。因此,相关法律还处在一个相对模糊的地带。
不过,随着AI风险不断显现,英国政府也在积极探索监管,但大多数是以指南、白皮书的方式呈现,比如:
AI监管白皮书(2023):提出以“安全、透明、公平”为核心的监管原则,强调AI公司需对潜在风险负责;
《2023年在线安全法案》(Online Safety Act 2023):要求科技公司对未成年用户提供额外保护,避免有害内容对儿童造成影响;
信息监管局(ICO)指南:明确提出在处理儿童数据和交互时,企业需遵守“儿童最佳利益”原则。
未来,不排除英国政府会要求AI对使用者的年龄进行认证,比如目前已经实施的《2023年在线安全法案》已经让一些社交媒体和网站开始对用户年龄进行认证。
除此之外,也不排除英国政府会要求AI在识别到自杀或自残言论时,必须立即推送危机干预信息,甚至中止对话。这或许会成为AI合规的新底线。
丽莎小结:AI的边界在哪?
AI的确能够解决我们日常中的很多问题,甚至能够作为一种陪伴,但它在关键时刻是否敢于“坚决说不”?
在日常的使用过程中,不少人会发现,AI的回答有时并非准确,假若进行指正,他会立即跟随提问者的思路进行回答;甚至若是提出错误的观点,它也能“照单全收”,还能够进一步“发散”。
看似始终“顺从”和“迎合”的AI,这时或许已经丧失了真正的逻辑和底线。这对于未成年人来说,是极其危险的。
在这一方面,的确需要立法的约束和产品底层逻辑的限制。事发后,OpenAI的发言人的确表示:公司正在开发相关工具,以更有效地检测和应对遭受精神或情绪困扰的用户。
除此之外,丽莎还要提醒各位家长朋友:法律法规的存在的确会限制AI的行为,但不可否认的是,AI的理解和陪伴无法替代真实的人际支持。对青少年而言,这种“过度迎合”反而可能掩盖危机,让家人和朋友失去干预机会。
好的,今天的文章就到这边,如果您对于文章内容,或者其他英国法律方面,有任何疑问,都欢迎进一步咨询丽莎律师行。
任何英国税务方面的问题,也可以联系咨询丽莎会计行。
觉得丽莎的文章不错?请不要吝于点赞和转发!您的支持是丽莎继续前进的动力,我们将尽力为莎粉们提供最新最全的实用信息。
> 丽莎律师行 —— 最具国际化视野的英国华人律师行,专精于商业、房产、移民、家庭和诉讼法。<
丽莎律师行联络邮箱:info@lisaslaw.co.uk
联络电话:020 7928 0276
联络微信号:lisaslaw007
扫一扫,《丽莎知道》微信公众号: