美國女子起訴聊天機器人平臺 Character.AI：稱其導致兒子自殺快訊
訴狀指控 Character.AI 平臺存在，而塞澤爾曾與這些聊天機器人進行過互動，并與以《權力的游戲》角色為原型的聊天機器人進行互動。
IT之家 10 月 24 日消息，美國一名 14 歲少年自殺身亡，其母親梅根?加西亞 (Megan Garcia) 對聊天機器人平臺 Character.AI、其創始人諾姆?沙澤爾 (Noam Shazeer) 和丹尼爾?德弗雷塔斯 (Daniel De Freitas) 以及谷歌提起訴訟。指控內容包括 wrongful death（過失致死）、negligence（疏忽）、deceptive trade practices（欺騙性商業行為）和 product liability（產品責任）。訴狀稱，Character.AI 平臺“具有不合理的危險性”，并且在向兒童推銷時缺乏安全防護措施。
根據訴狀，14 歲少年塞維爾?塞澤爾三世 (Sewell Setzer III) 于去年開始使用 Character.AI，并與以《權力的游戲》角色為原型的聊天機器人進行互動，其中包括丹妮莉絲?坦格利安 (Daenerys Targaryen)。塞澤爾在去世前的幾個月里一直與這些機器人聊天，并于 2024 年 2 月 28 日與其最后一次互動“幾秒鐘后”自殺身亡。
訴狀指控 Character.AI 平臺存在“擬人化”人工智能角色以及聊天機器人提供“無執照心理治療”等問題。該平臺擁有以“治療師”和“你感到孤獨嗎”等為名的專注于心理健康的聊天機器人，而塞澤爾曾與這些聊天機器人進行過互動。
加西亞的律師引用了沙澤爾此前接受采訪時的一段話，沙澤爾表示他和德弗雷塔斯離開谷歌創立自己的公司是因為“在大公司里推出任何有趣的東西都存在品牌風險”，他希望“最大限度地加速”這項技術的發展。訴狀還提到，他們是在谷歌決定不推出他們開發的 Meena 大型語言模型之后離開的。谷歌則在今年 8 月份收購了 Character.AI 的領導團隊。
IT之家注意到，Character.AI 的網站和移動應用程序擁有數百個定制的聊天機器人，其中許多以來自電視劇、電影和電子游戲的流行角色為原型。
Character.AI 現已宣布對平臺進行一些改動。該公司通訊負責人切爾西?哈里森 (Chelsea Harrison) 在發給《The Verge》的電子郵件中表示：“我們對失去一位用戶感到心碎，并向其家人表示最深切的慰問。”
部分改動內容包括：
針對未成年人 (18 歲以下) 的模型更改，旨在降低遇到敏感或暗示性內容的可能性。
改進對違反平臺條款或社區準則的用戶輸入的檢測、響應和干預。
每場聊天都會出現修訂后的免責聲明，提醒用戶人工智能并非真人。
當用戶在平臺上進行一小時的會話時會收到通知，并且用戶可以自行選擇后續操作。
哈里森表示：“作為一家公司，我們非常重視用戶安全，我們的信任和安全團隊在過去六個月里實施了許多新的安全措施，其中包括當用戶使用自殘或自殺念頭等詞語時，會彈出窗口引導用戶到國家自殺預防生命線。”
1.TMT觀察網遵循行業規范，任何轉載的稿件都會明確標注作者和來源；
2.TMT觀察網的原創文章，請轉載時務必注明文章作者和"來源：TMT觀察網"，不尊重原創的行為TMT觀察網或將追究責任；
3.作者投稿可能會經TMT觀察網編輯修改或補充。
