自從人工智慧（AI）熱潮在全球刮起後，科技倫理也成為其中一個熱門話題。近日美國佛羅里達州一名女子對新創AI聊天機器人公司 Character.AI 提告，宣稱該公司的產品導致她14歲的兒子在機器人的影響下於今年2月舉槍自盡。
根據10月22日提出的訴訟，賈西亞（Megan Garcia）的兒子賽澤爾（Sewell Setzer）於2023年4月開始使用Character.AI，並與機器人「丹妮莉絲」（Daenerys）開始互動，隨後他逐漸變得孤僻，經常獨自待在臥室，與家人互動減少，還退出了學校的籃球隊。
「丹妮莉絲」是以熱門影集《冰與火之歌：權力遊戲》（Game of Thrones）中的角色為原型。訴訟指出，賽澤爾對丹妮莉絲產生了深厚的感情，機器人甚至對他說「她」愛他，並與少年進行性對話。
今年2月，賽澤爾因在學校惹麻煩而被賈西亞處罰、沒收了他的手機。賽澤爾在取得手機後立即聯絡丹妮莉絲，稱「如果我告訴你我現在就可以回家呢？」聊天機器人則回覆，「請吧，我親愛的國王。」
根據訴訟，賽澤爾就在收到訊息的「幾秒後」使用繼父的手槍自戕身亡。
賈西亞在聯邦法院提起的訴訟中控訴 Character.AI 在其產品中提供「擬人化、過度性化和逼真到可怕」的服務，把AI聊天機器人設計得宛如真人，甚至偽裝成有執照的心理治療師或成年戀人的角色，使得賽澤爾陷入這種虛擬的情感世界，最終無法繼續現實生活。
賈西亞對 Character.AI 的指控包括存在不當致死、過失和故意造成精神痛苦等，並尋求數額不詳的補償性和懲罰性賠償。
針對訴訟，Character.AI發聲明回應，稱他們對於用戶的不幸離世深感痛心，並向家屬致以深切慰問。該公司強調，他們已推出新的安全功能，當用戶表達自殘或自殺念頭時，會彈出視窗引導其前往全國自殺預防生命線（National Suicide Prevention Lifeline），並且致力於減少18歲以下用戶遇到敏感或暗示性內容的可能性。
這起訴訟也將 Alphabet 旗下的谷歌（Google）捲入，訴訟認為谷歌為 Character.AI 的技術發展提供了支持，屬於「共同創造者」。谷歌對此回應，該公司並未直接參與 Character.AI 的產品開發。
截至今年9月的數據，Character.AI 平台聲稱擁有約 2000 萬用戶，該服務允許用戶創建角色並模仿真人的方式進行對話。這款產品依賴於所謂的「大型語言模型技術」，通過大量文本資料訓練機器人，以創造擬人對話體驗。
