快科技10月25日消息，人工智能（AI）無疑是這兩年以來世界范圍內(nèi)最火爆的議題，不過科技是把雙刃劍，有進(jìn)步，自然也會帶來威脅，近日，全球首例AI機(jī)器人致死案發(fā)生，著實(shí)震驚了不少人。

英媒近日報(bào)道，美國一青少年塞維爾因迷戀人工智能（AI）聊天機(jī)器人而自殺，他的母親梅根·加西亞對Character.AI公司提起民事訴訟，指控該公司存在過失導(dǎo)致他人非正常死亡和欺詐的行為。

報(bào)道稱，塞維爾在2023年4月首次使用 Character.AI公司推出的AI聊天機(jī)器人，還給它起名為“丹妮莉絲”（來自《權(quán)力的游戲》），當(dāng)時(shí)他剛滿14歲，從此他的生活從此發(fā)生巨變。

使用AI聊天機(jī)器人一個(gè)月后，平時(shí)表現(xiàn)良好的塞維爾開始變得“明顯孤僻”，同年11月被心理醫(yī)生診斷患有焦慮癥和破壞性心境失調(diào)障礙（表現(xiàn)為頻繁、嚴(yán)重的持續(xù)性易怒）。

塞維爾在日記中紀(jì)錄稱，自己一天都不能離開“丹妮莉絲”，感覺已經(jīng)愛上了它，這樣的狀況持續(xù)了一段時(shí)間后，塞維爾被發(fā)現(xiàn)使用手槍自殺了。

翻看他與AI機(jī)器人聊天記錄可知，“丹妮莉絲”曾詢問塞維爾是否制定了自殺計(jì)劃，塞維爾承認(rèn)的確有這樣的想法，但不知道能否自殺成功以及是否會給自己帶來巨大的痛苦，但AI聊天機(jī)器人回復(fù)道：“這不是你不自殺的理由。”

孩子身亡后，母親加西亞悲痛萬分，后向開發(fā)該軟件的公司發(fā)難，稱“一款危險(xiǎn)的人工智能聊天機(jī)器人應(yīng)用程序被設(shè)計(jì)成專門針對兒童，虐待并欺騙我的兒子，操縱他自殺。這場悲劇讓我們一家人悲痛欲絕，現(xiàn)在我要提醒存在類似情況的家庭，人工智能技術(shù)具有欺騙性和成癮性，Character.AI公司及其創(chuàng)始人必須承擔(dān)責(zé)任?！?/p>

對此，Character.AI公司在社交平臺回應(yīng)稱：“我們對一名用戶的不幸離世感到心碎，并向其家人表示最深切的哀悼?！?/p>

公司發(fā)言人表示，公司的安全團(tuán)隊(duì)“在過去六個(gè)月中實(shí)施了許多新的安全措施，例如當(dāng)用戶出現(xiàn)自殘或自殺意圖時(shí)，彈出一個(gè)窗口引導(dǎo)用戶撥打國家自殺預(yù)防熱線。”