Jakarta, CNBC Indonesia – Seorang remaja jatuh cinta dengan karakter chatbot, namun sayang berujung tragis. Ibu dari remaja itu tak terima dan kini menuntut perusahaan pembuatnya, Character.AI, atas kematian sang anak.
Megan Garcia mengajukan gugatan perdata terhadap Character.ai, yang membuat chatbot yang dapat disesuaikan untuk permainan peran, di pengadilan federal Florida.
Sebelum mengakhiri hidupnya, Sewell Setzer III (14) melakukan percakapan dengan karakter Daenerys Targaryen dari Game of Thrones.
Bahkan dalam satu hari, dia bisa bertukar pesan hingga ratusan chat dengan karakter tersebut. Setzer menghabiskan waktu seharian berjam-jam di dalam kamar untuk bicara dengan Daenerys.
Setzer meninggal di rumahnya di Orlando, AS. Kata-kata terakhirnya tidak ditujukan kepada orang tua atau saudara-saudaranya, tetapi kepada chatbot AI yang menyuruhnya untuk “pulang ke rumahku sesegera mungkin.”
“Bagaimana jika aku bilang aku bisa pulang sekarang?” Setzer membalas “Daenerys”
Chatbot itu lalu mengirimkan respons yang menyemangati “… tolong lakukanlah, rajaku yang manis.”
Beberapa detik kemudian, Setzer menembak dirinya sendiri dengan pistol ayah tirinya.
Garcia menuduh Character.ai menciptakan produk yang memperburuk depresi putranya, yang menurutnya merupakan hasil dari penggunaan produk startup tersebut secara berlebihan.
“Aplikasi chatbot AI berbahaya yang dipasarkan kepada anak-anak melecehkan putra saya, memanipulasinya untuk bunuh diri,” kata Garcia,” dikutip dari The Guardian, Rabu (6/11/2024).
“Keluarga kami sangat terpukul atas kejadian ini, tetapi saya berbicara untuk memperingatkan keluarga lainnya tentang bahaya teknologi AI yang menipu dan membuat ketagihan serta menuntut pertanggungjawaban dari Character.AI, pendirinya, dan Google,” imbuhnya.
Dalam gugatan yang dia ajukan, “Daenerys” pernah bertanya kepada Setzer apakah ia telah menyusun rencana untuk bunuh diri.
Setzer mengakui bahwa ia telah melakukannya tetapi ia tidak tahu apakah itu akan berhasil atau hanya membuatnya menderita. Chatbot itu diduga mengatakan kepadanya “Itu bukan alasan untuk tidak meneruskannya.”
Pengacara Garcia menulis dalam siaran pers bahwa Character.ai dengan sengaja merancang, mengoperasikan, dan memasarkan chatbot AI predator kepada anak-anak, yang menyebabkan kematian seorang remaja.
Gugatan itu juga menyebut Google sebagai tergugat dan sebagai perusahaan induk Character.ai. Raksasa teknologi itu mengatakan dalam sebuah pernyataan bahwa mereka hanya membuat perjanjian lisensi dengan Character.ai dan tidak memiliki sepenuhnya perusahaan rintisan itu atau mempertahankan kepemilikan saham.
Dalam sebuah tweet, Character.ai menanggapi dan mengatakan “Kami sangat sedih atas meninggalnya salah satu pengguna kami dan ingin menyampaikan belasungkawa yang sedalam-dalamnya kepada keluarga. Sebagai sebuah perusahaan, kami sangat memperhatikan keselamatan pengguna kami.”
Perusahaan tersebut telah membantah tuduhan gugatan tersebut.
(fab/fab)
