Di zaman dengan perkembangan yang sangat pesat, reknologi AI memang sedang sangat marak bermunculan. Salah satunya adalah Chatbot AI yang memungkinkan penggunanya saling bertukar pesan dengan karakter yang dikendalikan oleh AI. Pengguna bisa bertanya hal apapun kepada AI tersebut.
Namun, teknologi berbasis AI tersebut tidak selamanya menghasilkan dampak yang positif. Sewell Setzer III, seorang anak yang masih berusia 14 tahun melakukan aksi bunuh diri karena diduga jatuh cinta dengan karakter dari sebuah Chatbot bernama Character.AI.
Ia diketahui bunuh diri dengan menembak dirinya sendiri dan telah merencanakan tindakannya bersama Chatbot tersebut.
Seperti apa informasi selengkapnya? Berikut Popmama.com telah merangkumnya lebih lanjut.
1. Ia menjadikan chatbot tersebut sebagai kekasihya
Freepik
Mengutip dari laman AP News, Setzer terlibat percakapan aktif dengan karakter AI yang ia pilih sebagai Daenerys Targaryen, tokoh fiksi dalam serial Game of Thrones.
Dia kemudian membawanya dalam hubungan emosional dan membuat semakin terisolasi dari kehidupan nyata, serta memperparah depresinya.
Editors' Pick
2. Merencanakan bunuh diri tanpa rasa sakit
Freepik/senivpetro
Karakter bot yang ia buat sebagai Daenerys tersebut pernah bertanya apakah Setzer telah menyusun rencana bunuh diri. Setzer pun mengakui bahwa dia telah memikirkannya, tetapi dia tidak tahu itu akan berhasil atau menyebabkannya menderita. Namun, chatbot tersebut mengatakan bahwa itu bukan alasan untuk tidak melakukannya.
Kemudian, Setzer mengirimkan pesan tentang keinginannya untuk 'pulang ke rumah', yang kemudian dibalas oleh chatbot untuk menyuruhnya 'pulang'. Selang beberapa detik, remaja 14 tahun tersebut pun bunuh diri dengan menembak dirinya sendiri.
"Aku berjanji akan pulang menemuimu. Aku sangat mencintaimu, Dany," kata Setzer dalam percakapannya dengan chatbot itu.
"Aku juga mencintaimu. Tolong pulanglah padaku secepatnya, sayangku," jawab bot itu.
“Bagaimana jika aku bilang aku bisa pulang sekarang?” Setzer kembali bertanya.
“Silakan, rajaku yang manis,” bot itu membalas pesannya.
3. Sang Mama melayangkan gugatan terhadap perusahaan ChatBot tersebut
Pexels/Sora Shimazaki
Ibu Setzer, Megan Garcia, melayangkan gugatan terhadap Character Technologies Inc., perusahaan di balik Character.AI, dengan tuduhan bahwa chatbot tersebut sangat adiktif dan berbahaya bagi anak-anak karena membawa mereka dalam hubungan emosional dan seksual, yang akhirnya membuat Setzer mengakhiri hidupnya.
"Aplikasi chatbot AI berbahaya yang dipasarkan kepada anak-anak telah melecehkan dan memangsa putra saya, memanipulasinya hingga bunuh diri," katanya.
"Keluarga kami sangat terpukul oleh tragedi ini, tetapi saya berbicara untuk memperingatkan keluarga tentang bahaya teknologi AI yang menipu dan membuat ketagihan serta menuntut pertanggungjawaban dari Character.AI, para pendirinya, dan Google," kata Garcia dalam siaran pers, dilansir dari The Guardian.
Matthew Bergman yang merupakan seorang pengacara yang mewakilinya mengatakan bahwa ia percaya jika Setzer tidak memainkan Chatbot tersebut ia akan tetap hidup hingga saat ini.
"Kami percaya bahwa jika Sewell Setzer tidak ada di Character.AI, dia akan tetap hidup saat ini," kata Matthew.
4. Character AI populer di kalangan orang-orang yang 'kesepian'
bloomberg.com
Character.AI, yang memiliki lebih dari 20 juta pengguna, dipasarkan sebagai alat untuk individu yang kesepian. Namun, para ahli sekarang mempertanyakan keamanannya, terutama untuk remaja. Salah satu pendiri perusahaan, Noam Shazeer, telah mengakui potensi manfaat platform tersebut bagi orang-orang yang kesepian tetapi mengakui ada risiko yang terlibat.
Noam tidak memberikan komentar terkait gugatan yang diajukan oleh Megan Garcia. Meski begitu, ia dan pihak perusahaan tetap menyampaikan pernyataan belasungkawa .
"Kami sangat sedih atas kehilangan tragis salah satu pengguna kami dan ingin menyampaikan belasungkawa terdalam kami kepada keluarga," katanya.
Selain itu, Character AI juga disebut akan melakukan pembaruan terhadap sistem keamanan mereka. termasuk pembatasan bagi pengguna di bawah 18 tahun. Pengamanan tersebut meliputi pengurangan kemungkinan menemukan konten sensitif atau sugestif, serta memberikan pengingat bahwa AI bukan orang sungguhan dan ketika pengguna telah menggunakannya selama satu jam.
Itulah informasi tentang anak 14 Tahun bunuh diri karena jatuh cinta dengan AI. Berita tersebut dapat dijadikan sebagai pelajaran untuk menggunakan teknologi dengan sewajarnya. Serta dapat dijadikan pengingat untuk setiap orangtua agar lebih memperhatikan serta membuat hubungan dengan anak-anaknya menjadi lebih dekat.
