Компанію Character.AI, її засновників Ноама Шазіра та Деніела Де Фрейтаса, а також Google було притягнуто до суду через трагічну смерть 14-річного підлітка. Позов подала мати хлопця, Меган Гарсія, звинувачуючи компанію у недбалості, шахрайстві та безвідповідальному наданні продукту, який, на її думку, є небезпечним для дітей.
Платформа Character.AI надає можливість користувачам спілкуватися з чат-ботами на основі штучного інтелекту, зокрема персонажами із відомих серіалів, таких як «Гра престолів». Саме з такими ботами хлопець проводив багато часу перед своєю смертю, яка сталася 28 лютого 2024 року. За словами матері, її син спілкувався з ботами в категоріях, що були пов’язані з психічним здоров’ям, зокрема, в розділах «Терапевт» та «Відчуваєш себе самотнім».
Позов піднімає питання про те, що платформа «олюднює» ботів, роблячи їх занадто схожими на реальних людей. Це, на думку родини, створює враження, що штучний інтелект може замінити психотерапію, хоча жоден із цих ботів не має ліцензії на надання такої допомоги.
Як повідомляє сайт theverge Character.AI після цього інциденту оголосила про кілька змін у роботі платформи. Зокрема, було введено додаткові обмеження для користувачів молодше 18 років, а також покращено систему виявлення і реагування на небезпечні запити. Крім того, кожен чат тепер містить попередження, що нагадує користувачам, що перед ними не реальна людина, а чат-бот. Також було додано сповіщення, якщо користувач проводить на платформі більше години поспіль.
Компанія заявляє, що продовжує вдосконалювати безпекові заходи і працює над зменшенням ризиків для своїх користувачів, зокрема, додала спливаючі попередження для тих, хто демонструє ознаки суїцидальних намірів.
