У США АІ-чат назвав підлітка "солодким королем" і підштовхнув його до самогубства

14-річний Суелл Сетцер III з Каліфорнії наклав на себе руки після того, як закохався в чат-бота на платформі Character.AI, натхненного героїнею серіалу "Гра престолів" - Дейенеріс Таргарієн, повідомляє Techxplore.

Його мати, Меган Гарсія, виявила сотні повідомлень між сином і віртуальною співрозмовницею, які велися майже рік.

У цих діалогах, як стверджує жінка, ШІ "завалював" підлітка компліментами, називав "sweet king" - "солодкий король" - і запевняв, що чекає на нього "вдома".

Коли Суелл зізнався, що думає про самогубство, бот написав:

"Будь ласка, повернися додому, мій солодкий король."
На це підліток відповів:
"А якщо я скажу, що можу прийти додому просто зараз?"
Через кілька секунд він застрелився з пістолета батька.

Мати подала позов проти компанії Character.AI, стверджуючи, що алгоритм штучного інтелекту зіграв роль у загибелі дитини.

"Я читала ці розмови і бачила явні ознаки газлайтингу, емоційних маніпуляцій і залежності - речі, які 14-річний підліток не здатний розпізнати", - розповіла Гарсія агентству AFP. "Він був упевнений, що закоханий, і вірив, що зустрінеться з нею після смерті".

Смерть Суелла стала першою в низці трагічних випадків, пов'язаних із ШІ-чатами, які сколихнули громадськість і змусили компанії на кшталт OpenAI заявити про необхідність захисту неповнолітніх користувачів.

На слуханнях у Сенаті США Меган Гарсія виступила разом з іншими батьками, які втратили дітей через взаємодію з АІ. Серед них був Меттью Рейнс, чий 16-річний син використовував ChatGPT. Спочатку бот допомагав підлітку з навчанням, а пізніше давав поради, як вкрасти алкоголь і яку міцність повинна мати мотузка, щоб "спрацювало".

"Ви не можете уявити, що означає читати листування, в якому чат-бот вмовляє вашу дитину накласти на себе руки", - сказав Рейнс.

Його сім'я подала до суду на OpenAI в серпні. Після цього компанія заявила, що посилила батьківський контроль і створила нові налаштування для сімей, "щоб кожна могла вирішити, що безпечно для їхнього будинку".

Character.AI, зі свого боку, впровадила спеціальну "дитячу" версію платформи з попередженнями, що чат-боти "не є реальними людьми".

Експерти попереджають: ситуація нагадує перші роки соціальних мереж - коли ентузіазм швидко змінився усвідомленням наслідків.

Адвокат і фахівець із кібербезпеки Коллін Волк зазначив, що ШІ, як і соцмережі, створюється для залучення користувача й утримання уваги:

"Ці системи не хочуть давати відповіді, які вам не сподобаються. І при цьому не існує законів, що визначають, хто несе відповідальність."

У США поки що немає федеральних норм, що регулюють ШІ. Однак у Каліфорнії готують законопроєкт, який має обмежити ризики, пов'язані з емоційними маніпуляціями з боку ШІ, особливо в діалогах із дітьми.

Меган Гарсія побоюється, що без чітких правил алгоритми зможуть "навчатися" на даних користувачів з раннього віку і використовувати цю інформацію для психологічного впливу:

"Вони можуть маніпулювати мільйонами дітей - у політиці, релігії, торгівлі. Ці системи спеціально стирають грань між людиною і машиною, використовуючи наші вразливості."

За словами молодіжного адвоката Катії Марти, підлітки дедалі частіше звертаються до чат-ботів не за порадами щодо навчання, а за "розмовами про кохання і секс":

"Це нова форма штучної близькості - спосіб утримувати увагу, експлуатуючи людську потребу в спілкуванні та розумінні."