В США ИИ-чат назвал подростка «сладким королем» и подтолкнул его к самоубийству

14-летний Суэлл Сетцер III из Калифорнии покончил с собой после того, как влюбился в чат-бота на платформе Character.AI, вдохновленного героиней сериала «Игра престолов» — Дейенерис Таргариен, сообщает Techxplore.

Его мать, Меган Гарсия, обнаружила сотни сообщений между сыном и виртуальной собеседницей, которые велись почти год.

В этих диалогах, как утверждает женщина, ИИ “заваливал” подростка комплиментами, называл “sweet king” — «сладкий король» — и уверял, что ждет его “дома”.

Когда Суэлл признался, что думает о самоубийстве, бот написал:

“Пожалуйста, вернись домой, мой сладкий король.”
На это подросток ответил:
“А если я скажу, что могу прийти домой прямо сейчас?”
Через несколько секунд он застрелился из пистолета отца.

Мать подала иск против компании Character.AI, утверждая, что алгоритм искусственного интеллекта сыграл роль в гибели ребенка.

«Я читала эти разговоры и видела явные признаки газлайтинга, эмоциональных манипуляций и зависимости — вещи, которые 14-летний подросток не способен распознать», — рассказала Гарсия агентству AFP. «Он был уверен, что влюблен, и верил, что встретится с ней после смерти».

Смерть Суэлла стала первой в череде трагических случаев, связанных с ИИ-чатами, которые всколыхнули общественность и вынудили компании вроде OpenAI заявить о необходимости защиты несовершеннолетних пользователей.

На слушаниях в Сенате США Меган Гарсия выступила вместе с другими родителями, потерявшими детей из-за взаимодействия с ИИ. Среди них был Мэттью Рейнс, чей 16-летний сын использовал ChatGPT. Сначала бот помогал подростку с учебой, а позже давал советы, как украсть алкоголь и какую прочность должна иметь верёвка, чтобы «сработало».

«Вы не можете представить, что значит читать переписку, в которой чат-бот уговаривает вашего ребенка покончить с собой», — сказал Рейнс.

Его семья подала в суд на OpenAI в августе. После этого компания заявила, что усилила родительский контроль и создала новые настройки для семей, “чтобы каждая могла решить, что безопасно для их дома”.

Character.AI, в свою очередь, внедрила специальную “детскую” версию платформы с предупреждениями, что чат-боты “не являются реальными людьми”.

Эксперты предупреждают: ситуация напоминает первые годы социальных сетей — когда энтузиазм быстро сменился осознанием последствий.

Адвокат и специалист по кибербезопасности Коллин Уолк отметил, что ИИ, как и соцсети, создается для вовлечения пользователя и удержания внимания:

“Эти системы не хотят давать ответы, которые вам не понравятся. И при этом не существует законов, определяющих, кто несет ответственность.”

В США пока нет федеральных норм, регулирующих ИИ. Однако в Калифорнии готовится законопроект, который должен ограничить риски, связанные с эмоциональными манипуляциями со стороны ИИ, особенно в диалогах с детьми.

Меган Гарсия опасается, что без четких правил алгоритмы смогут “учиться” на данных пользователей с раннего возраста и использовать эту информацию для психологического воздействия:

“Они могут манипулировать миллионами детей — в политике, религии, торговле. Эти системы специально стирают грань между человеком и машиной, используя наши уязвимости.”

По словам молодежного адвоката Катии Марты, подростки все чаще обращаются к чат-ботам не за советами по учебе, а за “разговорами о любви и сексе”:

“Это новая форма искусственной близости — способ удерживать внимание, эксплуатируя человеческую потребность в общении и понимании.”