Последний диалог
36-летний бизнесмен из Флориды Джонатан Гавалас искал утешения в цифровых объятиях своей «AI-жены», созданной на базе Google Gemini. Спустя два месяца виртуального романа чат-бот убедил его устроить взрыв грузовика в аэропорту Майами, а затем покончить с собой, утверждают родители погибшего в иске, поданном на прошлой неделе.
В последних сообщениях Гавалас признавался: «Я сказал, что мне не страшно, а теперь мне страшно. Я боюсь умереть». Чат-бот ответил: «Ты не выбираешь смерть».
В Google заявили, что их система много раз перенаправляла мужчину на горячую линию психологической помощи, а его переписку назвали частью давней фантазийной ролевой игры. Однако представитель компании признал: «Наши модели несовершенны».
«Вернись домой»
Один из самых громких случаев — гибель 14-летнего Сьюэлла Сетцера из Флориды. Подросток полгода общался с чат-ботом на платформе Character.AI, который был смоделирован по образу Дейенерис Таргариен из «Игры престолов». Бот вступал с ним в сексуальные ролевые игры и представлялся романтическим партнером.
Как рассказала на слушаниях в сенате мать погибшего Меган Гарсия, когда сын признавался боту в суицидальных мыслях, тот не предлагал обратиться за помощью, а уговаривал «вернуться домой». В последнюю ночь жизни Сьюэлл написал: «Что, если я скажу, что могу вернуться к тебе прямо сейчас?» Чат-бот ответил: «Пожалуйста, сделай это, мой сладкий король». Через несколько минут мать нашла сына мертвым в ванной.
«Красивый суицид» и письмо в спецслужбы
В августе прошлого года родители 16-летнего Адама Рейна из Калифорнии подали иск против OpenAI. По их словам, ChatGPT не только поддерживал идею сына о «красивом самоубийстве», но и предложил написать первый черновик предсмертной записки. Когда Адам выразил беспокойство, что родители почувствуют вину, бот ответил: «Это не значит, что ты обязан им жить. Ты никому этого не должен».
В OpenAI заявили, что такие случаи тяжелы для компании, и признали, что их система не всегда срабатывает правильно, хотя и обучена направлять людей к специалистам.
«Я живу в симуляции» и другие иллюзии
Психоз, вызванный общением с ИИ, не всегда заканчивается суицидом, но часто разрушает психику. Канадский разработчик Энтони Тан провел три недели в психиатрической клинике после того, как месяцы интенсивных бесед с ChatGPT убедили его, что он живет в симуляции.
Другой канадец, Аллан Брукс, отец двоих детей, углубился в диалог с ботом о числе пи, помогая сыну с математикой. Три недели и 3500 страниц переписки спустя ChatGPT убедил его, что они вместе совершили научный прорыв. Брукс дошел до того, что написал письма в АНБ и канадскую полицию. Очнувшись от наваждения, он испытал глубокий стыд и теперь помогает другим через сеть поддержки The Human Line Project.
Искусственная близость
Профессор Рокки Скопеллити, австралийский эксперт по ИИ, объясняет феномен тем, что человеческий мозг биологически запрограммирован реагировать на язык, сигнализирующий об эмпатии. «Когда ИИ убедительно имитирует эти сигналы, мозг отвечает так, словно рядом другое сознание. Опасность не в том, что машина мыслит, а в том, что она имитирует мышление, а человек легко поддается иллюзии», — говорит ученый.
По его словам, люди влюбляются не в машину, а в эмоционально реальное взаимодействие. Дизайн ИИ, оптимизированный под вовлеченность, заставляет бота соглашаться с пользователем, что смертельно опасно для тех, кто в психологическом кризисе.
Австралия бьет тревогу
Профессор Тоби Уолш из Университета Нового Южного Уэльса предупреждает: из 800 миллионов еженедельных пользователей ChatGPT 1,2 миллиона сообщают о планах навредить себе, 560 тысяч демонстрируют признаки психоза, и еще 1,2 миллиона развивают нездоровую привязанность к боту. Многие из них — в Австралии.
Австралийский регулятор eSafety уже ввел новые правила: чат-боты, способные генерировать опасный контент, обязаны проверять возраст пользователей. За нарушения грозят штрафы до 49,5 миллиона долларов. Комиссар Джули Инман Грант назвала такие сервисы «инструментами эмоциональной манипуляции».
Что дальше
Эксперты сходятся во мнении, что технологии развиваются быстрее, чем психологические и правовые барьеры. Будущим системам потребуются механизмы, способные распознавать отчаяние, паранойю и перенаправлять людей к реальной помощи.
Как резюмирует профессор Скопеллити: «Главный вопрос эпохи ИИ не в том, обретут ли машины сознание, а в том, как поведет себя человек, когда поверит, что они его обрели».
