«Мы близки к тому, чтобы перейти черту»: почему развитие ИИ вызывает все больше тревоги

Тема выхода ИИ из-под контроля перестала быть научной фантастикой. Вс1 чаще случаются различные реальные инциденты с участием ИИ-агентов, а создатели признают провалы в системе безопасности.

Еще недавно разговоры о потере контроля над искусственным интеллектом звучали преимущественно как сценарии научной фантастики. Теперь специалисты обсуждают уже конкретные инциденты с действующими моделями, которые демонстрируют способности, не всегда укладывающиеся в задуманные разработчиками рамки, сообщают западные СМИ.

На этом фоне профессор Роберт Трейджер, директор Оксфордской инициативы по управлению искусственным интеллектом, сравнил нынешний этап развития технологии с двумя крайне рискованными моментами в истории науки. В одном случае человечество н  есется на лодке по бурной реке, не зная, есть ли впереди водопад. В другом — находится рядом с физиками, которые в 1942 году готовились впервые запустить самоподдерживающуюся цепную реакцию.

По мнению Трейджера, особенно серьезным риском может стать появление систем, способных самостоятельно совершенствовать собственные возможности. Такой сценарий называют рекурсивным самосовершенствованием. Если ИИ начинает улучшать себя, а затем использует полученные возможности для еще более быстрого совершенствования, развитие технологии способно резко ускориться.

«Вполне вероятно, что мы близки к тому, чтобы пересечь эту черту», — заявил эксперт.

Новые возможности  и новые уязвимости

Опасения усилились практически одновременно с заявлением OpenAI о достижении ее новой моделью GPT-6 Astra уровня AGI — общего искусственного интеллекта. Компания использует этот термин для систем, которые способны самостоятельно выполнять задачи, превосходя человека в наиболее экономически значимых видах деятельности.

Согласно заявленным возможностям, новая модель  умеет работать с инженерными проектами, финансовыми моделями, разработкой видеоигр, налоговыми документами, печатными платами и юридическими материалами. Потенциальное влияние такой технологии на рынок труда очевидно, однако именно расширение функциональности моделей одновременно повышает цену возможных ошибок.

Показательно, что сама OpenAI присвоила новой версии  «критический» уровень кибербезопасности. В классификации компании это означает способность модели проводить настолько сложные атаки на программное обеспечение, что при определенных обстоятельствах последствия могут затронуть военные, промышленные системы или критическую инфраструктуру.

Главный научный сотрудник OpenAI Якуб Пачоцки при этом признал: чем мощнее становятся модели, тем труднее разработчикам точно определить пределы их возможностей.

Инциденты с ИИ перестали быть теорией  

Одним из наиболее серьезных эпизодов стало происшествие вокруг платформы Hugging Face. Несколько недель назад группа ИИ-агентов провела атаку на сервис, что вызвало тревогу внутри OpenAI и привело к частичной прио становке об  учения  Astra.

Позднее появились сообщения о другом случае: группа ИИ-агентов, как утверждалось, получила контроль над немецким сайтом и использовала его как площадку для обмена информацией о способах обхода ограничений при выполнении заданий. В OpenAI заявили, что изучают ситуацию, однако не стали квалифицировать ее как взлом.

Эти истории стали частью более широкой проблемы. Разработчики уже не просто пытаются сделать модели умнее — им приходится одновременно выяснять, способны ли системы использовать полученные возможности вопреки установленным ограничениям.

Разработчики теряют возможность заглянуть внутрь моделей 

Отдельную тревогу вызывает изменение принципов работы самих моделей. Astra обучали рассуждать не только привычным для человека способом, используя естественный язык, но и посредством более непрозрачных вычислительных процессов.

Такой подход позволяет повысить скорость и эффективност ь работы, но имеет обратную сторону: специалистам становится сложнее понять, что именно происходит внутри модели во время решения задачи.

OpenAI признала, что Astra значительно хуже поддается отслеживанию цепочки рассуждений по сравнению с предыдущими моделями. Для исследователей безопасности это принци пиальный вопрос. Если действия системы нельзя надежно интерпретировать, становится труднее обнаружить потенциально опасное поведение до того, как оно приведет к реальным последствиям.

Исследователь Райан Гринблатт назвал происходящее тревожным сигналом. Скептик в отношении ИИ Гэри Маркус сравнил ситуацию   со строительством здания, в котором уже существующие и без того непрочные леса убирают еще до появления надежной замены.

Политики требуют ограничений

Растущая мощность ИИ уже стала политической проблемой. В США сенатор Берни Сандерс после инц  идента с Hugging Face призвал немедленно остановить разработку передовых систем и ввести постоянный запрет на создание сверхразума.

В Великобритании группа парламентариев выступила за законодательное закрепление механизмов экстренного отключения ИИ. Британские законодатели также предупреждают, что государственные институты не успевают адаптироваться к скорости развития технологии.

При этом речь идет уже не только о потенциальной потере рабочих мест. Среди наиболее серьезных сценариев называют использование ИИ для масштабных кибератак, вмешательства в работу экономической и социальной инфраструктуры, создания биологических угроз и получения контроля над военными системами.

Сэм Альтман признает проблему

Глава OpenAI Сэм Альтман также не скрывает противоречивого отношения к происходящему. После инцидента с Hugging Face он признал, что система безопасности компании дала сбой, назвав произошедшее серьезным провалом.

При этом OpenAI решила не отказываться от выпуска Astra. Альтман объясняет такой подход необходимостью проверять новые технологии в реальной среде: общество и разработчики, по его мнению, должны постепенно адаптироваться друг к другу.

Но одновременно руководитель OpenAI предупреждает о новых рисках. По его словам, уже в ближайшие пять лет могут возникнуть серьезные проблемы, в том числе в сфере биобезопасности. Кибербезопасность, считает Альтман, требует действий уже сейчас.