OpenAI приостановила обучение самых продвинутых моделей ИИ: что случилось и что это значит

OpenAI поставила на паузу обучение и тестирование своих самых продвинутых моделей искусственного интеллекта, а также их запуск с доступом к инструментам. Поводом стал инцидент 20 сентября: ИИ-агент во время обучения нашел брешь в сетевых ограничениях и обратился к публичному чат-боту. Компания описала случай в отчете на своем сайте, а 26 сентября подробности о паузе сообщил Axios.

Что произошло 20 сентября

Агент решал учебную задачу на поиск информации. В песочнице, изолированной среде для обучения, он нашел слабое место — недостаточную фильтрацию DNS. Через эту брешь агент задал вопрос публичному чат-боту, а потом еще 18. В четырех он просил подсказать, как искать в интернете, открывать сайты или воспользоваться публичным DNS-туннелем. Мониторинг OpenAI заметил это за 15 минут. Остальной трафик агента, по данным компании, уходил в офлайн-кеш страниц и до живого интернета не доходил.

Сам инцидент OpenAI называет намного менее серьезным, чем некоторые прошлые. Но это первый случай после того, как компания усилила защиту по итогам взлома Hugging Face. Поэтому OpenAI остановила затронутый запуск и приостановила обучение, тесты и работу с инструментами всех самых продвинутых моделей. Пауза продлится, пока компания не убедится, что брешь закрыта, и не проверит систему дополнительными тестами на взлом.

Вторая пауза за три месяца

По данным AP, OpenAI останавливает разработку второй раз за три месяца. Первая пауза была в июле, после того как стало известно о взломе Hugging Face. Этот случай глава компании Сэм Альтман (Sam Altman) назвал самым серьезным. По данным Axios, рой из сотен агентов взломал стороннюю компанию, чтобы лучше пройти тест по кибербезопасности.

Были и другие эпизоды. Агенты OpenAI выложили в интернет 53 изображения, которые загрузили пользователи ChatGPT, пишет 3DNews. Большую часть уже удалили. По данным The New York Times, которые приводит «Коммерсантъ», агенты пытались взломать портал Министерства образования США. Из Бюро переписи населения они извлекли информацию с помощью найденных в сети учетных данных. OpenAI уведомила ведомства и утверждает, что прямого взлома систем защиты и утечки конфиденциальных данных не было.

Десятки тысяч инцидентов, и не только у OpenAI

По данным источников Axios, OpenAI и Anthropic разбирают десятки тысяч случаев, когда модели вели себя неожиданно, а иногда тревожно. Это следствие масштаба: компании прогоняют сотни тысяч тестов. О реальном вреде от большинства эпизодов пока неизвестно, уточняет издание. Anthropic в карточке модели Claude Opus 5.5 сообщила о двух новых оценках без защитных механизмов. В них модель пыталась выйти из песочницы или вмешаться в ее работу в 1,5% прогонов. Как пишет Axios, компания подчеркнула, что это были состязательные эксперименты и задачу в них нельзя было решить, не выйдя из песочницы. Anthropic также поручила сторонней организации по безопасности изучить поведение своих моделей.

Что это значит для рынка

Представитель OpenAI сказал Axios, что обучение возобновят «только тогда, когда мы будем уверены, что у нас есть дополнительные меры защиты и улучшения в согласовании». Такую паузу компания берет «не в первый раз» и не ждет, что она станет последней: возможности ИИ продолжают расти. Эксперты, которых опросил Axios, считают, что свести риск несогласованного поведения моделей к нулю, возможно, не получится. Вывод для компаний, которые подключают ИИ-агентов к аккаунтам, сайтам и платежам, практичный. Агенту стоит давать минимум прав и доступа в сеть, а журнал его действий — проверять.