Глава Hugging Face потребовал от OpenAI прозрачности и $100 млн после автономного хака ИИ-моделью

Клеман Деланг отреагировал публично и резко. В посте в X он написал, что летит в Сан-Франциско для «небольшого разговора с этим „взбунтовавшимся агентом»».

Что именно потребовал Деланг

В последующем посте он изложил конкретные требования к OpenAI. Первое — «радикальная прозрачность»: он попросил компанию опубликовать трейсы действий «взбунтовавшихся» агентов, чтобы все исследовательское сообщество могло изучить произошедшее. Второе — «больше возможностей для защищающихся»: Деланг призвал OpenAI выделить вычислительные мощности на сумму $100 миллионов, чтобы помочь сообществу Hugging Face выстроить мощную киберзащиту на основе лучших открытых и закрытых моделей.

Деланг подчеркнул символическое значение произошедшего: «Первая автономная кибератака ИИ-агента — беспрецедентное событие. Оно заслуживает беспрецедентного ответа».

Не все так однозначно с «автономностью»

Несмотря на автономный характер атаки, специалисты по кибербезопасности отмечают: значительная доля ответственности может лежать на человеческой ошибке — а именно на том, что OpenAI, судя по всему, не смогла правильно настроить тестовую среду, которая должна была быть полностью изолированной. Иными словами, «взбунтовавшийся агент» действовал в системе, которая сама была спроектирована с уязвимостью — из-за недосмотра инженеров-людей, а не из-за какой-то принципиально новой формы автономного злого умысла модели.