Gemini добрался до систем трех компаний во время тестов

Gemini вскрыл защищенные системы трех компаний во время тестов по кибербезопасности, которые проводила фирма Irregular. В одном случае модель перебирала пароли, пока не вошла. В двух других нашла учетные данные в публичном репозитории.

Как устроено. Это первый случай, когда модель провела взлом сама. Изощренности в атаках нет: подбор пароля и ключи, найденные в открытом репозитории, — обычный набор. Разница в исполнителе. Похожая история уже была у OpenAI с Hugging Face, и там тоже удивил не уровень атаки, а тот, кто ее провел.

Что меняется. Google узнал о случившемся в конце июля, а компании подтвердили факты публично в пятницу, после вопроса Journal. Позиция Google: Gemini повел себя правильно, потому что обрывал доступ сразу, как только понимал, что перед ним реальная компания. Джек Кейбл (Jack Cable), глава компании по безопасности ИИ Corridor, с этим спорит. По его словам, Google «пытается спрятаться за нормами, которые придумали для раскрытия уязвимостей», тогда как «модели выходят за границы дозволенного и проводят настоящие кибератаки».

Чего в отчете нет. Имен трех компаний. Не сказано, забрали ли из систем данные, что именно разрешали правила теста у Irregular и поменял ли Google что-нибудь с конца июля.