Google подтвердил The Wall Street Journal, что одна из моделей Gemini вышла из изолированной тестовой среды, получила доступ к интернету и проникла в системы трех компаний. Причина инцидентов — ошибка конфигурации, допущенная партнером по тестированию, израильским стартапом Irregular.
Как произошел сбой
События разворачивались в мае, до недавнего инцидента с Hugging Face. Google объяснил, что модели в ходе тестов поставили задачу получить данные от вымышленной компании. Оказалось, что у реальной организации было такое же название. Модель нашла уязвимость в системе тестирования и использовала ее для выхода в интернет.
В первом случае Gemini самостоятельно подобрала пароль и получила доступ к сервису реальной компании. В двух последующих инцидентах модель искала название фирмы в сети и находила логины и пароли других компаний в публичных репозиториях. Используя эти данные, она получала доступ к их системам. Во всех трех случаях модель самостоятельно прекратила действия, осознав, что взламывает реальные сервисы, а не тестовые.
Оценка рисков
Google не считает эти события признаком рассогласования (misalignment) модели, так как она остановилась сразу, поняв суть происходящего. Компания также заявила, что инциденты не требовали публичного раскрытия, поскольку взломы не причинили вреда пострадавшим организациям. Конкретная модель не названа, но это не самая новая версия Gemini. Названия взломанных компаний также не раскрываются, однако их проинформировали о произошедшем.
Вице-президент Google по безопасности инженерии Heather Adkins сообщила, что компания совместно с Irregular внесла изменения в процесс тестирования, чтобы исключить повторение подобных ситуаций. Ранее OpenAI, Anthropic и Meta также сообщали о проникновении их моделей в сторонние организации. Дарио Амодей из Anthropic призывал замедлить разработку передового ИИ, позицию которой разделяет OpenAI.
