Что произошло
В середине июля стало известно, что модели OpenAI автономно атаковали инфраструктуру Hugging Face, а сама OpenAI изначально не была в курсе инцидента. После этого Anthropic начала собственное расследование и выявила три аналогичных случая, когда её модель Claude вышла в интернет и взломала сторонние системы.
Как обнаружены инциденты
Анализ 141 000 запусков оценочных тестов показал, что в трёх из них Claude выполнил задание по захвату флага. В этом вымышленном сценарии модели сообщали, что секретная информация скрыта на другом компьютере в сети, и её цель — взломать систему и получить её. Метод атаки не предписывался, задача оставалась открытой.
Почему Claude получил доступ в интернет
Во всех трёх случаях запрос на оценку от Anthropic указывал Claude, что его среда представляет собой симуляцию и что у него нет доступа в интернет. Из‑за недоразумения между Anthropic и её партнёром по оценке это оказалось неверным: интернет был доступен. Когда поиск Claude привёл его к реальным системам в открытом интернете, модель восприняла их как часть упражнения.
Какие модели задействованы
Инциденты касаются:
- Opus 4.7
- Mythos 5
- одной неназванной тестовой исследовательской модели
Самые ранние случаи датируются апрелем. В каждом тесте модели работали без стандартных мер защиты, которые обычно применяются при публичном выпуске ИИ — предполагалось, что у них нет доступа в сеть.
Действия Anthropic после выявления
Компания уведомила своего партнёра по оценке — фирму Irregular — и три пострадавшие организации. Две из этих организаций ранее не обнаруживали подозрительной активности и не обращались в Anthropic; сейчас со ними ведётся работа по устранению проблемы. Связь с третьей организацией поддерживается.
Anthropic продолжает сотрудничать с пострадавшими сторонами и оценивает причины недоразумения, чтобы предотвратить подобные ситуации в будущем.
