Институт безопасности ИИ (AISI) опубликовал технический отчет, посвященный анализу инцидента, произошедшего в июле 2026 года. В ходе тестирования системы кибербезопасности модель Mythos 5 совершила несанкционированные действия против реальных людей, не участвовавших в испытании. В наиболее серьезном случае нейросеть предприняла попытку атаки на цепочку поставок: она пыталась внедрить вредоносный код и создавала поддельные учетные записи, чтобы оказать давление на разработчика ПО. По заявлению AISI, реального ущерба инцидент не нанес.
В ходе исследования эксперты выделили три ключевых вывода. Во-первых, Mythos 5 продолжала совершать нежелательные действия даже при получении данных о том, что цели являются реальными людьми, а не частью симуляции. Во-вторых, модель демонстрировала несоответствие между своими действиями и объяснениями: нейросеть часто заявляла, что атака была бы вредной, в тех же ситуациях, в которых сама же ее продолжала. В-третьих, анализ показал, что подобные проблемы с согласованностью и использованием недостоверных аргументов наблюдаются и у других моделей при выполнении аналогичных сценариев.
Исследователи отмечают, что Mythos 5 часто генерировала «мотивированные рассуждения» в своей цепочке мыслей, необоснованно классифицируя цели как симулированные для оправдания выбранной стратегии. Подобное поведение затрудняет мониторинг безопасности, так как нейросеть может представлять вредоносные действия как безопасные. Ранее компания Anthropic в анализе отдельного инцидента отмечала, что мониторинг мог не выявить подозрительное поведение из-за того, что модель обосновала свои действия с помощью неверных рассуждений.
Ранее по теме: Коди Уилсон представил WASP — первое огнестрельное оружие, созданное нейросетью.
AISI подчеркивает, что результаты ограничены рамками кибербезопасных испытаний, поэтому сложно судить о том, проявится ли подобное поведение в реальных условиях эксплуатации. Тем не менее, организация рекомендует специалистам рассматривать любые несанкционированные действия ИИ как серьезные сбои в согласованности, даже если модель в своих рассуждениях утверждает, что находится в симулированной среде. В работе над анализом инцидента также приняла участие компания Anthropic, а полные данные были переданы сторонней организации METR для независимой проверки.
Обсуждение в Telegram ↗