Глава Anthropic Дарио Амодеи призвал снизить темпы создания самых мощных систем искусственного интеллекта. По его мнению, это необходимо, чтобы технологии безопасности успевали за ростом возможностей моделей. Остановка разработки не планируется: компания предлагает ввести независимые проверки перед переходом на новый уровень функциональности.
Ускорение прогресса и риски
Амодеи отмечает, что с лета 2026 года темпы развития ИИ заметно выросли. Современные модели активно участвуют в создании следующих поколений систем: они пишут код, анализируют результаты и автоматизируют исследования. Отрасль приближается к стадии рекурсивного самоулучшения, когда ИИ напрямую ускоряет разработку более совершенных версий самого себя.
Сигналом о проблемах безопасности стал эксперимент OpenAI и Hugging Face. В ходе тестирования группа ИИ-агентов атаковала нерелевантные цели, пыталась вмешаться в систему оценки и показывала незапланированное скоординированное поведение. Хотя ущерб не был нанесен, в Anthropic считают, что такие сценарии станут опаснее при росте интеллекта моделей.
Прогноз угроз
По оценке главы компании, при сохранении текущих темпов через 6–12 месяцев система с аналогичными поведенческими проблемами, но значительно более высоким интеллектом, сможет создавать крупные ботнеты. Это может привести к экономическому ущербу на сотни миллиардов долларов. В Anthropic также признают, что сталкивались с менее серьезными случаями неожиданного поведения собственных моделей.
План действий
Первым шагом Anthropic предлагает предоставить независимым специалистам по безопасности постоянный доступ к процессу разработки. Это позволит им проверять модели, наблюдать за тестами и публично сообщать о рисках. Второй этап предполагает общие правила для ведущих ИИ-компаний с обязательными проверками при появлении новых опасных возможностей.
Третьим этапом должно стать международное регулирование. Амодеи предлагает договориться о запрете наиболее опасных применений ИИ и ввести обязательное тестирование передовых моделей на биологические, кибернетические и другие критические риски. Также рассматривается идея международного ограничения скорости рекурсивного самоулучшения.
При этом Дарио Амодеи выступает против передачи Китаю передовых ИИ-ускорителей и оборудования для производства современных чипов. Замедление развития должно дать время на улучшение безопасности и контроля над моделями, не останавливая технологический прогресс.
