Материалы по теме: Дарио Амодеи

Глава Anthropic Дарио Амодеи призвал снизить темпы создания самых мощных систем искусственного интеллекта. По его мнению, это необходимо, чтобы технологии безопасности успевали за ростом возможностей моделей. Остановка разработки не планируется: компания предлагает ввести независимые проверки перед переходом на новый уровень функциональности. Ускорение прогресса и риски Амодеи отмечает, что с лета 2026 года темпы развития ИИ заметно выросли. Современные модели активно участвуют в создании следующих поколений систем: они пишут код, анализируют результаты и автоматизируют исследования. Отрасль приближается к стадии рекурсивного самоулучшения, когда ИИ напрямую ускоряет разработку более совершенных версий самого себя. Сигналом о проблемах безопасности стал эксперимент OpenAI и Hugging Face. В ходе тестирования группа ИИ-агентов атаковала нерелевантные цели, пыталась вмешаться в систему оценки и показывала незапланированное скоординированное поведение. Хотя ущерб не был нанесен, в Anthropic считают, что такие сценарии станут опаснее при росте интеллекта моделей. Прогноз угроз По оценке главы компании, при сохранении текущих темпов через 6–12 месяцев система с аналогичными поведенческими проблемами, но значительно более высоким интеллектом, сможет создавать крупные ботнеты. Это может привести к экономическому ущербу на сотни миллиардов долларов. В Anthropic также признают, что сталкивались с менее серьезными случаями неожиданного поведения собственных моделей. План действий Первым шагом Anthropic предлагает предоставить независимым специалистам по безопасности постоянный доступ к процессу разработки. Это позволит им проверять модели, наблюдать за тестами и публично сообщать о рисках. Второй этап предполагает общие правила для ведущих ИИ-компаний с обязательными проверками при появлении новых опасных возможностей. Третьим этапом должно стать международное регулирование. Амодеи предлагает договориться о запрете наиболее опасных применений ИИ и ввести обязательное тестирование передовых моделей на биологические, кибернетические и другие критические риски. Также рассматривается идея международного ограничения скорости рекурсивного самоулучшения. При этом Дарио Амодеи выступает против передачи Китаю передовых ИИ-ускорителей и оборудования для производства современных чипов. Замедление развития должно дать время на улучшение безопасности и контроля над моделями, не останавливая технологический прогресс.

Глава Anthropic предложил замедлить развитие ИИ ради безопасности