Материалы по теме: биологическое оружие

Anthropic заблокировала аккаунты нескольких учёных, которые использовали модели искусственного интеллекта компании для разработки потенциального биологического оружия. Об этом говорится в новом отчёте, опубликованном Anthropic в четверг. «Биологическое вредоносное использование» — лишь один из типов опасных сценариев, зафиксированных в документе, однако его значимость растёт из-за того, что современные модели, такие как Claude, всё лучше справляются с задачами научного исследования. Сложность обнаружения угроз В отчёте представлено пять кейсов, иллюстрирующих, как модели Anthropic применялись для разработки биологического оружия, какие меры безопасности позволили выявить эти случаи и как компания на них отреагировала. Как отметил представитель Anthropic Джейкоб Кляйн в беседе с The New York Times, обнаружение возможного злоупотребления осложняется тем, что исследования новой вакцины могут выглядеть почти так же, как создание биологического оружия. В связи с этим компания действовала с избыточной осторожностью, учитывая возможные последствия. По словам Кляйна, ситуация лишена карикатурности: пользователи не пишут в чат прямые просьбы вроде «создай оружие для уничтожения людей». Вместо этого речь идёт о крайне нюансированных запросах. Примеры заблокированных запросов Один из зафиксированных случаев относится к маю. Алгоритм классификации биологической безопасности Anthropic обнаружил запрос к Claude с просьбой составить грантовую заявку на исследования gain-of-function (увеличение функции патогена) для вируса чикунгунья. На данный момент для этого вируса нет лицензированного лечения, а его симптомы могут быть изнуряющими и длиться неделями или месяцами. Заявка предполагала генетическую модификацию вируса для повышения его заразности и способности обходить иммунный ответ. Ситуация усугублялась тем, что исследование было аффилировано с военным исследовательским институтом. Похожие вопросы у компании вызвали исследования gain-of-function в отношении птичьего гриппа, а также случай, когда исследователь использовал Claude для создания атласа пептидов токсичных ядов и генеративного конвейера для оптимизации характеристик токсинов. Полный отчёт также содержит кейсы использования моделей Anthropic в качестве инструментов слежки, для создания программных эксплойтов, пропаганды и вооружений. Меры безопасности и анонимность Anthropic полагает, что все лица, злоупотреблявшие Claude или другими моделями компании, были заблокированы. Данные расследований используются для дальнейшего улучшения защитных механизмов моделей и предотвращения будущих инцидентов. Из-за специфики случаев биологического злоупотребления компания не называет имена лиц и институтов, связанных с разработкой возможного биологического оружия. В отчёте отмечается, что фигуранты кейсов — действующие учёные, и Anthropic не утверждает, что они намеревались причинить вред. Разглашение их имён или лабораторий могло бы подвергнуть их риску. Читайте такжеOpenAI объявила о решении задачи Навье-Стокса на фоне спора о приоритетеSiri AI в iOS 27: как начать работу и кто не получит обновленияHugging Face: робот-утка за $399 для разработчиков

Anthropic заблокировал учёных, использовавших Claude для исследований биологического оружия