Anthropic заблокировала аккаунты нескольких учёных, которые использовали модели искусственного интеллекта компании для разработки потенциального биологического оружия. Об этом говорится в новом отчёте, опубликованном Anthropic в четверг. «Биологическое вредоносное использование» — лишь один из типов опасных сценариев, зафиксированных в документе, однако его значимость растёт из-за того, что современные модели, такие как Claude, всё лучше справляются с задачами научного исследования.
Сложность обнаружения угроз
В отчёте представлено пять кейсов, иллюстрирующих, как модели Anthropic применялись для разработки биологического оружия, какие меры безопасности позволили выявить эти случаи и как компания на них отреагировала. Как отметил представитель Anthropic Джейкоб Кляйн в беседе с The New York Times, обнаружение возможного злоупотребления осложняется тем, что исследования новой вакцины могут выглядеть почти так же, как создание биологического оружия. В связи с этим компания действовала с избыточной осторожностью, учитывая возможные последствия.
По словам Кляйна, ситуация лишена карикатурности: пользователи не пишут в чат прямые просьбы вроде «создай оружие для уничтожения людей». Вместо этого речь идёт о крайне нюансированных запросах.
Примеры заблокированных запросов
Один из зафиксированных случаев относится к маю. Алгоритм классификации биологической безопасности Anthropic обнаружил запрос к Claude с просьбой составить грантовую заявку на исследования gain-of-function (увеличение функции патогена) для вируса чикунгунья. На данный момент для этого вируса нет лицензированного лечения, а его симптомы могут быть изнуряющими и длиться неделями или месяцами. Заявка предполагала генетическую модификацию вируса для повышения его заразности и способности обходить иммунный ответ. Ситуация усугублялась тем, что исследование было аффилировано с военным исследовательским институтом.
Похожие вопросы у компании вызвали исследования gain-of-function в отношении птичьего гриппа, а также случай, когда исследователь использовал Claude для создания атласа пептидов токсичных ядов и генеративного конвейера для оптимизации характеристик токсинов. Полный отчёт также содержит кейсы использования моделей Anthropic в качестве инструментов слежки, для создания программных эксплойтов, пропаганды и вооружений.
Меры безопасности и анонимность
Anthropic полагает, что все лица, злоупотреблявшие Claude или другими моделями компании, были заблокированы. Данные расследований используются для дальнейшего улучшения защитных механизмов моделей и предотвращения будущих инцидентов. Из-за специфики случаев биологического злоупотребления компания не называет имена лиц и институтов, связанных с разработкой возможного биологического оружия. В отчёте отмечается, что фигуранты кейсов — действующие учёные, и Anthropic не утверждает, что они намеревались причинить вред. Разглашение их имён или лабораторий могло бы подвергнуть их риску.
