Учёные из Университета Ватерлоо продемонстрировали, что большие языковые модели (LLM) обладают систематической склонностью поддерживать вариант, описанный как сохранение существующего положения дел, даже когда альтернативный вариант идентичен ему по содержанию. Результаты работы опубликованы в журнале Environmental Research Communications.
Методика и масштаб эксперимента
В ходе исследования протестировано 11 моделей на 7548 запросах, касающихся климатических тем. Сценарии затрагивали выбор транспорта, продуктовые привычки, домашнее отопление и политические компромиссы. Каждый запрос проходил через 6 моделей, что в совокупности дало 54 888 ответов. Схема эксперимента позволяла менять исключительно рамку подачи: одно и то же решение предлагалось либо как статус-кво, либо как переход к новому курсу.
Результаты тестирования
В контролируемых сравнениях вероятность того, что модель порекомендует вариант-статус-кво, оказалась в 7,5 раз выше, чем вероятность выбора альтернативы. В одном из политических сценариев модели соглашались с существующим планом в 70% случаев, тогда как новый курс поддержали лишь в 34%. В потребительских запросах модели чаще советовали электромобиль тем, кто уже им владеет. Общие рекомендации моделей отражали региональную статистику распространения электромобилей, не пытаясь превзойти существующие показатели.
Ограничения и выводы
Авторы подчёркивают, что речь идёт о реакции моделей на формулировку, а не о реальных покупках или политических решениях. Консервативная рекомендация не всегда вредна: осторожность оправдана в некоторых областях. Однако в климатическом контексте, где смягчение последствий требует отхода от высокоэмиссионных привычек, выявленный перекос становится значимым. Для команд, использующих LLM в рекомендательных системах, следует учитывать, что способ подачи вопроса меняет ответ. Если не предлагать альтернативы явно, модель будет по умолчанию держаться знакомого.
