Авторы нового ИИ-бенчмарка DrivingBench решили проверить, способны ли современные большие языковые модели управлять настоящим автомобилем. Для испытаний использовали Toyota Corolla 2022 года, где на месте водителя находился человек для подстраховки. Разным ИИ предложили пройти размеченную конусами трассу на закрытой парковке.
Ранее по теме: Toyota выпустит электрическую Corolla в следующем поколении.
Система управления была построена вокруг устройства Comma Four, подключенного к CAN-шине автомобиля. Модель получала изображения с камер и телеметрию, после чего через открытый стандарт MCP отправляла команды с заданной скоростью, продолжительностью движения и углом поворота руля. При этом предыдущую команду можно было заменить новой ещё до её завершения — это позволяло моделям корректировать управление по мере движения.
Ранее по теме: GPT-6 Astra успешно управляла обычным автомобилем.
В испытаниях участвовали модели от Anthropic, OpenAI и xAi, у каждой из которых было до трёх попыток на одной и той же трассе. Она включала прямые участки, левые и правые повороты, изгибы и парковочную зону. Главной проблемой для большинства моделей оказалась не сама работа с рулём, а восприятие окружающей обстановки: многие уже на первом повороте неправильно определяли, с какой стороны от машины проходит линия конусов.
Лучший результат показала GPT-6 Astra: в первый раз она преодолела около половины маршрута, а со второй попытки модель полностью прошла трассу примерно за пять минут. Claude Fable 5.1 только с третьей пробы удалось проехать половину парковки. Остальные испытания заканчивались на первом же повороте.
Авторы теста заметили признаки обучения моделей: Astra после неудачной попытки снизила скорость и стала чаще использовать максимальный угол поворота, а Fable скорректировала свои представления о рулении по факту езды.
В целях безопасности скорость ограничили в рабочем диапазоне 0,5–3,5 м/с, а при достижении 6 м/с было установлено аварийное ограничение. Авторы подчёркивают, что DrivingBench пока нельзя считать полноценной проверкой автономного вождения ИИ-моделей из-за ограниченного набора данных. В следующей версии теста планируется увеличить число испытаний, добавить разные уровни рассуждения и усложнить маршрут.
