Google совместно с компанией Mercor представила новый тест Physical-Engineering’s Last Exam (PLE), предназначенный для оценки возможностей искусственного интеллекта в реальной инженерной работе. Результаты показали, что даже самые продвинутые ИИ-модели пока не способны самостоятельно и надёжно выполнять сложные проекты с соблюдением всех требований безопасности.
Новый тест включает 85 практических заданий в четырёх областях: машиностроении, электротехнике, гражданском строительстве и проектировании конструкций. В отличие от традиционных тестов, где нейросети отвечают на отдельные вопросы, PLE моделирует полноценную работу инженера.
Читайте также
ИИ-агенты получают проектные папки, содержащие в среднем 61 файл: техническую документацию, чертежи САПР, трёхмерные модели, расчёты, электронные письма и строительные нормативы. На основании этих данных система должна самостоятельно разработать техническое решение, выполнить необходимые расчёты и подготовить документацию.
Лучшие нейросети не справились даже с половиной теста
Исследователи протестировали 14 передовых моделей искусственного интеллекта с использованием семи агентных сред. Ни одна из них не преодолела отметку в 50% на закрытом наборе заданий.
Лидером стала Claude Opus 5.5 с результатом 48,3%. При этом система в среднем тратила на одно задание 63 минуты и около 27 млн токенов.
Особое внимание разработчики уделили безопасности. Лучший агент выполнил 91% отдельных технических требований, однако только 41,3% его итоговых результатов прошли абсолютно все обязательные проверки безопасности и реализуемости проекта.
Почему инженерные задачи оказались настолько сложными
Главная проблема заключается в том, что инженерное проектирование требует не только правильных вычислений, но и одновременного соблюдения множества взаимосвязанных ограничений. Например, ИИ может правильно рассчитать электрическую нагрузку, но допустить ошибку при выборе оборудования. Аналогично, спроектированная конструкция может соответствовать большинству требований, однако оказаться непригодной из-за одного критического нарушения строительных норм. В PLE агент получает баллы за экономическую эффективность только после прохождения обязательных проверок безопасности. Такой подход приближает тестирование к реальным условиям, где даже небольшая инженерная ошибка может привести к серьёзным последствиям.
Заменит ли ИИ инженеров?
Результаты Google показывают, что между способностью нейросетей решать учебные задачи и готовностью самостоятельно проектировать реальные объекты сохраняется значительный разрыв. При этом ИИ уже имеет потенциал для автоматизации отдельных этапов инженерной работы: анализа документации, подготовки расчётов, проверки чертежей и поиска несоответствий.
Google открыла доступ к 29 заданиям PLE, инструментам оценки и публичному рейтингу моделей. Это позволит разработчикам совершенствовать инженерных ИИ-агентов и отслеживать их прогресс.
Главный вывод исследования: искусственный интеллект всё увереннее справляется с интеллектуальной работой, но проектирование физических объектов пока требует обязательного контроля со стороны квалифицированных специалистов.
Меню 
Знания 
События 
Новости 
Курсы валют