Исследователи MIT совместно с компанией Motional разработали систему CW-Net (Concept-Wrapper Network), которая делает решения искусственного интеллекта беспилотных автомобилей понятнее человеку. Технология позволяет увидеть, на что именно ориентируется алгоритм при выборе манёвра и заметить ситуации, когда логика автомобиля работает неправильно.
Проблема «чёрного ящика»
Читайте также
Южная Корея выбрала семь технологий будущего: квантовые компьютеры, термояд и высадка на Луну
Современные беспилотники используют нейросети, которые анализируют данные камер и лидаров, оценивают дорожную ситуацию и строят траекторию движения. Однако понять, почему модель приняла конкретное решение, зачастую сложно даже разработчикам. CW-Net встраивается в существующую систему управления и переводит внутренние представления нейросети в понятные концепции: например, «приближение к остановившемуся автомобилю» или «рядом велосипедист». При этом система не должна ухудшать качество управления автомобилем. Главное отличие подхода в том, что объяснение связано непосредственно с процессом принятия решения. Это снижает риск ситуации, когда система выдаёт убедительное объяснение, которое на самом деле не соответствует причинам действий нейросети.
Беспилотник может остановиться по неправильной причине
Во время испытаний исследователи обнаружили показательный случай. Автомобиль регулярно останавливался перед велосипедистом, поэтому водитель безопасности предполагал, что система корректно распознаёт человека на велосипеде. CW-Net показала другое: основной алгоритм фактически не обнаруживал велосипедиста должным образом и первоначально выбирал траекторию, способную привести к столкновению. Машина останавливалась только потому, что в последний момент срабатывала отдельная система экстренного торможения. Без объяснения поведение автомобиля выглядело полностью правильным. Но внутри системы уже существовала потенциально опасная ошибка.
Человек сможет раньше понять, что ИИ ненадёжен
В испытаниях на закрытом полигоне объяснения CW-Net помогли водителям безопасности точнее прогнозировать дальнейшие действия беспилотника. Аналогичный эффект исследователи получили в более масштабных симуляциях с дорожными ситуациями, записанными в Лас-Вегасе. Для обучения системы использовался набор из 130 млн примеров дорожных сцен с размеченными концепциями. CW-Net генерирует объяснения в реальном времени одновременно с построением траектории автомобиля.
Почему это важно
CW-Net пока не означает, что беспилотный автомобиль способен буквально осознать собственную ошибку или гарантированно предсказать аварию. Технология делает другое: она позволяет человеку увидеть логику, лежащую в основе решения машины, и обнаружить расхождение между ожидаемым и реальным поведением алгоритма. Для автономного транспорта это может стать дополнительным уровнем безопасности. Вместо принципа «машина едет правильно — значит, ей можно доверять» оператор получает возможность понять, почему она едет правильно и действительно ли алгоритм правильно воспринимает ситуацию. В перспективе подобный подход может быть полезен не только для автомобилей, но и для других систем, где ошибка ИИ имеет физические последствия: роботов, промышленной автоматики и автономной техники.
Меню 
Знания 
События 
Новости 
Курсы валют