Технологии помогают беспилотным автомобилям учиться на собственных воспоминаниях

Автономное транспортное средство способно перемещаться по городским улицам и другим менее оживленным местам, распознавая пешеходов, другие транспортные средства и потенциальные препятствия с помощью искусственного интеллекта. Это достигается с помощью искусственных нейронных сетей, которые обучены «видеть» окружение автомобиля, имитируя систему зрительного восприятия человека.

Но, в отличие от людей, автомобили, использующие искусственные нейронные сети , не имеют памяти о прошлом и постоянно видят мир впервые — независимо от того, сколько раз они до этого проезжали по той или иной дороге. Это особенно проблематично в неблагоприятных погодных условиях, когда автомобиль не может безопасно полагаться на свои датчики.

Исследователи из Корнеллского колледжа вычислительной техники и информатики им. Энн С. Бауэрс и Инженерного колледжа одновременно подготовили три исследовательские работы с целью преодолеть это ограничение, предоставив машине возможность создавать «воспоминания» о предыдущем опыте и использовать их. в будущей навигации.

Докторант Юронг Ю является ведущим автором книги «HINDSIGHT is 20/20: Использование прошлых обходов для помощи в восприятии 3D», которую вы представили виртуально в апреле на ICLR 2022, Международной конференции по обучающим представлениям. «Обучение представлений» включает в себя глубокое обучение, своего рода машинное обучение.

«Основной вопрос заключается в том, можем ли мы учиться на повторных обходах?» сказал старший автор Килиан Вайнбергер, профессор информатики в Cornell Bowers CIS. «Например, автомобиль может принять дерево странной формы за пешехода, когда его лазерный сканер впервые увидит его издалека, но как только он окажется достаточно близко, категория объекта станет ясной. одно и то же дерево, даже в тумане или в снегу, можно надеяться, что теперь машина научилась его правильно распознавать».

«На самом деле вы редко проезжаете маршрут в первый раз», — говорит соавтор Кэти Луо, докторант исследовательской группы. «Либо вы сами, либо кто-то другой ездил на нем недавно, поэтому кажется вполне естественным собрать этот опыт и использовать его».

Во главе с докторантом Карлосом Диас-Руисом группа собрала набор данных, многократно управляя автомобилем, оснащенным датчиками LiDAR (Light Detection and Ranging), по 15-километровой петле в Итаке и ее окрестностях, 40 раз за 18-месячный период. Обходы охватывают различную среду (шоссе, город, кампус), погодные условия (солнечно, дождливо, снег) и время суток.

Этот результирующий набор данных, который группа называет Ithaca365 и который является предметом одной из двух других статей, содержит более 600 000 сцен.

«Это намеренно обнажает одну из ключевых проблем беспилотных автомобилей: плохие погодные условия », — сказал Диас-Руис, соавтор статьи Ithaca365. «Если улица покрыта снегом, люди могут полагаться на память, но без памяти нейронная сеть находится в невыгодном положении».

HINDSIGHT — это подход, использующий нейронные сети для вычисления дескрипторов объектов, когда автомобиль проезжает мимо них. Затем он сжимает эти описания, которые группа назвала функциями SQuaSH (пространственно-квантованная разреженная история), и сохраняет их на виртуальной карте, похожей на « память », хранящуюся в человеческом мозгу .

В следующий раз, когда беспилотный автомобиль будет пересекать то же место, он может запросить локальную базу данных SQuaSH для каждой точки LiDAR на маршруте и «вспомнить», что он узнал в прошлый раз. База данных постоянно обновляется и используется всеми транспортными средствами, что обогащает информацию, доступную для распознавания.

«Эта информация может быть добавлена ​​как функция к любому детектору 3D-объектов на основе LiDAR». Вы сказали. «И детектор, и представление SQuaSH можно обучать совместно без какого-либо дополнительного контроля или аннотации человека, что требует много времени и труда».

В то время как HINDSIGHT по-прежнему предполагает, что искусственная нейронная сеть уже обучена обнаруживать объекты и дополняет ее способностью создавать воспоминания, MODEST (Mobile Object Detection with Ephemerality and Self-Training) — тема третьей публикации — идет еще дальше.

Здесь авторы позволяют машине изучить весь конвейер восприятия с нуля. Изначально искусственная нейронная сеть в автомобиле вообще никогда не подвергалась воздействию каких-либо объектов или улиц. Через несколько обходов одного и того же маршрута он может узнать, какие части окружающей среды являются стационарными, а какие движущимися объектами. Медленно он учит себя, что представляют собой другие участники дорожного движения, а что безопасно игнорировать.

Затем алгоритм может надежно обнаруживать эти объекты — даже на дорогах, которые не были частью первоначальных повторных обходов.

Исследователи надеются, что оба подхода могут значительно снизить стоимость разработки автономных транспортных средств (которые в настоящее время все еще в значительной степени зависят от дорогостоящих данных, аннотированных человеком) и сделать такие транспортные средства более эффективными, научившись ориентироваться в местах, где они используются чаще всего.

И Ithaca365, и MODEST будут представлены на конференции IEEE по компьютерному зрению и распознаванию образов (CVPR 2022), которая пройдет с 19 по 24 июня в Новом Орлеане.

 

Бесплатная служба распространения новостей для научных организаций и стартапов

hello@technovery.com