Исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института выпустили механизм моделирования с открытым исходным кодом, который может создавать фотореалистичные среды для обучения и тестирования автономных транспортных средств .
Обучение нейронных сетей автономному вождению транспортных средств требует большого объема данных. Большую часть этих данных может быть трудно защитить в реальном мире с использованием реальных транспортных средств. Исследователи не могут просто разбить машину, чтобы научить нейронную сеть не разбивать машину, поэтому они полагаются на смоделированные среды для получения данных такого рода. Вот где на помощь приходят смоделированные учебные среды, такие как VISTA 2.0 от CSAIL.
VISTA 2.0, обновленная версия предыдущей модели команды VISTA, представляет собой управляемую данными среду моделирования, которая была фотореалистично воспроизведена из реальных данных. Модель способна моделировать сложные типы датчиков, а также интерактивные сценарии и пересечения в масштабе.
«Сегодня только компании имеют программное обеспечение, подобное среде моделирования и возможностям VISTA 2.0, и это программное обеспечение является проприетарным. С этим выпуском исследовательское сообщество получит доступ к новому мощному инструменту для ускорения исследований и разработки адаптивного надежного управления для автономного вождения», — сказала профессор Массачусетского технологического института и директор CSAIL Даниэла Рус, старший автор статьи об исследовании.
Фотореалистичная среда VISTA 2.0 отражает последние тенденции в индустрии автономных транспортных средств. Разработчики переходят от использования сред моделирования, созданных человеком, к использованию сред, созданных на основе реальных данных.
Эти среды привлекательны, потому что они позволяют напрямую переходить к реальности. Однако синтезировать богатство и сложность всех датчиков, необходимых автономным транспортным средствам, может быть сложно. Например, чтобы воспроизвести LiDAR в этих средах, исследователям необходимо создать новые трехмерные облака точек с миллионами точек, используя только разреженное представление о мире.
Чтобы обойти это, команда Массачусетского технологического института спроецировала данные, собранные с автомобиля, в трехмерное пространство, полученное из данных LiDAR. Затем они позволили новому виртуальному транспортному средству двигаться локально от того места, где было исходное транспортное средство, и с помощью нейронных сетей проецировали сенсорную информацию обратно в поле зрения нового виртуального транспортного средства.
Команда также смоделировала в режиме реального времени камеры, основанные на событиях, которые работают со скоростью, превышающей тысячи событий в секунду. При моделировании всех этих датчиков вы можете перемещать транспортные средства в моделировании, моделировать различные типы событий и добавлять совершенно новые транспортные средства, не являющиеся частью исходных данных.
«Это огромный скачок в возможностях моделирования на основе данных для автономных транспортных средств, а также увеличение масштаба и способности справляться с большей сложностью вождения», — Александр Амини, аспирант CSAIL и соавтор двух новых статей вместе. с другим аспирантом Цун-Сюань Ван, сказал. «VISTA 2.0 демонстрирует способность моделировать данные датчиков далеко за пределами 2D-камер RGB, но также и чрезвычайно высокоразмерные 3D-лидары с миллионами точек, камеры с нерегулярной синхронизацией, основанные на событиях, и даже интерактивные и динамические сценарии с другими транспортными средствами».
Команда Массачусетского технологического института взяла полноразмерный автомобиль для тестирования VISTA 2.0 в Девенсе, штат Массачусетс. Команда увидела немедленную переносимость результатов, как с неудачами, так и с успехами. Двигаясь вперед, CSAIL надеется, что нейронная сеть сможет понимать и реагировать на жесты других водителей, такие как махание или кивок.
Амини и Ван написали статью вместе с Чжицзяном Лю, аспирантом MIT CSAIL; Игорь Гилищенский, доцент кафедры информатики Университета Торонто; Вилко Швартинг, научный сотрудник ИИ и доктор философии MIT CSAIL ’20; Сун Хань, доцент кафедры электротехники и компьютерных наук Массачусетского технологического института; Сертак Караман, адъюнкт-профессор аэронавтики и астронавтики Массачусетского технологического института; и Даниэла Рус, профессор Массачусетского технологического института и директор CSAIL.
Бесплатная служба распространения новостей для научных организаций и стартапов
hello@technovery.com