Amazon приобрела Zoox еще в январе 2020 года за сумму около 1,2 миллиарда долларов. С тех пор компания представила свой автомобиль Zoox, прямоугольный пассажирский автомобиль без сиденья водителя или рулевого колеса и с расширенными испытательными мощностями, но в остальном новости от компании были редким явлением.
Amazon недавно продемонстрировал, как автомобиль Zoox может предсказывать свое окружение до восьми секунд в будущем времени. Эти секунды позволяют автомобилю реагировать и принимать взвешенные и безопасные решения по вождению.
Стек искусственного интеллекта (ИИ) Zoox лежит в основе способности автомобиля прогнозировать эти результаты. Для этого в стеке используются три широких процесса: восприятие, предсказание и планирование.
Предсказание будущего
Стек искусственного интеллекта Zoox начинается со стадии восприятия, когда транспортное средство воспринимает все, что его окружает, и то, как все движется.
Фаза восприятия начинается с данных высокого разрешения, которые команда Zoox собирает с датчиков автомобиля. Zoox оснащен различными датчиками, от визуальных камер до LiDAR, радаров и длинноволновых инфракрасных камер. Эти датчики расположены в четырех высоких углах автомобиля, что дает Zoox перекрывающийся 360-градусный обзор окружения автомобиля на расстоянии более 100 м.
Роботакси объединяет эти данные с уже предоставленной подробной семантической картой своего окружения, которая называется Zoox Road Network (ZRN). ZRN содержит информацию о местной инфраструктуре, правилах дорожного движения, ограничениях скорости, схеме перекрестков, расположении дорожных знаков и многом другом.
Затем ИИ восприятия идентифицирует и классифицирует окружающие автомобили, пешеходов и велосипедистов, которых он называет «агентами». ИИ отслеживает скорость и траекторию каждого из этих агентов. Затем он сводит эти данные к их основным элементам, превращая их в 2D-изображение, оптимизированное для машинного обучения.
Это изображение передается сверточной нейронной сети, которая решает, какие элементы изображения имеют значение для автомобиля. Изображение включает в себя около 60 каналов семантической информации обо всех агентах в нем.
С помощью этой информации система машинного обучения создает вероятностное распределение потенциальных траекторий для каждого динамического агента в окружении транспортного средства. Система машинного обучения учитывает траекторию движения всех агентов, а также то, как автомобили должны двигаться по данной улице, что делают светофоры, как работают пешеходные переходы и многое другое.
Результирующие прогнозы системы обычно делаются примерно на восемь секунд вперед и пересчитываются каждую десятую секунды с новой информацией от системы восприятия.
Взвешенные прогнозы даются на заключительном этапе процесса — этапе планировщика. Планировщик — исполнительный орган принятия решений автомобилем. Он берет прогнозы из предыдущей фазы и использует их, чтобы решить, как будет двигаться транспортное средство Zoox.
Постоянное улучшение прогнозов
В то время как стек искусственного интеллекта Zoox имеет миллионы миль сенсорных данных, собранных испытательным парком компании для обучения, команда все еще постоянно пытается повысить его точность.
Сейчас команда работает над тем, чтобы использовать подход графовой нейронной сети (GNN) для улучшения возможностей прогнозирования стека. GNN позволит транспортному средству понять отношения между различными агентами вокруг него и внутри него, а также то, как эти отношения будут меняться с течением времени.
Команда также работает над более глубокой интеграцией этапов прогнозирования и планирования процесса, чтобы создать цикл обратной связи. Это позволило бы системам прогнозирования и планировщика взаимодействовать, позволяя системе планировщика спрашивать систему прогнозирования, как агенты могут реагировать на определенное поведение, прежде чем принимать решения.
Будьте в курсе в удобном формате, присоединяйтесь: TG-канал и ВК
Бесплатная служба распространения новостей для научных организаций и стартапов
hello@technovery.com