За последние десятилетия инженеры создали устройства со все более совершенными функциями и возможностями, известные как «пространственные вычисления».
Термин пространственные вычисления, по сути, относится к способности компьютеров, роботов и других электронных устройств «осведомляться» об окружающей их среде и создавать ее цифровые представления. Передовые технологии, такие как датчики и смешанная реальность (MR), могут значительно улучшить пространственные вычисления, позволяя создавать сложные системы датчиков и картографирования.
Исследователи из Microsoft Mixed Reality and AI Lab и ETH Zurich недавно разработали новую платформу, которая сочетает в себе MR и робототехнику для улучшения приложений пространственных вычислений. Они внедрили и протестировали эту структуру, представленную в статье, предварительно опубликованной на arXiv, на серии систем взаимодействия человека и робота.
«Сочетание пространственных вычислений и эгоцентрического восприятия на устройствах смешанной реальности позволяет фиксировать и понимать действия человека и преобразовывать их в действия с пространственным значением, что открывает захватывающие новые возможности для сотрудничества между людьми и роботами», — пишут исследователи в своей статье. «В этом документе представлены несколько систем человек-робот, которые используют эти возможности для реализации новых вариантов использования роботов: планирование миссии для проверки, управление на основе жестов и иммерсивное дистанционное управление».
Диаграмма, показывающая компоненты структуры планирования миссии исследователей
Основанная на MR и робототехнике структура, разработанная этой группой исследователей, была реализована в трех разных системах с разными функциями. Примечательно, что все эти системы требуют использования гарнитуры HoloLens MR.
Первая система предназначена для планирования миссий роботов, которые влекут за собой осмотр заданной среды. По сути, пользователь-человек перемещается в среде, которую он хочет осмотреть, надевая гарнитуру HoloLens, размещая голограммы в виде путевых точек, которые определяют траекторию движения робота. Кроме того, пользователь может выделить определенные области, где он хочет, чтобы робот собирал изображения или данные. Эта информация обрабатывается и преобразуется, чтобы впоследствии ее можно было использовать для управления движениями и действиями робота при осмотре окружающей среды.
Вторая система, предложенная исследователями, представляет собой интерфейс, который позволяет людям более эффективно взаимодействовать с роботом, например, управлять движениями робота с помощью жестов рук. Кроме того, эта система позволяет синхронизировать различные устройства, включая МР-гарнитуры, смартфоны и роботов.
«Колокализация устройств требует, чтобы каждое из них могло локализовать себя в общей системе координат», — пишут исследователи. «Благодаря их индивидуальным позам относительно этой общей системы координат можно вычислить относительное преобразование между локализованными устройствами и впоследствии использовать их для обеспечения нового поведения и сотрудничества между устройствами».
Первая система, созданная командой, преобразует карту HoloLens (выше) в двухмерное представление сетки занятости с системой координат, выровненной с системой координат сетки, чтобы обеспечить локализацию робота с помощью LiDAR
Чтобы совместно локализовать устройства, команда представила структуру, которая гарантирует, что все устройства в их системах совместно используют свое положение относительно друг друга и общую справочную карту. Кроме того, пользователи могут использовать гарнитуру HoloLens, чтобы давать роботам инструкции по навигации, просто выполняя ряда интуитивно понятных жестов.
Наконец, третья система обеспечивает иммерсивное дистанционное управление, что означает, что пользователь может удаленно управлять роботом, наблюдая за окружающей средой. Эта система может быть особенно полезной в тех случаях, когда роботу потребуется перемещаться в среде, недоступной для людей.
«Мы исследуем проекцию действий пользователя на удаленного робота и ощущение пространства робота обратно на пользователя», — пояснили исследователи. «Мы рассматриваем несколько уровней погружения, основанных на прикосновении к модели робота и манипулировании им для управления им, а также погружение более высокого уровня, когда вы становитесь роботом и отображаете движения пользователя непосредственно на роботе ».
В первоначальных тестах три системы, предложенные Джеффри Делмерико и его коллегами из Microsoft, дали очень многообещающие результаты, подчеркнув потенциал использования MR для улучшения как пространственных вычислений, так и взаимодействия человека и робота . В будущем эти системы могут быть внедрены во многих различных условиях, что позволит людям тесно сотрудничать с роботами для эффективного решения более широкого круга сложных реальных проблем.
Дополнительная информация: Пространственные вычисления и интуитивное взаимодействие: объединение смешанной реальности и робототехники. arXiv:2202.01493 [cs.RO]. arxiv.org/abs/2202.01493
Изображение: Представление пользователя о пространственной сетке, полученное с помощью HoloLens и наложенное на реальный мир.
Источник изображений: Delmerico et al.
Будьте в курсе в удобном формате, присоединяйтесь: TG-канал и ВК
Опубликуйте материал о вашем проекте, стартапе или технологии
hello@technovery.com