Трехмерная сетка — это трехмерное представление объекта, и эти представления могут быть очень полезны для многочисленных технологических приложений, включая системы компьютерного зрения, виртуальной реальности (VR) и дополненной реальности (AR).
Исследователи из Университета штата Флорида и Университета Рутгерса недавно разработали Wi-Mesh, систему, которая может создавать надежные трехмерные человеческие сетки, представления людей, которые затем могут использоваться в различных вычислительных моделях и приложениях. Их система была представлена на Двадцатой конференции ACM по встроенным сетевым сенсорным системам (ACM SenSys ’22), конференции, посвященной исследованиям в области компьютерных наук.
«Наша исследовательская группа специализируется на передовых исследованиях в области обнаружения Wi-Fi», — сказал Tech Xplore профессор Джи Ян из Университета штата Флорида. «В предыдущей работе мы разработали системы, которые используют Wi-Fi-устройства для обнаружения ряда действий человека и объектов, включая крупномасштабные движения человеческого тела , мелкие движения пальцев , мониторинг сна и повседневные объекты . Наши электронные глаза системы Wi — Fi были одними из первых, кто использовал датчик Wi-Fi для классификации различных типов повседневных действий и жестов пальцев, уделяя особое внимание предопределенным действиям с использованием обученной модели».
Основная цель недавней работы профессора Янга и его коллег заключалась в том, чтобы оценить, могут ли устройства Wi-Fi, которые обычно используются для связи, также помочь в создании трехмерных моделей людей. Трехмерная сетка человека представляет поверхность человеческого тела в трех измерениях, фиксируя рост, вес, соматотипы людей, пропорции тела и деформации тела, вызванные артикуляцией.
«Трехмерные человеческие сетки имеют множество применений, включая создание контента VR/AR, виртуальную примерку и мониторинг упражнений, и являются фундаментальным строительным блоком для различных последующих задач, таких как анимация, реконструкция человека в одежде и рендеринг», — пояснил профессор Ян.
Wi-Mesh, система, созданная исследователями, использует несколько антенн, встроенных в обычные устройства связи Wi-Fi, для создания моделей. По сути, система излучает сигналы Wi-Fi для исследования человеческого тела, а затем анализирует отражения, чтобы определить форму человеческого тела.
«Наша система анализирует отражения от человеческого тела, чтобы оценить двумерный угол прихода (2D AoA) отраженного сигнала, позволяя устройствам Wi-Fi «видеть» окружающую среду, как люди», — сказал профессор Ян. «Затем система извлекает 2D-изображения AoA человека и дополнительно использует модели глубокого обучения для преобразования 2D-изображений AoA человеческого тела в трехмерное представление сетки, которое можно использовать в различных приложениях взаимодействия человека с компьютером (HCI), таких как контент VR / AR. создание, виртуальная примерка и мониторинг упражнений».
Wi-Mesh имеет несколько преимуществ по сравнению с традиционными системами на основе камер для создания трехмерных сеток человека. В частности, эти традиционные системы не могут работать в условиях отсутствия прямой видимости (NLoS), темной или мешковатой одежды, в то время как Wi-Mesh работает даже через стены и препятствия, поскольку сигналы Wi-Fi могут проникать через них.
В отличие от других предложенных систем, Wi-Mesh также не использует носимые датчики или маркеры, что делает решение прозрачным и простым в использовании. Наконец, эту новую систему можно легко развернуть с использованием существующих устройств связи Wi-Fi, что делает ее более доступной и способствует ее широкому распространению.
«Наше исследование показывает, что можно использовать общедоступный Wi-Fi для создания трехмерной модели человека, что ранее считалось невозможным», — сказал профессор Ян. «Этот прорыв означает, что устройства Wi-Fi могут не только общаться, но также «видеть» и визуализировать человеческое тело , предлагая новый уровень сенсорных возможностей».
В своих следующих исследованиях профессор Ян и его коллеги планируют создать инновационные приложения, которые смогут использовать трехмерные человеческие модели, созданные их системой. Одно из таких приложений, система безопасности умного дома, будет представлено на конференции USENIX Security Conference 2023.
Дополнительная информация: Ychao Wang et al, 3D Human Mesh Construction с использованием Wi-Fi, arXiv (2022). DOI: 10.48550/arxiv.2210.10957
Ян Ван и др., Электронные глаза, Материалы 20-й ежегодной международной конференции по мобильным вычислениям и сетям (2014 г.). DOI: 10.1145/2639108.2639143
Шэн Тан и др., MultiTrack, Материалы конференции CHI 2019 г. по человеческому фактору в вычислительных системах (2019 г.). DOI: 10.1145/3290605.3300766
Шэн Тан и др., Вифингер, Материалы 17-го Международного симпозиума ACM по мобильным одноранговым сетям и вычислениям (2016 г.). DOI: 10.1145/2942358.2942393
Цзянь Лю и др., Отслеживание показателей жизнедеятельности во время сна с использованием стандартного Wi-Fi, Материалы 16-го Международного симпозиума ACM по мобильным одноранговым сетям и вычислениям (2015 г.). DOI: 10.1145/2746285.2746303
Йили Рен и др., Определение уровня жидкости с использованием стандартного Wi-Fi в среде умного дома, Труды ACM по интерактивным, мобильным, носимым и вездесущим технологиям (2020 г.). DOI: 10.1145/3380996
Будьте в курсе в удобном формате, присоединяйтесь: TG-канал и ВК
Бесплатная служба распространения новостей для научных организаций и стартапов
hello@technovery.com