Беспроводные сенсорные устройства, инструменты, которые позволяют пользователям определять движения и удаленно отслеживать действия или изменения в определенных условиях, имеют множество применений. Например, их можно использовать для наблюдения, а также для отслеживания сна или физической активности пациентов или спортсменов. Некоторые разработчики видеоигр также использовали беспроводные сенсорные системы для создания более увлекательных спортивных или танцевальных игр.
Исследователи из Университета штата Флорида, Университета Тринити и Университета Рутгерса недавно разработали Winect, новую систему беспроводного зондирования, которая может отслеживать позы людей в 3D, когда они выполняют широкий спектр физических упражнений в свободной форме. Эта система была представлена в документе, предварительно опубликованном на arXiv,.
«Наша исследовательская группа проводит передовые исследования в области беспроводного зондирования», — сказал TechXplore Цзе Ян, один из исследователей, проводивших исследование. «В прошлом мы предложили несколько систем для использования сигналов Wi-Fi для распознавания различных видов человеческой деятельности , от кмасштабных действий до мелких движений пальцев. Например, мы предложили два системы, получившие название E-eyes и WiFinger, которые являются одними из первых разработок, в которых используется обнаружение с помощью Wi-Fi».
В своем новом исследовании Ян и его коллеги выяснили, могут ли они также использовать сигналы Wi-Fi, чтобы определять человеческую деятельность в произвольной форме (например, включающую быстрые и более сложные движения). Точное отслеживание и оценка движений произвольной формы может улучшить несколько реальных вычислительных приложений, включая реализации виртуальной реальности (VR), и разработку видеоигр.
Система Winect, может исследовать движения в домашних условиях, передавая сигналы Wi-Fi и анализируя, как эти сигналы отражаются от человеческого тела. Это позволяет отслеживать движения и позы людей в 3D.
Ключевым преимуществом Winect является то, что система использует передающие Wi-Fi устройства, которые уже находятся в среде, например ноутбуки, настольные компьютеры , интеллектуальные телевизоры или интеллектуальные колонки, для отправки сигналов, необходимых для изучения человеческой деятельности. Впоследствии система использует методы глубокого обучения для создания цифровой версии трехмерных движений всего тела пользователя, разделяя тело на различные части — например, голова, позвоночник, плечи, локти, запястья, бедра, колени и лодыжки.
«Наша система сначала излучает сигналы Wi-Fi, чтобы исследовать домашнюю среду, а затем анализирует сигналы, отраженные от человеческого тела, для отслеживания активности в произвольной форме», — пояснил Ян. «В частности, система извлекает и анализирует фазу полученных сигналов Wi-Fi, чтобы определить присутствие человека и количество движущихся конечностей. Затем наша система использует методы обработки сигналов для разделения сигналов Wi-Fi, отраженных от каждого движения. конечности и отслеживайте траекторию каждой конечности «.
Winect создает цифровую версию поз человеческого тела в 3D, используя методы глубокого обучения. По сути, она создает трехмерный скелет тела пользователя, моделируя взаимосвязь между движениями конечностей и соответствующих суставов.
Система исследователей имеет множество преимуществ по сравнению с другими существующими системами беспроводного зондирования. В отличие от устройств на базе компьютерного зрения, таких как Kinect или Leap Motion, , программа также может воспринимать движение сквозь стены.
Ян и его коллеги оценили свою систему беспроводного зондирования и обнаружили, что она дала замечательные результаты. В своих тестах Winect мог отслеживать человеческую деятельность в произвольной форме с точностью до сантиметра в различных сложных условиях и сценариях. В целом, их результаты показывают, что сигналы Wi-Fi, отраженные от человеческого тела, несут богатую информацию, которую можно использовать.
В будущем эту трехмерную систему оценки позы человека можно будет использовать для создания более привлекательных и более эффективных приложений, которые включают отслеживание движений человека в произвольной форме. Например, считывание 3D-позы может повысить производительность умных помощников по фитнесу и платформ VR.
Дополнительная информация: Или Рен, Джи Ян, оценка позы человека в 3D для действий в произвольной форме с использованием сигналов Wi-Fi. arXiv: 2110.08314v1 [cs.CV], arxiv.org/abs/2110.08314
Будьте в курсе в удобном формате, присоединяйтесь: TG-канал и ВК