Носимый браслет захватывает все тело в 3D

Используя миниатюрную камеру и специализированную глубокую нейронную сеть, исследователи из Корнелла разработали первый в своем роде браслет, который отслеживает все положение тела в 3D.

BodyTrak — первое носимое устройство, которое отслеживает положение всего тела с помощью одной камеры . В случае интеграции в будущие умные часы иехнологии BodyTrak может изменить правила игры в мониторинге механики тела пользователя при физической активности , где точность имеет решающее значение.

«Поскольку в умных часах уже есть камера, такие технологии, как BodyTrak, могут распознавать позу пользователя и давать обратную связь в режиме реального времени»

Соответствующий документ «BodyTrak: вывод поз всего тела из силуэтов тела с помощью миниатюрной камеры на браслете» был опубликован в Proceedings of the Association for Computing Machinery (ACM) по интерактивным, мобильным, носимым и вездесущим технологиям и представлен в сентябре на UbiComp 2022, международной конференции ACM по всепроникающим и вездесущим вычислениям .

BodyTrak — это новейшая система распознавания тела от SciFiLab, расположенной в Колледже вычислительной техники и информатики Корнелла Энн С. Бауэрс — группы, которая ранее разработала и использовала аналогичные модели глубокого обучения для отслеживания движений рук и пальцев, выражения лица и даже распознавание немой речи.

Секрет BodyTrak не только в камере размером с монетку на запястье, но и в настраиваемой глубокой нейронной сети, стоящей за ней. Эта глубокая нейронная сеть — метод искусственного интеллекта, который обучает компьютеры учиться на ошибках — считывает элементарные изображения камеры или «силуэты» тела пользователя в движении и виртуально воссоздает 14 поз тела в 3D и в реальном времени.

Другими словами, модель точно заполняет и дополняет частичные изображения, снятые камерой, — сказал Хюнчул Лим, докторант в области информатики и ведущий автор статьи.

«Наше исследование показывает, что нам не нужно, чтобы наши тела были полностью в поле зрения камеры для восприятия тела», — сказал Лим. «Если мы сможем захватить только часть нашего тела, это даст много информации для реконструкции всего тела».

По словам исследователей сохранение конфиденциальности для посторонних, находящихся рядом с кем-то, кто носит такое сенсорное устройство, является законной задачей при разработке этих технологий. Они сказали, что BodyTrak смягчает проблемы с конфиденциальностью для посторонних, поскольку камера направлена ​​​​на тело пользователя и собирает только частичные изображения тела пользователя.

Они также признают, что сегодняшние смарт-часы еще не имеют небольших или достаточно мощных камер и достаточного времени автономной работы, чтобы интегрировать датчики всего тела, но они могут появиться в будущем.

Дополнительная информация: Hyunchul Lim et al, BodyTrak, Proceedings of ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (2022). DOI: 10.1145/3552312

 

Будьте в курсе в удобном формате, присоединяйтесь: TG-канал и ВК

Бесплатная служба распространения новостей для научных организаций и стартапов

hello@technovery.com