Используя миниатюрную камеру и специализированную глубокую нейронную сеть, исследователи из Корнелла разработали первый в своем роде браслет, который отслеживает все положение тела в 3D.
BodyTrak — первое носимое устройство, которое отслеживает положение всего тела с помощью одной камеры . В случае интеграции в будущие умные часы иехнологии BodyTrak может изменить правила игры в мониторинге механики тела пользователя при физической активности , где точность имеет решающее значение.
«Поскольку в умных часах уже есть камера, такие технологии, как BodyTrak, могут распознавать позу пользователя и давать обратную связь в режиме реального времени»
Соответствующий документ «BodyTrak: вывод поз всего тела из силуэтов тела с помощью миниатюрной камеры на браслете» был опубликован в Proceedings of the Association for Computing Machinery (ACM) по интерактивным, мобильным, носимым и вездесущим технологиям и представлен в сентябре на UbiComp 2022, международной конференции ACM по всепроникающим и вездесущим вычислениям .
BodyTrak — это новейшая система распознавания тела от SciFiLab, расположенной в Колледже вычислительной техники и информатики Корнелла Энн С. Бауэрс — группы, которая ранее разработала и использовала аналогичные модели глубокого обучения для отслеживания движений рук и пальцев, выражения лица и даже распознавание немой речи.
Секрет BodyTrak не только в камере размером с монетку на запястье, но и в настраиваемой глубокой нейронной сети, стоящей за ней. Эта глубокая нейронная сеть — метод искусственного интеллекта, который обучает компьютеры учиться на ошибках — считывает элементарные изображения камеры или «силуэты» тела пользователя в движении и виртуально воссоздает 14 поз тела в 3D и в реальном времени.
Другими словами, модель точно заполняет и дополняет частичные изображения, снятые камерой, — сказал Хюнчул Лим, докторант в области информатики и ведущий автор статьи.
«Наше исследование показывает, что нам не нужно, чтобы наши тела были полностью в поле зрения камеры для восприятия тела», — сказал Лим. «Если мы сможем захватить только часть нашего тела, это даст много информации для реконструкции всего тела».
По словам исследователей сохранение конфиденциальности для посторонних, находящихся рядом с кем-то, кто носит такое сенсорное устройство, является законной задачей при разработке этих технологий. Они сказали, что BodyTrak смягчает проблемы с конфиденциальностью для посторонних, поскольку камера направлена на тело пользователя и собирает только частичные изображения тела пользователя.
Они также признают, что сегодняшние смарт-часы еще не имеют небольших или достаточно мощных камер и достаточного времени автономной работы, чтобы интегрировать датчики всего тела, но они могут появиться в будущем.
Дополнительная информация: Hyunchul Lim et al, BodyTrak, Proceedings of ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (2022). DOI: 10.1145/3552312
Будьте в курсе в удобном формате, присоединяйтесь: TG-канал и ВК
Бесплатная служба распространения новостей для научных организаций и стартапов
hello@technovery.com