У разумного ковра-самолета из «Аладдина» может появиться новый конкурент. Хотя он не может летать и говорить, новый ковер с тактильными ощущениями от Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) может оценивать позы людей без использования камер, что является шагом к совершенствованию автономного индивидуального здравоохранения, умного дома и игр.
Многие из наших повседневных действий связаны с физическим контактом с землей: ходьба, упражнения или отдых. Эти встроенные взаимодействия содержат огромное количество информации, которая помогает нам лучше понимать движения людей.
В предыдущих исследованиях использовались одиночные камеры RGB (вспомним Microsoft Kinect), носимые всенаправленные камеры и даже старые обычные веб-камеры, но с неизбежными побочными продуктами — закрытием камеры и проблемами конфиденциальности.
Система команды CSAIL использовала камеры только для создания набора данных, на котором была обучена система, и фиксировала только момент, когда человек выполнял действие. Чтобы сделать вывод о трехмерной позе, человеку просто нужно было бы встать на ковер, выполнить действие, а затем глубокая нейронная сеть команды, используя только тактильную информацию , могла бы определить, делал ли человек приседания, растяжку или другое действие.
«Вы можете себе представить, как использовать эту модель для создания единой системы мониторинга здоровья для людей с высоким риском, для обнаружения падений, мониторинга реабилитации, мобильности и т. д.», — говорит Йиюэ Луо, ведущий автор статьи о ковре.
Сам ковер, который является недорогим и масштабируемым, был сделан из коммерческой, чувствительной к давлению пленки и проводящей нити, с более чем девятью тысячами датчиков, охватывающими тридцать шесть на два фута. (Большинство ковриков для гостиной — восемь на десять или девять на двенадцать.)
Каждый из датчиков на ковре преобразует давление человека в электрический сигнал посредством физического контакта между ступнями, конечностями, туловищем и ковром человека. Система была специально обучена синхронизированным тактильным и визуальным данным, таким как видео и соответствующая тепловая карта человека, выполняющего отжимания.
Модель принимает позу, извлеченную из визуальных данных, как основную истину, использует тактильные данные в качестве входных и, наконец, выводит трехмерную позу человека.
Это может выглядеть примерно так, когда после того, как вы ступили на ковер и выполнили набор отжиманий, система может создать изображение или видео, на котором кто-то делает отжимание.
Фактически, модель смогла предсказать позу человека с погрешностью (измеряемой расстоянием между прогнозируемыми ключевыми точками человеческого тела и наземными ключевыми точками) менее чем на десять сантиметров. Для классификации конкретных действий система была точной в 97% случаев.
«Вы можете представить себе использование ковра для тренировок. Основываясь исключительно на тактильной информации, он может распознавать активность, подсчитывать количество повторений и подсчитывать количество сожженных калорий», — говорит Юньчжу Ли, соавтор статьи.
Поскольку большая часть распределения давления была вызвана движением нижней части тела и туловища, эта информация была более точной, чем данные для верхней части тела. Кроме того, модель не могла предсказать позы без более явного контакта с полом, например, свободно парящие ноги во время приседаний или скрученный торс при вставании.
Хотя система может понять одного человека, ученые, в конечном итоге, хотят улучшить показатели для нескольких пользователей, когда два человека могут танцевать или обниматься на ковре . Они также надеются получить больше информации из тактических сигналов, таких как рост или вес человека.
Дополнительная информация: Интеллектуальный ковер: определение позы человека в 3D по тактильным сигналам. openaccess.thecvf.com/content/… _CVPR_2021_paper.pdf
Будьте в курсе в удобном формате, присоединяйтесь: TG-канал и ВК