Ученые изучают ряд способов общения людей с ограниченными возможностями своими мыслями. Самое новое и быстрое возвращается к старинным средствам самовыражения: почерку.
Впервые исследователи расшифровали активность мозга, связанную с попытками писать буквы от руки. Работая с участником с параличом, которому в мозг имплантированы датчики, команда использовала алгоритм для идентификации букв, когда он пытался их написать. Затем система отображала текст на экране в реальном времени.
По словам соавтора исследования Кришны Шеноя, исследователя Медицинского института Говарда Хьюза при Стэнфордском университете, который совместно руководил работой с Джейми Хендерсоном, нейрохирургом из Стэнфорда, нововведение может, при дальнейшем развитии, позволить людям с параличом быстро печатать, не используя руки.
Пытаясь писать от руки, участник исследования набирал 90 символов в минуту, что более чем вдвое превышает предыдущий рекорд для набора текста с таким « интерфейсом мозг-компьютер », сообщают Шеной и его коллеги в журнале Nature 12 мая 2021 года.
«Эта и другие подобные технологии могут помочь людям с различными формами инвалидности», — говорит Хосе Кармена, нейроинженер из Калифорнийского университета в Беркли, который не принимал участия в исследовании. Хотя результаты предварительные, по его словам, «это большой прогресс в этой области».
Коммуникация, основанная на мыслях
Когда травма или болезнь лишают человека способности двигаться, нервная активность мозга, связанная с ходьбой, захватом чашки кофе или произнесением предложения, сохраняется. Исследователи могут воспользоваться этим, чтобы помочь людям с параличом или ампутацией восстановить утраченные способности.
Потребность зависит от характера инвалидности. Некоторые люди, потерявшие способность пользоваться руками, все еще могут использовать компьютер с функцией распознавания речи и другим программным обеспечением. Для тех, кто испытывает трудности с речью, ученые разрабатывают другие способы помочь людям общаться.
В последние годы команда Шеноя расшифровала нейронную активность, связанную с речью, в надежде воспроизвести ее. Они также разработали способ, позволяющий участникам с имплантированными датчиками использовать свои мысли, связанные с попытками движений рук, для перемещения курсора по экрану. Указание и нажатие на буквы таким образом позволяет людям печатать около 40 символов в минуту, что является предыдущим рекордом скорости набора текста с помощью интерфейса мозг-компьютер (BCI).
Однако на почерк никто не смотрел. Фрэнк Уиллетт, нейробиолог из группы Шеноя, задавался вопросом, можно ли использовать сигналы мозга, вызванные прикосновением ручки к бумаге. «Мы хотим найти новые способы, позволяющие людям общаться быстрее», — говорит он. Он также был мотивирован возможностью попробовать что-то другое.
Участник, которому на момент исследования было 65 лет, имел травму спинного мозга, в результате которой он был парализован от шеи до низа. Используя сигналы датчиков, полученные от отдельных нейронов, когда человек воображал письмо, алгоритм машинного обучения распознал шаблоны, создаваемые его мозгом с каждой буквой. С помощью этой системы мужчина мог копировать предложения и отвечать на вопросы с той же скоростью, что и человек его возраста, печатающий на смартфоне.
Этот так называемый BCI «мозг-текст» работает так быстро, потому что каждая буква вызывает четко выраженный паттерн активности, что позволяет алгоритму относительно легко отличать одно от другого, говорит Виллетт.
Новая система
Команда Шеноя предполагает использовать попытки рукописного ввода для ввода текста как часть более комплексной системы, которая также включает навигацию по принципу «укажи и щелкни», очень похожую на ту, что используется на современных смартфонах, и даже попытки декодирования речи. «Мы естественным образом делаем эти два или три режима и переключение между ними», — говорит он.
Затем, говорит Шеной, команда намеревается работать с участником, который не может говорить, например, с кем-то с боковым амиотрофическим склерозом, дегенеративным неврологическим расстройством, которое приводит к потере движения и речи.
Новая система потенциально может помочь тем, кто страдает параличом, вызванным рядом заболеваний, добавляет Хендерсон. К ним относится инсульт ствола головного мозга, от которого пострадал Жан-Доминик Боби, автор книги «Водолазный колокол и бабочка». «Он смог написать эту трогательную и красивую книгу, тщательно выбирая персонажей по одному, используя движение глаз», — говорит Хендерсон. «Представьте, что он мог бы сделать с рукописным интерфейсом Фрэнка!»
Высокопроизводительная передача текста от мозга к тексту с помощью почерка, Nature (2021 г.). DOI: 10.1038 / s41586-021-03506-2