Исследователи Южного федерального университета разработали систему, которая способна определять слова, произносимые человеком про себя, по данным электроэнцефалографии. Пока алгоритм распознаёт шесть команд с точностью 78% — «вверх», «вниз», «влево», «вправо», «вперёд» и «назад». Результаты работы опубликованы в журнале Scientific Data, сообщает РИА Новости.
Как система считывает внутреннюю речь
В эксперименте приняли участие 22 человека: 12 русскоязычных и 10 носителей испанского языка. Добровольцы сначала произносили заданные слова вслух, а затем повторяли их мысленно, не двигая губами.
Записи ЭЭГ показали, что внутренняя речь тоже сопровождается определёнными изменениями активности мозга. Эти сигналы удалось выделить и использовать для классификации произносимых про себя команд.
Учёные отдельно проверили, не связаны ли полученные результаты с незаметными движениями мышц. Для этого во время части экспериментов одновременно отслеживалась активность жевательных мышц и гортани. Возникающие мышечные сигналы затем исключались из анализа.
По словам ведущего научного сотрудника Центра нейротехнологий ЮФУ Дмитрия Шапошникова, исследователи стремятся создать надёжный инструмент для распознавания внутренней речи — слов, которые человек произносит мысленно, не совершая внешних движений.
От команд — к десяткам слов
Сейчас возможности системы ограничены шестью словами, однако учёные рассчитывают существенно расширить словарь. В перспективе в него хотят включить несколько десятков команд и повысить точность распознавания до 90%.
Исследование сразу на русском и испанском языках также представляет интерес для изучения речевых механизмов мозга. Сопоставление результатов может показать, какие особенности внутренней речи зависят от конкретного языка, а какие связаны с общими принципами работы мозга.
Для чего понадобится технология
Главное практическое направление таких разработок — нейроинтерфейсы «мозг — компьютер». В дальнейшем технология может позволить людям с тяжёлыми нарушениями речи и двигательных функций управлять электронными устройствами, набирать текст и взаимодействовать с виртуальной реальностью практически без физических действий.
Для этого исследователям предстоит создать более универсальный «словарь» мозговых сигналов, который сможет распознавать не отдельные команды, а значительно более широкий набор мысленно произносимых слов.