А в чем тренд?
Согласно данным ABI Research, к концу 2030 года в мире будет насчитываться около 13 млн роботов. В 2025-м мировой рынок робототехники достиг $50 млрд, а к 2030-му вырастет до $111 млрд при среднегодовом темпе 14%. До 60% всей выручки обеспечат мобильные роботы, которые используются в основном для транспортировки материалов и на автоматизированных складах. Китай остается лидером с долей 42% в мировых продажах промышленных роботов.
Инженеры Массачусетского технологического института разработали браслет с ультразвуком, который в реальном времени отслеживает движения руки. Он создает снимки мышц и сухожилий запястья, а искусственный интеллект (ИИ) восстанавливает по этим изображениям точное движение ладони и каждого из пяти пальцев.
Браслет можно обучить распознавать жесты пользователя, после чего устройство в режиме реального времени будет транслировать их роботу или в виртуальное пространство.
Сложности отслеживания движений рук
Сейчас в робототехнике существует несколько способов захвата и воспроизведения движений человеческой руки. Одни подходы основаны на использовании камер, фиксирующих жесты рук при манипуляции предметами или выполнении задач. Другие используют специальные перчатки с датчиками, которые регистрируют движения и передают их роботу-исполнителю. Однако создание развернутых камерных систем для разных сценариев сложно и дорого. Сенсорные перчатки, в свою очередь, могут сковывать естественные движения и снижать тактильные ощущения человека.
Еще один подход использует электрические импульсы от мышц запястья или предплечья, которые исследователи затем сопоставляют с конкретными движениями руки. Однако у этого подхода есть недостатки. Сигналы подвержены помехам из окружающей среды и недостаточно точны для распознавания тонкой динамики движений.
Команда инженеров решила проверить, позволит ли ультразвуковая диагностика получать более точные и полноценные данные о движениях кисти. Группа разработала ультразвуковые наклейки — мини-версии врачебных датчиков на гидрогеле, которые безопасно прилегают к коже.
Браслет размером с умные часы
Команда создала браслет, оснащенный ультразвуковой наклейкой размером с умные часы и встроенным электронным блоком примерно с мобильный телефон. Когда браслет закрепили на руке добровольца, устройство стабильно формировало четкие, непрерывные снимки запястья, в то время как испытуемый совершал пальцами разнообразные движения.
Далее ученым предстояло найти связь между ультразвуковыми черно-белыми снимками запястья и различными положениями кисти. Оказалось, у пальцев есть 22 варианта разгибания или изменения угла наклона. Команда выяснила, что на их ультразвуковых изображениях можно различить участки, которые коррелируют с каждым из этих сценариев. Например, одна область отвечает за разгибание большого пальца, а другая — за движения указательного. Однако выполнять такую разметку непрерывно и в реальном времени было сложно. Поэтому ученые обратились к ИИ.
ИИ-алгоритм распознавал закономерности на изображениях и сопоставлял их с определенными метками — в данном случае с вариантами движений руки. Алгоритм обучили на ультразвуковых снимках, где были выделены зоны, отвечающие за тот или иной сценарий. Когда обученный алгоритм протестировали на новом наборе изображений, он точно предсказал соответствующие движения рук.
Испытания браслета
Исследователи протестировали устройство на восьми добровольцах с различными размерами кистей и запястий. Участники показывали буквы английского алфавита с помощью жестов, а также брали в руки теннисный мяч, пластиковую бутылку, ножницы и карандаш. Браслет отслеживал и прогнозировал положения руки.
В качестве демонстрации возможностей устройства команда написала простую программу и подключила ее к браслету по Wi-Fi/Bluetooth. Сжимающие и хватательные жесты пользователя позволяли плавно и непрерывно приближать и отдалять объект на экране, а также перемещать его и манипулировать им в виртуальном пространстве.
Исследователи также применили браслет как беспроводной пульт для роботизированной руки. Доброволец в браслете имитировал игру на клавиатуре, и робот в реальном времени повторял его движения, исполняя мелодию на пианино. Тот же робот копировал постукивания пальцев человека, играющего в баскетбол на компьютере.
Специалист проверяет работу браслета при помощи роботизированной руки
Инженеры планируют еще сильнее уменьшить аппаратную часть браслета и научить ИИ распознавать больше жестов и движений, собранных у добровольцев с разной формой и размером рук. Исследователи стремятся создать универсальный трекер кисти, который позволит любому человеку управлять как антропоморфными роботами, так и виртуальными объектами.
➤ Подписывайтесь на телеграм-канал «РБК Трендов» — будьте в курсе последних тенденций в науке, бизнесе, обществе и технологиях.
