5 лет назад Джеймсу Барнсу ампутировали правую руку выше локтя после тяжелой электротравмы. Однако все же некоторые мышцы частично сохранили функции по контролю за пальцами. Этим воспользовалась команда исследователей Технологического института Джорджии во главе с Гилом Вайнбергом. Ими был разработан протез, с помощью которого Джеймс получил возможность играть на фортепьяно.
В протезе использованы электромиограммные датчики, встречающиеся как в обычных, так и продвинутых протезах. Эти датчики с помощью электродов фиксируют электрические сигналы от мышц. Однако, как считает Гил Вайнберг, они не очень точны.
«Датчики фиксируют движение мышц, — поясняет он, — но сигнал этот слишком «шумный», что не позволяет точно определить, каким из пальцев человек собирается двигать. Мы пытались усовершенствовать протез компании EMG (Electro-Magnetic Generator), изготовленный специально для Джеймса, но так и не смогли добиться точного контроля».
Чтобы улучшить результат, Вайнберг объединил свои усилия с коллегами из Georgia Tech. Они решили прикрепить к мышцам руки ультразвуковой зонд, который обычно используется при УЗИ.
Наблюдаемая таким образом работа мышц дает возможность выделить движения, относящиеся к каждому пальцу. Данные шаблоны были включены в алгоритм машинного обучения, с помощью которого система научилась угадывать, каким пальцем собирается двигать Барнс и даже какое усилие он собирается на это затратить.
Комбинируя ультразвуковые датчики и алгоритмы, Вайнберг и его коллеги создали протез, дающий возможность управлять каждым пальцем в отдельности. В результате Джеймс Барнс смог исполнить на пианино песню из сериала «Звездные войны», тем самым выразив дань уважения бионической руке Люка Скайуокера.