DeepHand — новая система отслеживания движений рук в вирутальной реальности

«Гонка вооружений» контроллеров в сфере виртуальной реальности в полном разгаре. Недавно в «гонку» включилась команда Университета Пердью, разработавшая систему отслеживания рук DeepHand. Система использует камеру, сканирующую глубину, и технологию глубинного обучения для правильного позиционирования руки в виртуальном мире.

Камера считывает положение и угол поворота руки в различных точках и проецирует на дисплей с помощью специального алгоритма, который быстро сканирует базу данных, выбирая из более чем 2,5 млн. позиций наиболее подходящий вариант.

Чтобы максимально ускорить отображение виртуального движения, программа может предсказывать возможные состояния руки. Алгоритм также способен выяснить и отобразить невидимые для камеры положения пальцев и кисти.

В процессе создания DeepHand исследователям пришлось начинать с распознавания жестов, постепенно заполняя ими базу данных, для чего потребовался довольно мощный процессор. Как только вся «черновая» работа будет завершена, систему можно будет адаптировать для обычного компьютера.