В мире уже существуют технологии, позволяющие создавать аватары человеческих лиц. Это востребовано в различных приложениях и соцсетях, где можно общаться при помощи видеозвонков. Как правило, все они работают на основе камер. Но исследователи из Корнельского университета решили разработать собственную систему создания аватаров, используя только звук. Отказ от камер обоснован тем, что они слишком энергозатратны и могут фиксировать слишком много личной информации. Система EarIO из Корнеля построена на использовании сонара.
EarIO представляет собой наушники, в конструкции которых нашлось место портативному сонару. Когда они включены, звук воспроизводимой музыки отражается от костей черепа владельца, меняясь вслед за изменениями его мимики. Эти изменения фиксируются чувствительным микрофоном. Затем ИИ-алгоритмы формируют аватар, который в точности отображает выражение лица пользователя. Система EarIO позволяет передавать изображение на мобильное устройство, чтобы аватары можно было использовать для видеозвонков.
Проведенные тесты доказали возможность использования системы создания аватаров с помощью сонара в самых сложных условиях. На ее точность слабо влияют фоновые шумы, ветер и движения пользователя. Но один недостаток все же есть — это излишняя чувствительность. Изменения в мимике возникают даже при случайных движениях головы, что заставило разработчиков задуматься о внесении улучшений в последующих версиях. Прототип показал возможность автономной работы в течение трех часов, но исследователи уверены, что его можно увеличить.