Команда исследователей под руководством профессора Пола Макнейлджа из университета Невады разработала технологию видеонаблюдения, которая наглядно демонстрирует, как человек смотрит на мир. Она одновременно отслеживает происходящее перед человеком и движения его глаз, чтобы сопоставить данные и получить целостную модель. Первые опыты показали, что наше восприятие увиденного сильно отличается от того, на что на самом деле смотрели наши глаза.
За основу системы взяли гарнитуру немецкой компании Pupil Labs, которая оснащена парой микрокамер для отслеживания движения глаз. Также здесь есть инерциальный измерительный блок для ориентации в пространстве. Команда Макнейлджа добавила к ним еще пару камер, направленных вперед, по ходу движения пользователя. Чтобы не утяжелять систему, они вынесли вычислительные мощности на ноутбук в рюкзаке, к которому и подключена гарнитура.
Получившаяся система одновременно отслеживает перемещения глаз и головы человека, разделяя эти данные, благодаря чему можно увидеть не только в какую сторону он смотрит, но и на какой именно точке сфокусировал внимание. Ситуация постоянно меняется, и даже во время неспешной прогулки наш взгляд все время движется. Вместе с данными с GPS, видео с фронтальных камер и отметками тайминга получается полная модель того, что видел пользователь с выделением тех объектов и деталей, которые привлекли его внимание.
На следующем этапе команда Макнейлджа хочет записать серию видео с добровольцами в возрасте от 5 до 70 лет. Полученная база знаний будет анализироваться различными методами, чтобы найти ответ на вопрос: как именно мы визуально оцениваем мир? Что и почему привлекает наш взгляд, что заставляет его удержать, как происходит визуальное взаимодействие и т.д. Эти данные впоследствии пригодятся при разработке имплантов, искусственного интеллекта, новых сенсоров, в нейробиологии и даже в искусстве.