Мы научили роботов сносно ориентироваться в пространстве, доверили машинам самим прокладывать себе маршруты, превратили автопилот в часть повседневной жизни. Теперь настало время применить эти технологии, чтобы помочь уже людям – тем, кто лишен возможности видеть или испытывает трудности с ориентацией на местности. Американские инженеры создали прототип ИИ-поводыря под названием OpenCV Artificial Intelligence Kit with Depth (OAK-D), который умещается в рюкзаке, может распознавать окружающие объекты и давать своему пользователю советы по взаимодействию с ними.
Главными задачами были миниатюризация и упрощение системы, разработчики не хотели, чтобы их клиенты выглядели как киборги. Для работы OAK-D достаточно вычислительной мощности простого ноутбука или мини-ПК типа Raspberry Pi. Он кладется в рюкзак вместе с батареей на 8 часов работы и GPS-навигатором. На пояс крепится камера 4K для анализа формы и цвета окружающих объектов, плюс пара стереоскопических камер для определения расстояния. Связь с пользователем осуществляется через обычную Bluetooth-гарнитуру.
ИИ-поводырь распознает множество видов типовых объектов на улицах, определяет их местоположение относительно пользователя и сообщает ему о тех, которые могут стать для него препятствием. Например, «Ветка, слева, вверху» или «Бордюр, невысокий, внизу, по центру». По команде «Осмотреться» нейросеть описывает расположенные вокруг объекты – «Светофор на 10 часов», «Куст на 18 часов», «Столб на 9 часов». ИИ обучен распознавать дорожные знаки, указатели и информационные надписи.
Интересна функция запоминания мест, которая создает метки на карте, чтобы ИИ мог выстроить и описать оптимальный маршрут перемещения туда для слабовидящего человека. Также можно запросить информацию о том, где он сейчас находится и что расположено в окрестностях, чтобы принять решение, куда идти. Проект OAK-D носит некоммерческий характер и имеет открытый исходный код.