Сразу после анонса исследования экспертное сообщество разделилось на два лагеря. Одни увидели в этом пугающие перспективы очередного вторжения в личную жизнь. Их оппоненты, напротив, не увидели в новой технологии злого умысла и предложили использовать её, например, для совершенствования кинодубляжа.
На самом деле научить машину понимать речь человека по губам – задача очень сложная. Дело в том, что человек в процессе разговора воспроизводит губами всего лишь 14 мимических выражений, которые сопровождают около 50 различных звуков. Это означает, что, к примеру, звуки «p» и «b» со стороны «выглядят» одинаково, а произносятся по-разному.
Группа исследователей Университета Восточной Англии под руководством Хелен Бир разработала новый алгоритм, который поможет машинам различать подобные звуки. Для этого были использованы видео и аудиозаписи 12 человек, произносящих 200 предложений. Учёные научили компьютер выделять несколько звуков, соответствующих определённой мимике рта.
Затем с помощью тренировок программа научилась различать похожие слова с разными первыми звуками и определять по контексту нужное слово. Пока точность алгоритма еще далеко от идеальной — совсем без ошибок он распознает только 25 % речи. Однако это намного эффективнее существующих разработок.