antfor.ru
У НАСА накопилось множество архивов, которые некому привести в порядок из-за недостатка финансирования агентства. Поэтому оно вынуждено доверять эту работу частным лицам, вроде студии DutchSteamMachine, которая занимается «модернизацией» старых видеохроник. Одна из последних работ проекта посвящена высадке американских астронавтов на Луну – изначальное видео с частотой 12 FPS улучшили до 60 FPS.
Основным инструментом для обработки старого видео, которое снято с низкой частотой, стала технология Depth-Aware video frame INterpolation (DAIN). Это ИИ с открытым кодом, бесплатный и активно развивающийся. Он берет два последовательных кадра оригинального видео и анализирует их, чтобы понять, какие объекты и куда сместились. Далее ИИ генерирует промежуточные кадры, которые визуализируют этот процесс смещения. Поскольку изначально фильм был «дерганым» (из-за низкого фреймрейта), такое насыщение новыми кадрами идет ему на пользу, добавляет плавности движениям и улучшает четкость картинки.
Самое сложное – найти подходящий источник и выбрать правильные параметры обработки. ИИ может создать и вдвое больше новых кадров, и в восемь раз больше, что позволяет из 12 реальных кадров получить еще 48 «виртуальных» и уместить их все в 1 секунду видео. Так и создается невозможное для времен миссии Аполлон-11 изображение с 60 FPS, которое неотличимо от исторических записей.
Методы, которые применяет DutchSteamMachine, прекрасно подходят для реставрации любого исторического видео низкого качества, включая архивные записи и немое кино вековой давности. Правда, требуется большая вычислительная мощность и изрядный объем времени – пять минут видео могут генерироваться целые сутки. Но если это поможет сохранить и популяризировать исторические видеозаписи, то дело того однозначно стоит.
