Нейросеть научили «слышать» цвета и «видеть» музыку

0
Визуализация

«Синестезия» – это редкий психофизиологический феномен, при котором происходит смешивание разных сенсорных ощущений. Например, у человека появляется способность слышать цвета или чувствовать вкус слов. Обычно синестезия возникает при серьезных сбоях в работе нервной системы, при употреблении веществ для расширения сознания, либо при целенаправленном проведении творческих экспериментов. Теперь это редкое умение доступно и искусственному интеллекту.

Бельгийский исследователь и преподаватель в области машинного обучения Ксандер Стинбрюгге разработал нейросеть нового типа, которая способна «включать» синестезию по команде. Она так и называется «Neural Synesthesia». На данный момент нейросеть подбирает визуальные формы для музыкальных композиций, используя готовые художественные решения и сгенерированные ей самой образы.

По словам Стинбрюгге, этот проект является попыткой создания новых подходов в разработке аудиовизуальных решений, основанных на применении ИИ. Оператор не знает и даже не представляет себе конечный результат, он лишь задает ИИ некоторые критерии и дает указания, какие базы данных, какой контент следует использовать. Далее нейросеть сама генерирует визуальный ряд, который может быть принят оператором или отправлен на доработку. Это не чистое творчество – скорее, попытка обучить ИИ воспринимать музыку так, чтобы уметь выразить ее в ином сенсорном формате.


ЧИТАЙТЕ ТАКЖЕ
Комментарии  0
    (без регистрации)
    Любопытный факт
    В 1963 году школьник из Танзании Эрасто Мпемба обнаружил, что горячая вода замерзает в морозильной камере быстрее, чем холодная. В честь него этот феномен назвали эффектом Мпембы. До сих пор учёные не смогли точно объяснить причину феномена, да и эксперимент удаётся не всегда: для него нужны определённые условия.
    Обновить
    Свежие Комментарии

    ВойтиРегистрация