Энтузиасты Сет Форсгрен и Хайк Мартирос разработали нейросеть Riffusion, которая генерирует музыку на основе текстовых подсказок. Она обучается и накапливает информацию о музыке при помощи сонограмм – визуальной формы представления звуков. Данный формат принципиально отличается от нотной записи и позволяет визуализировать произвольные звуки в любых комбинациях.
Сонограмма является разновидностью графика, на котором по одной оси откладывается время исполнения каждого звука, а на другой его частота. Каждый пиксель имеет свой цвет, который означает амплитуду звука в каждый момент времени. Сонограммы строятся с использованием модели цифрового обучения Stable Diffusion, поэтому их легко ассоциировать с текстом. Например, задать ИИ придумать и озвучить «джаз с нотками летнего дождя».
Riffusion является своего рода экспериментом — благодаря специальному веб-приложению пользователи могут создавать произвольные мелодии и комбинации звуков. Весь процесс автоматически визуализируется, результат сохраняется в базе данных для дальнейшего обучения ИИ. Строго говоря, большинство созданных Riffusion мелодий звучат довольно странно, зато это прекрасный пример весьма перспективной технологии манипуляции звуками в реальном времени.