малювання звуком

Уже вкотре не без задоволення повертаюся до теми "малювання звуком". Нагадаю, мова йде про перетворення графічним зображень або спектральних картинок в звук (ресинтез). Тема останній раз піднімалася в 159-му випуску. а до того в 158-му, 157-му та в 70-му.

Загалом, недавно я вирішив заглянути на Вікіпедію (воістину невичерпна криниця знань), і набрів там на визначення спектрограми. Як з'ясувалося і там є чого запозичити на тему малювання звуком. По-перше, це список програм, що дозволяють здійснювати синтез звуку з картинок. У списку відома нам дуже добре програма Coagula (до речі, вона лежить в нашому підрозділі з ПО), але є й інші, а саме:

Відкритий мультиплатформенний проект The ARSE демонструє забавні, але дуже пізнавальні досліди. ТПрограмма дозволяє перетворювати звук в спектральну картинку (тільки з роздільною здатністю), і навпаки, синтезувати з картинки звук (з зазначеними параметрами).

Ось, наприклад, Johann Strauss II's The Blue Danube (MP3). ось його спектрограмма, отримана за допомогою ARSE:

А ось звук. отриманий шляхом зворотного синтезу спектральної картинки (MP3).

Чути, звичайно, що звук невисокої якості, але ж цікавий сам факт і шлях, пройдений сигналом. По суті своїй тут немає нічого незвичайного - той же MP3 - це набір квантових значень коефіцієнтів FFT (що, власне, і є спектральна картинка). Але ось цікавий сам факт зворотного перетворення картинки в звук. До речі, можна помітити, що така схема працює в чомусь як компресор аудіо сигналів: сигнал, перетворений в спектральну картинку, можна вважати "стисненим" (звичайно, все залежить від дозволу генерується спектрограми), а сам отриманий графічний файл - стисненим аудіо сигналом . І навпаки, ресинтез - процес декомпресії.

Загалом, на сторінці з прикладами є ще матеріали для любопитствованія. Ну, а крім того програму можна самостійно завантажити і погратися.

(Повнорозмірний варіант спектрограми знаходиться тут).

Ще одні жартівники - група Plaid. У пісні "3recurring" містить у своїй спектрограмі логотип.

І ще Nine Inch Nails застосовують техніку упрятиванія картинок в спектрі треків з альбому "Year Zero".

Загалом, метод цей явно припав до смаку деяким музикантам. В принципі, цей же метод може бути запросто використаний і в якості інструменту стеганографії.

Тема ця дуже цікава і, я думаю, виявляться ще багато знахідок, пов'язані з малюванням в спектрі і озвученням картинок.