Co kdyby naše data zněla jako hudba?
📊 Souhrn
Jonathan Middleton ve své přednášce na TEDxSpokane zkoumá možnosti sonifikace dat, tedy převodu dat do zvukové podoby. Představuje, jak lze meteorologická data, srdeční tep nebo dokonce genetický kód stromu sekvoje transformovat do hudby. Zdůrazňuje, že takovýto přístup, tzv. algoritmická kompozice, může zlepšit uživatelskou zkušenost a umožnit hlubší pochopení složitých datových sad. Místo tradiční vizualizace dat, která je statická, Middleton navrhuje využití hudby, jež se vyvíjí v čase a oslovuje posluchače emocionálně i intelektuálně.
Middleton demonstruje praktické příklady sonifikace, od předpovědi počasí, která zní jako hudba, po hudební interpretaci srdečního tepu běžce a DNA sekvoje. Zdůrazňuje důležitost vyvážení věrnosti dat a hudební kvality, aby sonifikace byla informativní i poutavá. Cituje biochemika Roberta Bywatera, který přirovnává práci s daty k luštění záhadných kódů a zdůrazňuje potenciál hudby pro rozpoznávání, zapamatování a porovnávání složitých objektů. Závěrem Middleton navrhuje využít všudypřítomnost hudby v našem životě k inovativnímu přístupu k datům, který motivuje a angažuje.
📝 Přepis
Zdravím vás. Jsem rád, že tu mohu být. Jsem klasicky školený skladatel, takže začněme hudbou. Ale hudba, kterou uslyšíte, není přímo komponována mnou. Je komponována z dat. Meteorologických dat. Uslyšíme předpověď počasí a rád bych, abyste zvážili, zda bude deštivo, slunečno nebo oblačno.
(Hudební ukázka)
Představení, které jste právě slyšeli, se nazývá “auditivní zobrazení dat” nebo “sonifikace”. Každá hudební událost je určena daty o oblačnosti nebo atmosférickém tlaku. Možná znáte vizuální zobrazení dat. Tyto ikony jsou poměrně snadno srozumitelné, ale skutečně zachycují počasí, které zažíváme? Zvláštní na ikonách je, že nejsou časové. Nepohybují se v čase jako hudba nebo počasí. Poslechněme si předpověď znovu a já odhalím její povětrnostní vzorce.
Sonifikace předpovědi počasí
Všimněte si vysokých, lesklých zvuků evokujících sluneční svit a stoupající linie v cellu odvozené z atmosférického tlaku, což naznačuje, že se blíží slunečnější dny. Můžete se ptát, jak se to dělá. Je to trochu balancování. Můžeme překládat data do hudebních charakteristik velmi čistým způsobem, ilustrujícím nejzákladnější informace dat. Nebo můžeme zvýšit muzikalitu ve snaze zachytit hlubší význam z dat.
Algoritmická kompozice
Celý proces se nazývá algoritmická kompozice. Data jsou vložena do algoritmu s výstupem, který vrací přidružené výšky tónů, rytmy nebo hlasitost, nebo jakýkoli hudební rys, pro který algoritmus nastavíte. Zajímavé na používání auditivních zobrazení s hudbou je jejich schopnost zvát a zapojovat uživatele. A to je jádro mé role skladatele ve světě datové vědy. Jde o uživatelskou zkušenost.
Představte si komponované předpovědi počasí, které vás ráno probudí, místo vaší hlučné hudby budíku, která říká, že venku bude chladno, vezměte si čepici a kabát, nebo slunečno, vezměte si opalovací krém, nebo si naplánujte běžecký trénink.
Sonifikace biologických dat
Když už mluvíme o běžeckém tréninku, toto je auditivní zobrazení srdečního tepu běžce. Poslouchejte pozorně, jak marimba sleduje obrysy dat srdečního tepu, a uslyšíte výrazné vrcholy a údolí grafu nahoře. I když je to informativní, můžete se ptát, zda bychom mohli zvýšit muzikalitu, abychom skutečně zachytili intenzitu běžeckého tréninku se srdečním tepem 150 tepů za minutu? Zde je pokus o zachycení této intenzity z jiného běžeckého tréninku s přidanými dalšími zdroji dat, jako je srdeční tep, šířka z vertikální rychlosti, kadence a nadmořská výška. Shrnul jsem data a zacyklil vzorce, abych vytvořil pocit podobný písni. Poslouchejte pozorně a uslyšíte data srdečního tepu v marimbě.
Když už jsme u biologie. Toto je sekvoj. Představte si, že slyšíte její zvuky. Vítr v korunách stromů, vrzání dřeva. Nyní si představte, že slyšíte její molekulární strukturu, DNA. Toto je fragment genetického kódu sekvoje. Čtyři nukleotidy A, T, C a G v sekvenci. Poslechněme si surová data s trochou animace, která nás zorientuje. A pak orchestrální verzi s fragmenty sekvence DNA vloženými do mé kompozice s názvem Redwood Symphony.
Toto je krátké demo, které ilustruje, jak hudebně poutavá data mohou být, aniž by ztratily základní prvky. A všimněte si, že Cs v sekvenci byly mapovány na výšku tónu nula, což je v hudbě ticho. Takže v tomto případě ticho znamená něco, spíše než nic.
Závěr
Chci zakončit dvojicí citátů od drahého přítele, biochemika Dr. Roberta Bywatera. První citát pochází z rozhovoru, který udělal pro New York Times ohledně naší práce s proteinovými strukturami. V souvislosti s prací s daty říká, že je to jako když Alan Turing řešil kódy Enigmy. Dostanete zprávu, nerozumíte jí. Musíte ji převést na něco, čemu rozumíte. A v e-mailu mi jednou napsal: “To, co hudba udělá, je poskytne nám způsob, jak rozpoznat, zapamatovat si a porovnat tyto složité objekty,” s odkazem na proteinové struktury. “Myslím, že to bude nesmírně silné.”
Použití hudebních charakteristik k reprezentaci dat mi dává smysl. Poskytuje novou dimenzi a nové zážitky. S daty se často snažíme zaškatulkovat hudbu jako expresivní umění, které je oddělené od věd, a volně si vybíráme asociace s matematikou. Ale hudba má v společnosti mnoho rolí, které jsou navrženy tak, aby nás motivovaly a angažovaly. Zamyslete se nad tím. Hudba je všude, jako data. Je v našich koncertních sálech, v našich telefonech, v našich posvátných prostorech, na našich sportovních akcích a na našich vážených obřadech. Tak proč ji neslyšet z našich dat? Děkuji.
🔍 Kritické zhodnocení
Přednáška Jonathana Middletona představuje zajímavý pohled na propojení datové vědy a hudby prostřednictvím sonifikace. Myšlenka převodu dat do zvukové podoby otevírá nové možnosti pro interpretaci a pochopení složitých informací. Middletonův přístup je inovativní a inspirativní, a ukazuje, jak lze umění a vědu propojit.
Jeho argument o zlepšení uživatelské zkušenosti pomocí hudebních reprezentací dat je přesvědčivý. Lidé reagují na hudbu emocionálně a intuitivně, což může usnadnit porozumění datům, zejména v oblastech, kde vizualizace není dostatečná. Například v medicíně se sonifikace používá k monitorování pacientů a v geofyzice k interpretaci seismických dat. Studie publikovaná v časopise “PLOS One” ukázala, že sonifikace EKG signálů může lékařům pomoci odhalit abnormality, které by vizuální analýza přehlédla (Scaletti, C., & Craig, A. B. (2004). Auditory display).
Nicméně, je důležité zdůraznit, že sonifikace dat není bez problémů. Kvalita a efektivita sonifikace závisí na pečlivém návrhu a implementaci algoritmů pro převod dat Do hudební podoby. Je také pravda, že interpretace sonifikovaných dat může být subjektivní a vyžaduje specifické znalosti a dovednosti. Přesto Middletonova práce otevírá nové perspektivy a ukazuje potenciál pro inovativní aplikace sonifikace v různých oblastech, od vědy a techniky po umění a vzdělávání.
