Vedeli ste, že Shazam nerozoznáva pesničku podľa textu, ale pomocou zvukového „odtlačku“?

Stačí pár sekúnd hudby v kaviarni, obchode alebo aute. Otvoríte Shazam, necháte telefón chvíľu počúvať a o pár okamihov sa na displeji objaví názov skladby aj interpret.

Môže to vyzerať, akoby aplikácia „počúvala“ text piesne podobne ako človek a potom ho vyhľadala na internete. Lenže Shazam slová vôbec nepotrebuje.

Pesničku dokáže rozpoznať aj vtedy, keď v nej nikto nespieva.

Namiesto textu totiž pracuje s charakteristickými vlastnosťami samotného zvuku a vytvára z nich akýsi digitálny zvukový odtlačok.

Každá nahrávka dostane vlastný podpis

Apple, ktorý Shazam vlastní, tento odtlačok označuje ako acoustic signature, teda akustický podpis.

Nejde o uloženú kópiu celej pesničky. Z nahrávky sa vytvorí oveľa menší súbor informácií, ktorý zachytáva charakteristické rozloženie zvukovej energie v čase a frekvencii.

Jednoducho povedané: počítač si hudbu rozloží na informáciu o tom, aké frekvencie sa v jednotlivých okamihoch výraznejšie objavujú.

Výsledok si môžeme predstaviť ako mapu. Na jednej osi je čas a na druhej frekvencia zvuku. Niektoré miesta na tejto mape sú výraznejšie než ostatné – napríklad určitý tón, úder bicích alebo iná charakteristická časť nahrávky.

Práve z takýchto bodov sa dá vytvoriť kompaktný podpis skladby.

Shazam nehľadá celú pesničku od začiatku

Keď telefón zachytí niekoľko sekúnd hudby, Shazam z tejto krátkej ukážky vytvorí podobný zvukový podpis.

Potom ho porovnáva s podpismi nahrávok vo svojom katalógu.

Nemusíte teda Shazam zapnúť presne pri začiatku skladby. Systém hľadá, či zachytený úsek zodpovedá určitej časti niektorej referenčnej nahrávky.

Ak nájde dostatočne presnú zhodu, k príslušnému zvukovému podpisu už má uložené ďalšie informácie – napríklad názov skladby a interpreta.

Samotný zvuk teda slúži na nájdenie zhody. Názov pesničky nie je ukrytý v odtlačku. Je priradený až k nahrávke, ktorú systém podľa odtlačku našiel.

Prečo mu neprekáža hluk v miestnosti?

Keby Shazam porovnával nahrávky zvuk po zvuku úplne presne, v reálnom svete by príliš dobre nefungoval.

Hudbu totiž často zachytávame cez reproduktor, do toho rozprávajú ľudia, rinčia poháre alebo ide klimatizácia.

Princíp Shazamu bol preto od začiatku navrhnutý tak, aby bol pomerne odolný voči hluku a skresleniu. Pôvodný technický opis algoritmu od Averyho Wanga pracoval s výraznými bodmi v časovo-frekvenčnom obraze zvuku a so vzťahmi medzi nimi.

Ako to laicky funguje? Predstavte si hviezdnu oblohu.

Ak časť hviezd zakryjú mraky, stále môžete podľa niekoľkých výrazných hviezd spoznať súhvezdie. Shazam nepotrebuje dokonale čistú nahrávku každej jednej frekvencie. Potrebuje dostatok charakteristických bodov, ktoré vytvoria presvedčivú zhodu s uloženou nahrávkou.

Práve preto dokáže skladbu často rozpoznať aj z hudby hrajúcej niekde v pozadí.

Text pesničky ho v skutočnosti veľmi nezaujíma

Z toho vyplýva jedna zaujímavá vec: pre základné rozpoznanie skladby Shazam nepotrebuje vedieť, čo spevák spieva.

Pokojne môže ísť o pieseň v jazyku, ktorému nerozumiete, elektronickú hudbu bez jediného slova alebo čisto inštrumentálnu skladbu.

Aplikácia nehľadá vetu z refrénu. Hľadá konkrétnu zvukovú nahrávku.

Je to zásadne odlišný princíp od situácie, keď do internetového vyhľadávača napíšete úryvok textu piesne a podľa neho sa snažíte nájsť jej názov.

Shazam sa v podstate nepýta: „Ktorá pesnička obsahuje tieto slová?“

Pýta sa skôr: „Ktorá nahrávka má rovnaký zvukový podpis ako toto, čo práve počujem?“

Preto nestačí pesničku zaspievať

Práve tu je super vidieť rozdiel medzi rozpoznávaním skladby a rozpoznávaním melódie.

Ak niekto zaspieva refrén vlastným hlasom, ide síce o rovnakú melódiu, ale nie o rovnakú nahrávku. Frekvencie, časovanie, hlas, sprievod aj množstvo ďalších zvukových detailov budú iné.

Dokumentácia ShazamKit uvádza, že systém je určený na porovnávanie tej istej vopred zaznamenanej zvukovej nahrávky. Napríklad živé zahranie skladby sa preto nemusí zhodovať so štúdiovou verziou tej istej piesne.

To vysvetľuje aj známu skúsenosť: keď Shazamu pustíte originálnu pesničku z reproduktora, často ju spozná veľmi rýchlo. Keď mu ju však iba zaspievate alebo zahmkáte, výsledok môže byť úplne iný.

Nie preto, že spievate zle. 😄 Systém jednoducho hľadá iný druh zhody.

Zvukový odtlačok nie je samotná hudba

Ešte zaujímavejšie je, že vytvorený podpis je jednosmerný.

Podľa dokumentácie Apple je akustická signatúra výrazne menšia než pôvodný zvuk a nedá sa z nej spätne zrekonštruovať originálna nahrávka.

Je to podobné, ako keby ste si z fotografie vytvorili veľmi špecifický zoznam rozpoznávacích bodov. Podľa zoznamu by ste vedeli overiť, či ďalšia fotografia zodpovedá tej pôvodnej, ale samotný zoznam by nestačil na opätovné vytvorenie celej fotografie.

Shazam teda nemusí pri každom hľadaní porovnávať váš záznam s miliónmi kompletných zvukových súborov.

Porovnáva ich charakteristické podpisy.

Niekoľko sekúnd hudby môže stačiť

Celé kúzlo Shazamu teda nespočíva v tom, že by počítač dokonale „rozumel“ pesničke.

Nemusí vedieť, o čom je jej text, aké emócie vyjadruje ani čo znamenajú jednotlivé slová. Stačí mu dostatočne charakteristický úsek zvukovej nahrávky.

Z neho vytvorí digitálny odtlačok, porovná ho s katalógom a hľadá zhodu.

Takže keď nabudúce Shazam po pár sekundách vytiahne názov pesničky, ktorú ste sa márne snažili nájsť celý deň, neuhádol ju podľa refrénu.

Spoznal jej zvukové „odtlačky prstov“. 🎵

Zdroje:

• Apple Developer – ShazamKit • Apple Developer – Signature • Avery Li-Chun Wang – An Industrial-Strength Audio Search Algorithm

Pošli to ďalej

Bude ťa zaujímať

Múzeum, ktoré zbiera to, čo sa bežne nevystavuje

V Reykjavíku existuje múzeum, ktoré je venované výlučne penisom...

Vedeli ste, že na Venuši trvá deň dlhšie než rok?

Na Zemi trvá deň 24 hodín, rok má 365...