Vedeli ste, že automatické titulky nevznikajú počúvaním ako u človeka, ale rozpoznávaním zvukových vzorov?

Zapnete video bez zvuku a o chvíľu sa pod obrazom objaví presný prepis toho, čo človek hovorí. Vyzerá to jednoducho – počítač si vetu „vypočuje“ a prepíše ju.

Lenže takto to nefunguje.

Počítač v skutočnosti nepočuje slová tak ako človek. Mikrofón zachytí iba zvukovú vlnu a systém sa z nej musí pokúsiť zistiť, ktoré slová pravdepodobne zazneli.

Automatické titulky sú teda výsledkom pomerne zložitého rozpoznávania vzorov v zvuku.

Pre počítač je ľudská reč najskôr iba séria čísel

Keď niekto povie vetu:

„Dnes bude pršať.“

človek ju väčšinou pochopí prakticky okamžite.

Mikrofón však nezachytí slová „dnes“, „bude“ a „pršať“. Zachytí zmeny tlaku vzduchu a prevedie ich na digitálne údaje.

Tie môžeme zjednodušene zobraziť ako zvlnenú čiaru. Podrobnejšie sa zvuk často znázorňuje pomocou spektrogramu, ktorý ukazuje, aké frekvencie sa v jednotlivých okamihoch objavujú.

Pre počítač teda hovorená veta najskôr vyzerá skôr ako obrovské množstvo údajov než ako text.

A práve z nich musí vzniknúť titulok.

Systém sa učí, ako vyzerá ľudská reč vo zvuku

Moderné systémy na rozpoznávanie reči využívajú modely strojového učenia, ktoré boli trénované na veľkom množstve hovoreného jazyka a jeho textových prepisov.

Postupne sa naučia rozpoznávať charakteristické zvukové vzory a spájať ich s tým, čo ľudia pravdepodobne vyslovili.

Nie je to však jednoduchý slovník typu:

tento zvuk = písmeno A

tento zvuk = písmeno B

Ľudská reč je oveľa chaotickejšia.

Rovnaké slovo môže znieť úplne inak, keď ho vysloví dieťa, starší človek, niekto s hlbokým hlasom alebo človek s výrazným prízvukom. Niekto hovorí pomaly, iný prehltne polovicu koncovky a ďalší spojí niekoľko slov tak, že medzi nimi takmer nepočuť hranicu.

Systém preto nehľadá jednu presnú zvukovú kópiu. Z toho, čo sa naučil, odhaduje najpravdepodobnejší text.

Zvuk sám niekedy nestačí

A tu sa to začína podobať na malú hádanku.

Predstavte si slovenské slová „byť“ a „byt“.

Pri bežnej výslovnosti môžu znieť rovnako, ale znamenajú niečo úplne iné.

Ak zaznie:

„Chcem tam ešte chvíľu byť.“

systém musí pochopiť, že ide o sloveso.

Ak však počuje:

„Kúpili sme nový byt.“

mal by zvoliť podstatné meno.

Zo samotného zvuku by rozdiel nemusel byť jasný. Pomôže mu teda kontext celej vety.

Moderné systémy preto nepracujú iba so zvukom. Zohľadňujú aj to, aké slová sa k sebe zvyčajne hodia a ktorá veta dáva v danom kontexte väčší zmysel.

Inými slovami, titulky nevznikajú iba podľa toho, čo zaznelo, ale aj podľa toho, čo systém považuje za najpravdepodobnejšie.

Preto občas vzniknú úplne absurdné titulky

Každý, kto používa automatické titulky častejšie, už pravdepodobne videl vetu, pri ktorej si povedal:

„Ako z toho mohol vzniknúť práve toto?“ 😄

Problém nastáva najmä vtedy, keď je zvuk nekvalitný.

Hudba v pozadí, hluk, viac ľudí hovoriacich naraz, rýchla reč, nárečie, nezvyčajné meno alebo odborný výraz môžu systému výrazne sťažiť prácu.

Počítač potom nemá k dispozícii dokonale jasnú informáciu a musí si vybrať medzi viacerými možnosťami.

Niekedy vyberie správne.

A niekedy vytvorí vetu, ktorá síce zodpovedá časti zachyteného zvuku, ale významovo je úplne mimo.

Je to trochu ako čítanie rozmazaného nápisu

Predstavte si, že z diaľky vidíte tabuľu:

D _ E S B U _ E P R Š _ Ť

Niektoré písmená vidíte dobre, iné vôbec.

Napriek tomu pravdepodobne veľmi rýchlo prečítate:

DNES BUDE PRŠAŤ.

Mozog si chýbajúce časti doplní podľa toho, čo vidí a aká veta dáva zmysel.

Automatické rozpoznávanie reči robí niečo podobné.

Dostane množstvo zvukových stôp a na základe toho, čo sa model naučil, sa snaží zostaviť najpravdepodobnejšiu vetu.

Čím horší je zvuk, tým viac musí „hádať“.

Nejde len o jeden jednoduchý algoritmus

Dnešné systémy rozpoznávania reči sú oveľa pokročilejšie než staršie technológie.

Kedysi sa jednotlivé časti procesu často riešili oddelene. Jeden systém analyzoval zvuk, ďalší rozpoznával časti reči a jazykový model pomáhal vyberať vhodné slová.

Moderné modely založené na hlbokom učení dokážu veľkú časť tohto procesu spojiť a naučiť sa užitočné vlastnosti reči priamo z množstva trénovacích dát.

Preto nie je úplne presné povedať, že počítač iba „porovnáva zvuky“.

Presnejšie je povedať, že analyzuje digitálny zvuk a pomocou naučených vzorov a jazykového kontextu vypočíta, aký text pravdepodobne zaznel.

Z hlasu vznikne veta

Keď sa teda nabudúce automatické titulky objavia takmer okamžite po vyslovení vety, za jednoduchým textom na obrazovke sa skrýva pomerne zaujímavý proces.

Mikrofón zachytí zvuk.

Systém ho premení na údaje.

Model analyzuje jeho charakteristické znaky a porovná ich s tým, čo sa naučil o ľudskej reči.

Nakoniec vyberie text, ktorý podľa neho najlepšie zodpovedá tomu, čo zaznelo.

Výsledok vyzerá úplne obyčajne:

človek niečo povie a na obrazovke sa objaví veta.

Počítač však na začiatku žiadnu vetu nemal.

Mal iba zvuk – a musel z neho zistiť, čo asi znamenal. 🎙️

Zdroje:

• Google Cloud – Speech-to-Text • Google Cloud Documentation – Compare transcription models • YouTube Help – Use automatic captioning

Pošli to ďalej

Bude ťa zaujímať

Kto prišiel s diaľkovým ovládačom a ako fungovali prvé verzie

Diaľkový ovládač nebol hneď bezdrôtový. Najprv mali ľudia kábel...

Kto vynašiel vysávač a prečo prvé modely neboli vôbec praktické

Vysávač nebol od začiatku domáci pomocník. Najprv bol skôr...