Jak vypadá nová éra mul­ti­médií? Kraków Video Tech Meet­up zná odpověď

Prin­ci­pal Prod­uct Man­ag­er z Microsof­tu, Hüseyin Özcan, zahájil setkání před­stavením nového počinu Microsof­tu na pot­lačení šumu a ozvěny, který využívá pokročilé mod­e­ly stro­jového učení. Kon­cept cus­tom audio mod­ules, mezi které patří deep noise sup­pres­sion a deep echo can­cel­la­tion, znatel­ně zlepšu­je kval­i­tu zvuku při online hov­orech. Zatím­co tradiční WebRTC audio pipeline pracu­jí s pevně nas­tavený­mi DSP mod­e­ly bez využití umělé inteligence, Microsoft se rozhodl zave­dením AI-dri­ven metod posunout hran­ice dále.

Dřívější WebRTC audio pipeline měla své lim­i­ty – v testech dosa­ho­va­lo mean opin­ion score (hod­no­ta, která se využívá v teleko­mu­nikacích jako hod­no­cení kval­i­ty hlasových a video relací) 2.29, což je spíše průměrný výsledek. Microsoft ale díky tech­nologii deep noise sup­pres­sion zvýšil skóre na 2.8 a při kom­bi­naci s deep echo can­cel­la­tion se podaři­lo dosáh­nout hod­no­ty MOS 3.15. ​„Nejde jen o odstranění šumu, ale o to, aby byla online komu­nikace co nejpřirozenější. Chceme uži­vatelům pomo­ci zvlá­dat i náročné situ­ace, jako jsou hla­sité rušivé zvuky v pozadí nebo ozvě­na v otevřených pros­torách,“ vysvětlil na mee­tupu Özcan.

Microsoft zároveň plánu­je další vylepšení zvuku pro webovou komu­nikaci. Pracu­je na využití AI-dri­ven kodeků, které by mohly nahra­dit součas­né audio for­má­ty ve WebRTC, a zároveň spolupracu­je s vývo­jáři prohlížečů na rozšíření možnos­tí Web Audio API. Díky tomu by bylo možné zvuk ještě lépe opti­mal­i­zo­vat pří­mo v prohlížeči. ​„Chceme posunout kval­i­tu zvuku v online hov­orech na úplně novou úroveň. Inves­tice do AI-dri­ven audio pro­cessin­gu a mod­erních webových tech­nologií, jako je WebAssem­bly, nám to umožní,“ uza­vřel Özcan.

Jak zajis­tit nízk­ou laten­ci a vysoký výkon mul­ti­mediál­ního zpra­cov­ání v cloudovém prostředí? O této výzvě a svých zkušenos­tech s vývo­jem cloudových pro­dukčních sys­témů mluvili Mateusz Starzak, Jan Piętek a Teodor Woź­ni­ak z Ama­gi Cor­po­ra­tion, která se spe­cial­izu­je na play­out sys­témy pro free ad-sup­port­ed tele­vi­sion (FAST). ​„Dříve bylo nut­né investo­vat do fyz­ick­ých infra­struk­tur, což zna­me­na­lo vysoké vstup­ní nák­la­dy. Dnes lze tyto tech­nolo­gie nahra­dit soft­warově defi­no­vaný­mi sys­témy běžící­mi v cloudu. Díky tomu se dostáváme nejen na nižší nák­la­dy, ale také k větší flex­i­bil­itě,“ vysvětlil během před­nášky Starzak.

Jed­ním z největších prob­lémů při přeno­su videa v reál­ném čase je latence. V tradičních on-premise sys­témech se video zpra­cov­ává lokál­ně, což zna­mená min­imál­ní zpoždění. V cloudu však signá­ly putu­jí přes inter­net, což laten­ci nevy­h­nutel­ně zvyšu­je. ​„Každá sekun­da zpoždění v živém vysílání může být prob­lém. Naším cílem pro­to bylo spo­jit výhody cloudové infra­struk­tu­ry s co nejnižší latencí,“ uvedl Piętek.

Tým Ama­gi během před­nášky názorně ukázal, jak jejich WebRTC pipeline běžící v Dockeru umožňu­je streamování s latencí pod 100 ms. Na AWS instan­ci spustili kon­te­jn­ery s jed­notlivý­mi pro­dukční­mi mod­u­ly, pří­mo v cloudu mixo­vali video a syn­chro­ni­zo­vali audio a video stopy pomocí time­stam­pů. Klíčovou součástí jejich řešení je Janus WebRTC serv­er, který zvládá správu více streamů součas­ně a min­i­mal­izu­je zpoždění. Další opti­mal­izaci při­nes­lo odstranění zbytečných datových pře­sunů mezi CPU a GPU díky využití Way­land GBM a WebG­PU. Pro zajištění sta­bil­ního přeno­su přes veře­jný inter­net Ama­gi imple­men­to­vali pro­tokol Secure Reli­able Trans­port (SRT) a vlast­ní úpravy FFm­peg, které umožňu­jí zpra­cov­ání streamů v reál­ném čase.

Mod­erní vývo­jové přís­tupy si ve světě živého streamování a mul­ti­mediál­ní pro­dukce nacháze­jí stále větší uplat­nění. Bartłomiej Kra­soń ze Soft­ware Man­sion ve své prezentaci před­stavil nástroj Smelter, který propo­ju­je real-time video pro­cess­ing s fron­tendovou logik­ou v Reac­tu. Smelter využívá React kom­po­nen­ty k defi­nování UI strea­mu a mapu­je je na výkon­ný ren­derovací engine, který vše zpra­cov­ává v reál­ném čase. ​„React posky­tu­je intu­itivní kom­po­nen­tovou architek­tu­ru, která se ukáza­la ideál­ní i pro streamování. Díky Smelteru mohou vývo­jáři pra­co­v­at s živým videem ste­jně snad­no jako s webovou stránk­ou,“ vysvětlil Krasoń.

Tradiční přís­tupy ke streamování čas­to vyžadu­jí složité skrip­tování a kon­fig­u­raci jed­notlivých mod­ulů. Smelter naopak umožňu­je sklá­dat stream podob­ně jako webovou stránku. Mezi hlavní výhody patří deklar­a­tivní UI, které vývo­jářům umožňu­je pop­sat stream jako sadu React kom­po­nent, live pre­view v prohlížeči pro okamži­tou vizuál­ní zpět­nou vazbu a jednodušší správu i úpravy díky kom­po­nen­tové­mu přístupu.

Smelter převádí React kód do JSON objek­tů, které urču­jí kom­pozi­ci strea­mu. Celý pro­ces probíhá ve třech krocích: nejprve vývo­jář v Reac­tu defin­u­je UI strea­mu, podob­ně jako při tvor­bě webové aplikace. Násled­ně Smelter přeloží ten­to popis do struk­tur­ovaného JSON for­má­tu, který umožňu­je řízení strea­mu v reál­ném čase. Nakonec je výst­up zpra­cov­án ren­derovacím jádrem Smelteru, které pod­poru­je různé video vstupy i výs­tupy. ​„Vidíme obrovský poten­ciál v propo­jení mod­erních fron­tendových tech­nologií se světem streamování. Smelter je prvním krokem k tomu, aby se tvor­ba video obsahu sta­la dos­tup­nější a efek­tivnější pro každého vývo­jáře,“ dodal Kra­soń, který na závěr prezen­tace doporučil účast­níkům mee­tupu, aby si tech­nologii sami vyzkoušeli.