V rozšířené realitě se digitální a fyzický svět spojují. Mohou ale datové brýle jako HoloLense a Magic Leap 1 skutečně splnit to, co si od nich uživatelé slibují?
Dravá orka ve sportovní hale, hrad z Minecraftu na podlaze obývacího pokoje, hologram lidského těla v operačním sále. S tak velkolepými vizemi společnosti jako Microsoft, Facebook a Magic Leap propagují novou budoucnost, ve které se fyzický a digitální svět spojují do rozšířené reality (AR, Augmented Reality). Je naděje, že vzniknou zcela nové formy her, teleprezence a počítačové interakce, stejně jako demo nástroje v maloobchodě, nácviky počítačem podporovaných oprav nebo řízení provozu složitých strojů, virtuální asistentky při lékařských procedurách nebo průhledné provozní návody v kokpitech aut. Ve všech každodenních a profesionálních situacích, kde člověk musel doposud odvracet oči od něčeho skutečně zajímavého nebo důležitého na obrazovce, by měla AR kombinovat to nejlepší z obou světů: zpracovávat data a umožnit nám být stále přítomni. AR znamená radikální digitalizaci, ve které se celý svět stává obrazovkou skrytě pracujícího datového stroje.
Někde mezi skutečností a realitou
Není tedy divu, že se téma AR stalo trendem v technologickém světě: velké mobilní společnosti inzerují AR schopnosti svých zařízení, operačních systémů, programů a rozhraní. Sotva existuje nějaký výrobce hardwaru, který by na trh - nebo přinejmenším na svůj veletržní stánek - nepřišel s vlastními AR brýlemi nebo AR senzory. Reklamní agentury už vymýšlí aplikace a nástroje AR k propagaci prodeje, například aby zákazníci mohli virtuálně na mobilním telefonu vyzkoušet, jak bude vypadat kupovaný nábytek v jejich obývacím pokoji nebo si zkusit oblečení v inteligentní výkladní skříni. A ještě předtím, než na trhu vůbec bude nějaká pozoruhodná technologie, poslouží úspěch hry Pokémon GO a obličejových filtrů v reálném čase na Facebooku a Snapchatu (ano, i to je AR!) jako důkaz toho, že AR již přešla do každodenního života.
Zdá se, že existuje téměř úplná shoda, že se AR stane další velkou věcí. Nebo je to všechno znovu jenom krátkodobé pobláznění trhu? I pro takové tvrzení existuje několik důkazů: například výrobce čipů Intel po krátkém humbuku uložil v polovině dubna své plány na AR brýle Vaunt znovu k ledu. A co Magic Leap, tajuplná společnost, která si byla schopna půjčit 2,3 miliardy dolarů z rizikového kapitálu bez jakéhokoliv přesvědčivého produktu? (Nemluvě o triviálních otázkách týkajících se konkrétních příjmových modelů společnosti.) Bude Facebook brzy prodávat filtry AR individuálně? Kromě spousty hraček a několika speciálních aplikací je AR zatím především slibným lákavým pojmem. Ale za všemi těmito úvahami vzniká otázka: Co to vlastně je rozšířená realita?
Mezi příliš úzkým a příliš širokým
Termín rozšířená realita v podstatě popisuje rozšíření smyslových vjemů člověka prostřednictvím senzorických vjemů z počítače. Může to být grafika, ale také zvuky, pachy a všechny ostatní smysly, které může počítač zprostředkovat. Tento přístup však zahrnuje všechny možné techniky, které mají kromě vzájemného míšení jen málo společného. Z tohoto důvodu mediální odborníci navrhli pro rozlišení specifické mezistupně - smíšenou realitu (Mixed Reality), rozšířenou realitu (Augmented Reality) a rozšířenou virtualitu (Augmented Virtuality - AV). AV tedy popisuje vkládání reálných informací do jinak virtuálního světa: například zobrazení skutečných zdrojů nebezpečí a překážek, jako jsou auta nebo stěny - viz přehled vpravo.
V dnešním každodenním životě máme AR obvykle spojenou s head-up displeji, datovými brýlemi a mobilními telefony. Na jedné straně se jedná o průhledové obrazovkové systémy, které promítají informace z počítače do zorného pole uživatele (head-up displej v čelním skle automobilu) nebo překrývají zorné pole informacemi z počítače (Google Glass, HoloLense). Na druhé straně existuje mobilní AR, ve které se v mobilním telefonu otevře okno do rozšířené reality a na obrazovce se zobrazí směs „skutečných“ a „virtuálních“ informací. Kvalitativně se však tyto systémy liší tak výrazně, že kategorie AR je příliš široká.
Celá věc se stává ještě komplikovanější tím, že je možné aplikovat různé standardy na pojmy „reálný“ a „virtuální“, jakož i na jejich možné kombinace. Rozdíl je v tom, jak moc síťový nebo chytrý je virtuální podíl AR. Ale jak se měří míra digitalizace a zasíťování produktů AR? Je trasa vypočtená v off-line režimu v palubním systému automobilu více nebo méně digitální než ta načtená v reálném čase ze serveru Googlu? Je virtuální ofsajd při fotbalovém přenosu také AR? A proč ne třeba filmy s titulky nebo časové razítko v digitální fotografii? Stává se to čím dál více matoucím, pokud se vzdáte omezení pouze na vlastní zrakové vjemy a připustíte jakéhokoli smíšení s výstupy počítače v každodenním životě tak, jak ho může zprostředkovat AR. Ale přesně tímto směrem se vývoj AR ubírá, k rozhraní s digitalizovaným světem.
Protože „skutečné“ a „virtuální“ už neznamenají žádné protiklady (je můj bankovní účet méně reálný než moje prasátko?), je i samotný pojem AR trochu problematický. Snadnější je vymezení příbuzné virtuální reality (VR). Pokud jde v případě AR o obohacení reality informacemi z počítačů, pak uživatelé ve VR by měli být zcela odstřižení od skutečné reality a zcela ponořeni do reality umělé.
Definice je obtížná i proto, že ve srovnání s VR popisuje AR méně konkrétních technických přístupů a spíše se věnuje procesu propojování a míšení realit. VR je absolutní virtuálnost. AR je něco mezi fyzickým a virtuálním. Takže její interpretace je mnohem více předmětem technického a kulturního porozumění než v případě VR: představy o tom, co počítač umí a co by měl umět, se v průběhu času mění.
Snad nejvýznamnějším znakem - a měřítkem - je tedy schopnost těchto systémů nejen překrývat virtuální a fyzický svět, ale zakotvit virtuální svět v tom fyzickém: Ze dvou realit se stane jedna nová. Toto rozlišení je dvojnásobně důležité. Na jedné straně dovoluje takové čisté pomocníky jako Google Glass nebo projekt Vaunt (pohřbený společností Intel) oddělit jako samostatnou a méně zajímavou kategorii obrazovek - a to i v případě, že jsou inzerovány jako AR. Na druhé straně zdůrazňuje potenciál AR jako okna do vyšší reality. Jedná se právě o obrazovku, nejdůležitější interakční médium s počítačem, která může oddělit AR - a tím rozluštit starý počítačový paradox. Abychom porozuměli budoucnosti AR, stojí za to podívat se na její minulost. A ta začíná - ne náhodou - v raných dobách moderních počítačů.
Na měděném kabelu ze stropu
Za účelem promítání počítačových snímků přímo do očí svých testerů věšel harvardský badatel a počítačový průkopník Ivan Sutherland těžké sestavy z trubek a kabelů na strop své laboratoře. Tento monstrózní head-up displej (HUD) dokázal zrcadlit stereoskopicky skládané obrazy, které grafický počítač vypočítal v reálném čase, do zorného pole člověka: drátěné síťové modely, které vypadaly, jako by volně pluly v prostoru a měnily svou perspektivu v závislosti na pohybu hlavy. Bylo to poměrně objemné zařízení - opak dnešních mobilů -, které pomocí dvou katodových trubic a hranolové optiky, spousty potu a metrů lepicí pásky vytvořilo představu rozšířené reality. Ale fungovalo to! „I s tak hrubým systémem,“ napsal tehdy Sutherland do svých vědeckých poznámek, „se trojrozměrná iluze stala opravdovou.“
Sutherland předpokládal, že budoucnost počítačů závisí na překonání rozdílu mezi lidským vnímáním a abstraktní složitostí počítače: virtuální, nesrozumitelný datový svět se musí stát součástí reálného. Existují k tomu těžkopádné pomocné nástroje - všechna ta vstupní média, uživatelská rozhraní a programovací jazyky. Sutherland brzy pochopil, že to jde i jinak a že klíčem by mohla být počítačová grafika. Sice už roky před ním experimentovaly různé výzkumné skupiny s projekčními skly pro umělý (ale ne virtuální!) 3D dojem. Ale byl to Sutherland, který nepoužil jako zobrazovač kameru, ale počítač, a tím položil základy pro veškerou smíšenou realitu. Ale překrývání těchto světů mu nestačilo: Sutherland se chtěl přiblížit ke svému snu o konečném zobrazení, ve kterém už nelze určit žádný rozdíl mezi virtuálním a fyzickým světem.
Samozřejmě, historie počítačů proběhla jinak: namísto přiblížení k lidskému vnímání se mezera mezi člověkem a strojem spíše rozšířila. „Intuitivní“ uživatelská rozhraní mohla na nějaký čas tento problém zakrýt. Ale jakmile budou počítače samostatně zachycovat a zpracovávat data, získávat díky senzorům obraz světa a vyvozovat vlastní závěry, dosáhne interakce člověk-stroj svých hranic. To se týká dokonce počítačů samotných, PC a mobilních telefonů, které jsou pouze rozhraním pro mnohem zajímavější datový svět v datových centrech a mezi nimi. Rozšířená realita je odpovědí na tuto změněnou realitu: datový svět se stal tak složitým, že je jednodušší vidět ho jako realitu, než se snažit ho pochopil přímo. Velkým slibem rozšířené reality je nahrazení prastarého počítačového paradigmatu: že se člověk musí přibližovat stroji - a ne stroj člověku.
Boj o technologický pokrok
Od Sutherlandových experimentů před padesáti lety se rozšířená i virtuální realita neustále vyvíjely: obrazy se zlepšily, z drátěných síťových modelů se stala stále složitější zobrazení reality, která se díky novým algoritmům dala stále lépe a snadněji zasadit do reálného světa. Head-up displeje se podařilo zmenšit tak, že se vejdou do obrouček brýlí, na palubní desku automobilů nebo do kapsy kalhot. A samozřejmě teprve díky mobilnímu širokopásmovému internetu a přesnému měření GPS je možné zobrazovat informace o poloze v reálném čase.
Rozhodující pro současný rozmach AR je, že spojuje několik nejnovějších technologických trendů a technických zlomů: teprve pokrok ve strojovém učení umožňuje systémům AR zachytit svět, teprve mobilní širokopásmové sítě poskytují datovou propustnost potřebnou pro AR, teprve propojení s internetem věcí umožňuje připojení k fyzickým objektům a stavům, jako jsou zdroje dat, orientační body a vytvoření nových rozhraní s okolním světem. Předpokladem k tomu jsou nadbytečné výkonové rezervy moderních mobilních telefonů s jejich vynikajícími kamerami a senzory.
Ale i přes veškerý pokrok je AR stále na začátku: první generace inteligentních brýlí je příliš těžkopádná pro každodenní použití - a také příliš drahá. AR zůstane ještě po dlouhou dobu mobilním, průmyslovým a odborným tématem. Proto bychom měli čelit nadšení kolem AR s rozumem, říká expert na zobrazování Karl Guttag v rozhovoru s Chipem. Protože i když existuje spousta nápadů pro sloučení obou světů, je potřeba pro ně ještě vyvinut technický základ - a v případě virtuální reality není zatím vůbec jasné, které technické problémy budou jen překážkami a které tvrdými limity. Máme tu například velmi praktický problém s transportem obrazových dat do zorného pole.
Obvyklým postupem je přeprava přes vlnový vodič a projekce obrazu jako dílčích obrazů do obou zornic uživatele AR. To je sice možné už dlouhou dobu, ale ne v rozměrech, které jsou nezbytné pro mobilní použití. Miniaturizace v posledních měsících zaznamenala velký pokrok. To však neřeší druhý problém: že při takových projekčních metodách vznikají příliš malé obrazy. Nejlepší přístupy pomocí tzv. vlnových vodičů (waveguide), které v současné době vyvinula společnost DigiLense, vytváří zorné pole AR pouze 40 stupňů. Proto může být obraz vedený vlnovými vodiči nejen aktivně upravován pomocí jejich vrstev, ale může být také kombinován s dalšími optickými funkcemi, jako je eye tracking (diagram strana 62, číslo 4).
Každý, kdo jednou vyzkoušel HoloLense, to zklamání zná: aktivní obrazový obsah se objevuje na malém čtverečku v oblasti ostření a zmizí, jakmile trochu odvrátíte svůj pohled. Velkou výzvou je nyní rozšířit zorné pole AR a vytvářet snímky s reálnou prostorovou hloubkou. Vývoj obrazovek ze světelných polí, které umožňují více ohniskových rovin, již začal. Nakonec vývoj AR headsetů napomáhá miniaturizovat a zlepšovat kvalitu obrazu a využívat další informace, jako je například směr pohledu, ostření a další podněty. A to je v současné době možné pouze s velkými, náročnými a především mimořádně drahými přístroji. Masový trh musí počkat.
Zcela odlišná je situace v případě mobilní AR. Zde zaostávají dostupné produkty stále za tím, co je technicky možné, říká Dmitrij Andreev. Frustrovaný neuspokojivou nabídkou AR aplikací, tento americko-ruský expert na počítačovou grafiku v reálném čase skončil s vývojem renderovacích strojů pro počítačové hry, aby přijal nové výzvy v oblasti AR. Pro něj jsou realistické prezentace virtuálních objektů „více či méně triviální“: nezbytné metody se již dlouho používají ve filmu a televizi a mohou být téměř stejně dobré i pro současné mobilní telefony. „Ve většině případů vše, co potřebujete k vytvoření skvělých fotorealistických obrazů na mobilním zařízení, již existuje. Všechny kousky té skládanky jsou všeobecně známé.“ Chybí ale zkušenosti a odborníci schopní dát dohromady všechny znalosti nezbytné pro dobrou AR - znalosti počítačového vidění, umění vizuálních efektů, off-line technik tenderingu, získávání a zpracování dat, stejně jako provádění výkonných výpočtů v reálném čase na high-end počítačích, konzolách a mobilních zařízeních. Andreev to chce vylepšit pomocí vlastního workflow a produktu, který zatím drží v tajnosti.
Jak udělat novou realitu skutečnou
Jako vždy při dobývání nového světa existují průkopníci a šarlatáni, všichni svým vlastním způsobem žijící z přehnaných očekávání. V kontinuu mezi realitou a virtuálností existuje také dostatek prostoru pro rozšířenou banalitu. Ale to nic nezmění na potřebě tohoto vývoje: když se celý svět stane počítačem, jak řekl nedávno generální ředitel Microsoftu Satya Nadella, AR by mohla z celého světa udělat obrazovku. Pouze na konci vývoje AR už nebude nutné pracovat s počítači, které mají obrazovku v tradičním smyslu. Namísto lidí, kteří se dívají do monitorů, tu budou počítače, které hledí na lidi i na svět. Komunikace člověk-stroj a stroj-stroj se pak spojí s interakcí stroj-prostředí. Můžeme to také nazývat jako vnímání s AR sdílenou skutečností.
***
ROZHOVOR
Expert na zmírňování nadšení Přehnané nadšení z rozšířené reality kolem Meagic Leap kritizuje na svém blogu odborník na zobrazování Karl Guttag (kguttag.com).
* > Co je jádrem vaší kritiky současného humbuku kolem AR?
V současné době dostupná technologie displejů obecně nemůže splňovat očekávání, která jsou do ní vkládána. Pokud jde o barvu, kontrast a rozlišení, bude kvalita obrazu všech headsetů mnohem horší než kvalita v případě běžného televizoru nebo monitoru. Označuji tento problém jako „pixel size gap“: pro obrazovky kompaktních headsetů pro rozšířenou realitu se využívají systémy miniaturních obrazovek na křemíku. Nabízejí sice dobré úhly pohledu, ale žádné velké zorné pole.
* > Aktivní zobrazovací pole AR o velikostí razítka... Je to vše jen hype?
Očekávání fanoušků AR výrazně přesahují to, co je dnes možné vyrábět. Situaci nepomáhá ani to, že výrobci jako Magic Leap a dříve také HoloLense ukazují ve svých simulacích věci, které prostě nejsou možné. Do postprodukce videa se přidávají věci, které odporují fyzikálním zákonům.
***
Nové smysly pro počítač
Rozšířená realita je hloupou hračkou, dokud počítače nezískají smysly, aby si udělaly svůj vlastní obraz světa. Je ironií, že nejslabší počítačová platforma, mobilní telefon, k tomu nabízí ty nejlepší možnosti. Díky metodám strojového učení je možné především pomocí digitálního fotoaparátu zaznamenat důležitá data o struktuře a stavu okolí a poté je digitálně okořenit nebo použít jako další datový zdroj: pro povrchní rekonstrukci prostoru v cloudu dnes počítači stačí už jen pohled do kamery. Stejně důležité jsou však senzory zrychlení a lokalizační služby, jako je GPS. Zajímavé je, že Google v březnu odpískal svůj projekt AR systému Tango, jenž měl umožnit mobilním zařízením trojrozměrně skenovat okolní prostředí. Ale dokud mobilní telefony nejsou vybaveny potřebnými senzory, není zatím zjevně správný čas na další vývoj. Velkým krokem k AR bude jednou připojení k internetu věcí: to rozšíří smysly počítačů způsobem, který již není přístupný lidem. Z kolektivních zkušeností inteligentních snímačů tak mohou vzniknout světové znalosti, které musí počítače nejdříve zpracovat do člověku stravitelné podoby ve formě informací a pokynů v rozšířené realitě. Tato budoucnost není tak daleko -a teprve tehdy přijde skutečný čas smíšené reality lidí a strojů.
Foto popis| Zjistěte, co ví jen počítač V rozšířené realitě se digitální informace spojují s fyzickým světem, například pro osobní navigaci nebo jako videohra v reálném prostředí.
Foto popis| Mezi zdáním a skutečností Do kontinua mezi čistou virtuální realitou (VR) a fyzickým světem spadá spousta zajímavých technologií: součástí této tzv. smíšené reality (Mixed Reality - MR) je rozšířená realita (Augmented Reality - AR).
Foto popis| Leap Motion experimentuje s projektem North Star - AR headsetem s mimořádně velkým zorným polem.
Foto autor| Foto: Keiichi Matsuda/HYPER-REALITY 2016
Foto popis| Komická 3D čapka z počítače, vlasy a vyhlazená pokožka - a to vše v reálném čase: živé filtry od MSQRD, Facebooku a Snapchatu jsou nejrozšířenějšími AR aplikacemi - jednoduše nové fotografie.
Foto popis| Propletené cesty světla V AR náhlavních soupravách procházejí obrazové signály 1 hranolem, 2 optickým vodičem s leptanou optickou mřížkou, 3 holografickou nanomřížkou nebo 4 aktivním holografickým optickým vodičem pro generování světelných polí s hloubkovým efektem.
Foto popis| Ještě dlouhá cesta Simulátor Magic Leap od Karla Guttaga ukazuje smutnou současnost AR.
Foto popis| Vzdálenou údržbu prostřednictvím AR aplikace a dálkově ovládané opravy pomocí inteligentních brýlí slibuje výrobce rozšířené reality Re‘flekt.
Foto autor| Foto: RE‘FLEKT (vpravo dole)
Foto popis| Není to až tak lákavý svět rozšířené reality, který načrtl návrhář Keiichi Matsuda ve svém skvělém videu Hyper-Reality: barevný a matoucí, plný spamu a nadměrné gamifikace každodenního života.
Foto popis| On-line maloobchodníci experimentují s AR aplikacemi pro zkušební umisťování věcí před nákupem. Dobrým příkladem může být AR aplikace Place od Ikea.
O autorovi| Felix Knoke, autor@chip.cz
Dravá orka ve sportovní hale, hrad z Minecraftu na podlaze obývacího pokoje, hologram lidského těla v operačním sále. S tak velkolepými vizemi společnosti jako Microsoft, Facebook a Magic Leap propagují novou budoucnost, ve které se fyzický a digitální svět spojují do rozšířené reality (AR, Augmented Reality). Je naděje, že vzniknou zcela nové formy her, teleprezence a počítačové interakce, stejně jako demo nástroje v maloobchodě, nácviky počítačem podporovaných oprav nebo řízení provozu složitých strojů, virtuální asistentky při lékařských procedurách nebo průhledné provozní návody v kokpitech aut. Ve všech každodenních a profesionálních situacích, kde člověk musel doposud odvracet oči od něčeho skutečně zajímavého nebo důležitého na obrazovce, by měla AR kombinovat to nejlepší z obou světů: zpracovávat data a umožnit nám být stále přítomni. AR znamená radikální digitalizaci, ve které se celý svět stává obrazovkou skrytě pracujícího datového stroje.
Někde mezi skutečností a realitou
Není tedy divu, že se téma AR stalo trendem v technologickém světě: velké mobilní společnosti inzerují AR schopnosti svých zařízení, operačních systémů, programů a rozhraní. Sotva existuje nějaký výrobce hardwaru, který by na trh - nebo přinejmenším na svůj veletržní stánek - nepřišel s vlastními AR brýlemi nebo AR senzory. Reklamní agentury už vymýšlí aplikace a nástroje AR k propagaci prodeje, například aby zákazníci mohli virtuálně na mobilním telefonu vyzkoušet, jak bude vypadat kupovaný nábytek v jejich obývacím pokoji nebo si zkusit oblečení v inteligentní výkladní skříni. A ještě předtím, než na trhu vůbec bude nějaká pozoruhodná technologie, poslouží úspěch hry Pokémon GO a obličejových filtrů v reálném čase na Facebooku a Snapchatu (ano, i to je AR!) jako důkaz toho, že AR již přešla do každodenního života. Zdá se, že existuje téměř úplná shoda, že se AR stane další velkou věcí. Nebo je to všechno znovu jenom krátkodobé pobláznění trhu? I pro takové tvrzení existuje několik důkazů: například výrobce čipů Intel po krátkém humbuku uložil v polovině dubna své plány na AR brýle Vaunt znovu k ledu. A co Magic Leap, tajuplná společnost, která si byla schopna půjčit 2,3 miliardy dolarů z rizikového kapitálu bez jakéhokoliv přesvědčivého produktu? (Nemluvě o triviálních otázkách týkajících se konkrétních příjmových modelů společnosti.) Bude Facebook brzy prodávat filtry AR individuálně? Kromě spousty hraček a několika speciálních aplikací je AR zatím především slibným lákavým pojmem. Ale za všemi těmito úvahami vzniká otázka: Co to vlastně je rozšířená realita?
Mezi příliš úzkým a příliš širokým
Termín rozšířená realita v podstatě popisuje rozšíření smyslových vjemů člověka prostřednictvím senzorických vjemů z počítače. Může to být grafika, ale také zvuky, pachy a všechny ostatní smysly, které může počítač zprostředkovat. Tento přístup však zahrnuje všechny možné techniky, které mají kromě vzájemného míšení jen málo společného. Z tohoto důvodu mediální odborníci navrhli pro rozlišení specifické mezistupně - smíšenou realitu (Mixed Reality), rozšířenou realitu (Augmented Reality) a rozšířenou virtualitu (Augmented Virtuality - AV). AV tedy popisuje vkládání reálných informací do jinak virtuálního světa: například zobrazení skutečných zdrojů nebezpečí a překážek, jako jsou auta nebo stěny - viz přehled vpravo. V dnešním každodenním životě máme AR obvykle spojenou s head-up displeji, datovými brýlemi a mobilními telefony. Na jedné straně se jedná o průhledové obrazovkové systémy, které promítají informace z počítače do zorného pole uživatele (head-up displej v čelním skle automobilu) nebo překrývají zorné pole informacemi z počítače (Google Glass, HoloLense). Na druhé straně existuje mobilní AR, ve které se v mobilním telefonu otevře okno do rozšířené reality a na obrazovce se zobrazí směs „skutečných“ a „virtuálních“ informací. Kvalitativně se však tyto systémy liší tak výrazně, že kategorie AR je příliš široká. Celá věc se stává ještě komplikovanější tím, že je možné aplikovat různé standardy na pojmy „reálný“ a „virtuální“, jakož i na jejich možné kombinace. Rozdíl je v tom, jak moc síťový nebo chytrý je virtuální podíl AR. Ale jak se měří míra digitalizace a zasíťování produktů AR? Je trasa vypočtená v off-line režimu v palubním systému automobilu více nebo méně digitální než ta načtená v reálném čase ze serveru Googlu? Je virtuální ofsajd při fotbalovém přenosu také AR? A proč ne třeba filmy s titulky nebo časové razítko v digitální fotografii? Stává se to čím dál více matoucím, pokud se vzdáte omezení pouze na vlastní zrakové vjemy a připustíte jakéhokoli smíšení s výstupy počítače v každodenním životě tak, jak ho může zprostředkovat AR. Ale přesně tímto směrem se vývoj AR ubírá, k rozhraní s digitalizovaným světem. Protože „skutečné“ a „virtuální“ už neznamenají žádné protiklady (je můj bankovní účet méně reálný než moje prasátko?), je i samotný pojem AR trochu problematický. Snadnější je vymezení příbuzné virtuální reality (VR). Pokud jde v případě AR o obohacení reality informacemi z počítačů, pak uživatelé ve VR by měli být zcela odstřižení od skutečné reality a zcela ponořeni do reality umělé. Definice je obtížná i proto, že ve srovnání s VR popisuje AR méně konkrétních technických přístupů a spíše se věnuje procesu propojování a míšení realit. VR je absolutní virtuálnost. AR je něco mezi fyzickým a virtuálním. Takže její interpretace je mnohem více předmětem technického a kulturního porozumění než v případě VR: představy o tom, co počítač umí a co by měl umět, se v průběhu času mění. Snad nejvýznamnějším znakem - a měřítkem - je tedy schopnost těchto systémů nejen překrývat virtuální a fyzický svět, ale zakotvit virtuální svět v tom fyzickém: Ze dvou realit se stane jedna nová. Toto rozlišení je dvojnásobně důležité. Na jedné straně dovoluje takové čisté pomocníky jako Google Glass nebo projekt Vaunt (pohřbený společností Intel) oddělit jako samostatnou a méně zajímavou kategorii obrazovek - a to i v případě, že jsou inzerovány jako AR. Na druhé straně zdůrazňuje potenciál AR jako okna do vyšší reality. Jedná se právě o obrazovku, nejdůležitější interakční médium s počítačem, která může oddělit AR - a tím rozluštit starý počítačový paradox. Abychom porozuměli budoucnosti AR, stojí za to podívat se na její minulost. A ta začíná - ne náhodou - v raných dobách moderních počítačů.
Na měděném kabelu ze stropu
Za účelem promítání počítačových snímků přímo do očí svých testerů věšel harvardský badatel a počítačový průkopník Ivan Sutherland těžké sestavy z trubek a kabelů na strop své laboratoře. Tento monstrózní head-up displej (HUD) dokázal zrcadlit stereoskopicky skládané obrazy, které grafický počítač vypočítal v reálném čase, do zorného pole člověka: drátěné síťové modely, které vypadaly, jako by volně pluly v prostoru a měnily svou perspektivu v závislosti na pohybu hlavy. Bylo to poměrně objemné zařízení - opak dnešních mobilů -, které pomocí dvou katodových trubic a hranolové optiky, spousty potu a metrů lepicí pásky vytvořilo představu rozšířené reality. Ale fungovalo to! „I s tak hrubým systémem,“ napsal tehdy Sutherland do svých vědeckých poznámek, „se trojrozměrná iluze stala opravdovou.“ Sutherland předpokládal, že budoucnost počítačů závisí na překonání rozdílu mezi lidským vnímáním a abstraktní složitostí počítače: virtuální, nesrozumitelný datový svět se musí stát součástí reálného. Existují k tomu těžkopádné pomocné nástroje - všechna ta vstupní média, uživatelská rozhraní a programovací jazyky. Sutherland brzy pochopil, že to jde i jinak a že klíčem by mohla být počítačová grafika. Sice už roky před ním experimentovaly různé výzkumné skupiny s projekčními skly pro umělý (ale ne virtuální!) 3D dojem. Ale byl to Sutherland, který nepoužil jako zobrazovač kameru, ale počítač, a tím položil základy pro veškerou smíšenou realitu. Ale překrývání těchto světů mu nestačilo: Sutherland se chtěl přiblížit ke svému snu o konečném zobrazení, ve kterém už nelze určit žádný rozdíl mezi virtuálním a fyzickým světem. Samozřejmě, historie počítačů proběhla jinak: namísto přiblížení k lidskému vnímání se mezera mezi člověkem a strojem spíše rozšířila. „Intuitivní“ uživatelská rozhraní mohla na nějaký čas tento problém zakrýt. Ale jakmile budou počítače samostatně zachycovat a zpracovávat data, získávat díky senzorům obraz světa a vyvozovat vlastní závěry, dosáhne interakce člověk-stroj svých hranic. To se týká dokonce počítačů samotných, PC a mobilních telefonů, které jsou pouze rozhraním pro mnohem zajímavější datový svět v datových centrech a mezi nimi. Rozšířená realita je odpovědí na tuto změněnou realitu: datový svět se stal tak složitým, že je jednodušší vidět ho jako realitu, než se snažit ho pochopil přímo. Velkým slibem rozšířené reality je nahrazení prastarého počítačového paradigmatu: že se člověk musí přibližovat stroji - a ne stroj člověku.
Boj o technologický pokrok
Od Sutherlandových experimentů před padesáti lety se rozšířená i virtuální realita neustále vyvíjely: obrazy se zlepšily, z drátěných síťových modelů se stala stále složitější zobrazení reality, která se díky novým algoritmům dala stále lépe a snadněji zasadit do reálného světa. Head-up displeje se podařilo zmenšit tak, že se vejdou do obrouček brýlí, na palubní desku automobilů nebo do kapsy kalhot. A samozřejmě teprve díky mobilnímu širokopásmovému internetu a přesnému měření GPS je možné zobrazovat informace o poloze v reálném čase. Rozhodující pro současný rozmach AR je, že spojuje několik nejnovějších technologických trendů a technických zlomů: teprve pokrok ve strojovém učení umožňuje systémům AR zachytit svět, teprve mobilní širokopásmové sítě poskytují datovou propustnost potřebnou pro AR, teprve propojení s internetem věcí umožňuje připojení k fyzickým objektům a stavům, jako jsou zdroje dat, orientační body a vytvoření nových rozhraní s okolním světem. Předpokladem k tomu jsou nadbytečné výkonové rezervy moderních mobilních telefonů s jejich vynikajícími kamerami a senzory. Ale i přes veškerý pokrok je AR stále na začátku: první generace inteligentních brýlí je příliš těžkopádná pro každodenní použití - a také příliš drahá. AR zůstane ještě po dlouhou dobu mobilním, průmyslovým a odborným tématem. Proto bychom měli čelit nadšení kolem AR s rozumem, říká expert na zobrazování Karl Guttag v rozhovoru s Chipem. Protože i když existuje spousta nápadů pro sloučení obou světů, je potřeba pro ně ještě vyvinut technický základ - a v případě virtuální reality není zatím vůbec jasné, které technické problémy budou jen překážkami a které tvrdými limity. Máme tu například velmi praktický problém s transportem obrazových dat do zorného pole. Obvyklým postupem je přeprava přes vlnový vodič a projekce obrazu jako dílčích obrazů do obou zornic uživatele AR. To je sice možné už dlouhou dobu, ale ne v rozměrech, které jsou nezbytné pro mobilní použití. Miniaturizace v posledních měsících zaznamenala velký pokrok. To však neřeší druhý problém: že při takových projekčních metodách vznikají příliš malé obrazy. Nejlepší přístupy pomocí tzv. vlnových vodičů (waveguide), které v současné době vyvinula společnost DigiLense, vytváří zorné pole AR pouze 40 stupňů. Proto může být obraz vedený vlnovými vodiči nejen aktivně upravován pomocí jejich vrstev, ale může být také kombinován s dalšími optickými funkcemi, jako je eye tracking (diagram strana 62, číslo 4). Každý, kdo jednou vyzkoušel HoloLense, to zklamání zná: aktivní obrazový obsah se objevuje na malém čtverečku v oblasti ostření a zmizí, jakmile trochu odvrátíte svůj pohled. Velkou výzvou je nyní rozšířit zorné pole AR a vytvářet snímky s reálnou prostorovou hloubkou. Vývoj obrazovek ze světelných polí, které umožňují více ohniskových rovin, již začal. Nakonec vývoj AR headsetů napomáhá miniaturizovat a zlepšovat kvalitu obrazu a využívat další informace, jako je například směr pohledu, ostření a další podněty. A to je v současné době možné pouze s velkými, náročnými a především mimořádně drahými přístroji. Masový trh musí počkat. Zcela odlišná je situace v případě mobilní AR. Zde zaostávají dostupné produkty stále za tím, co je technicky možné, říká Dmitrij Andreev. Frustrovaný neuspokojivou nabídkou AR aplikací, tento americko-ruský expert na počítačovou grafiku v reálném čase skončil s vývojem renderovacích strojů pro počítačové hry, aby přijal nové výzvy v oblasti AR. Pro něj jsou realistické prezentace virtuálních objektů „více či méně triviální“: nezbytné metody se již dlouho používají ve filmu a televizi a mohou být téměř stejně dobré i pro současné mobilní telefony. „Ve většině případů vše, co potřebujete k vytvoření skvělých fotorealistických obrazů na mobilním zařízení, již existuje. Všechny kousky té skládanky jsou všeobecně známé.“ Chybí ale zkušenosti a odborníci schopní dát dohromady všechny znalosti nezbytné pro dobrou AR - znalosti počítačového vidění, umění vizuálních efektů, off-line technik tenderingu, získávání a zpracování dat, stejně jako provádění výkonných výpočtů v reálném čase na high-end počítačích, konzolách a mobilních zařízeních. Andreev to chce vylepšit pomocí vlastního workflow a produktu, který zatím drží v tajnosti.
Jak udělat novou realitu skutečnou
Jako vždy při dobývání nového světa existují průkopníci a šarlatáni, všichni svým vlastním způsobem žijící z přehnaných očekávání. V kontinuu mezi realitou a virtuálností existuje také dostatek prostoru pro rozšířenou banalitu. Ale to nic nezmění na potřebě tohoto vývoje: když se celý svět stane počítačem, jak řekl nedávno generální ředitel Microsoftu Satya Nadella, AR by mohla z celého světa udělat obrazovku. Pouze na konci vývoje AR už nebude nutné pracovat s počítači, které mají obrazovku v tradičním smyslu. Namísto lidí, kteří se dívají do monitorů, tu budou počítače, které hledí na lidi i na svět. Komunikace člověk-stroj a stroj-stroj se pak spojí s interakcí stroj-prostředí. Můžeme to také nazývat jako vnímání s AR sdílenou skutečností.
***
ROZHOVOR
Expert na zmírňování nadšení Přehnané nadšení z rozšířené reality kolem Meagic Leap kritizuje na svém blogu odborník na zobrazování Karl Guttag (kguttag.com).
* > Co je jádrem vaší kritiky současného humbuku kolem AR?
V současné době dostupná technologie displejů obecně nemůže splňovat očekávání, která jsou do ní vkládána. Pokud jde o barvu, kontrast a rozlišení, bude kvalita obrazu všech headsetů mnohem horší než kvalita v případě běžného televizoru nebo monitoru. Označuji tento problém jako „pixel size gap“: pro obrazovky kompaktních headsetů pro rozšířenou realitu se využívají systémy miniaturních obrazovek na křemíku. Nabízejí sice dobré úhly pohledu, ale žádné velké zorné pole.
* > Aktivní zobrazovací pole AR o velikostí razítka... Je to vše jen hype?
Očekávání fanoušků AR výrazně přesahují to, co je dnes možné vyrábět. Situaci nepomáhá ani to, že výrobci jako Magic Leap a dříve také HoloLense ukazují ve svých simulacích věci, které prostě nejsou možné. Do postprodukce videa se přidávají věci, které odporují fyzikálním zákonům.
***
Nové smysly pro počítač
Rozšířená realita je hloupou hračkou, dokud počítače nezískají smysly, aby si udělaly svůj vlastní obraz světa. Je ironií, že nejslabší počítačová platforma, mobilní telefon, k tomu nabízí ty nejlepší možnosti. Díky metodám strojového učení je možné především pomocí digitálního fotoaparátu zaznamenat důležitá data o struktuře a stavu okolí a poté je digitálně okořenit nebo použít jako další datový zdroj: pro povrchní rekonstrukci prostoru v cloudu dnes počítači stačí už jen pohled do kamery. Stejně důležité jsou však senzory zrychlení a lokalizační služby, jako je GPS. Zajímavé je, že Google v březnu odpískal svůj projekt AR systému Tango, jenž měl umožnit mobilním zařízením trojrozměrně skenovat okolní prostředí. Ale dokud mobilní telefony nejsou vybaveny potřebnými senzory, není zatím zjevně správný čas na další vývoj. Velkým krokem k AR bude jednou připojení k internetu věcí: to rozšíří smysly počítačů způsobem, který již není přístupný lidem. Z kolektivních zkušeností inteligentních snímačů tak mohou vzniknout světové znalosti, které musí počítače nejdříve zpracovat do člověku stravitelné podoby ve formě informací a pokynů v rozšířené realitě. Tato budoucnost není tak daleko -a teprve tehdy přijde skutečný čas smíšené reality lidí a strojů.
Foto popis| Zjistěte, co ví jen počítač V rozšířené realitě se digitální informace spojují s fyzickým světem, například pro osobní navigaci nebo jako videohra v reálném prostředí. Foto popis| Mezi zdáním a skutečností Do kontinua mezi čistou virtuální realitou (VR) a fyzickým světem spadá spousta zajímavých technologií: součástí této tzv. smíšené reality (Mixed Reality - MR) je rozšířená realita (Augmented Reality - AR). Foto popis| Leap Motion experimentuje s projektem North Star - AR headsetem s mimořádně velkým zorným polem. Foto autor| Foto: Keiichi Matsuda/HYPER-REALITY 2016
Foto popis| Komická 3D čapka z počítače, vlasy a vyhlazená pokožka - a to vše v reálném čase: živé filtry od MSQRD, Facebooku a Snapchatu jsou nejrozšířenějšími AR aplikacemi - jednoduše nové fotografie. Foto popis| Propletené cesty světla V AR náhlavních soupravách procházejí obrazové signály 1 hranolem, 2 optickým vodičem s leptanou optickou mřížkou, 3 holografickou nanomřížkou nebo 4 aktivním holografickým optickým vodičem pro generování světelných polí s hloubkovým efektem. Foto popis| Ještě dlouhá cesta Simulátor Magic Leap od Karla Guttaga ukazuje smutnou současnost AR. Foto popis| Vzdálenou údržbu prostřednictvím AR aplikace a dálkově ovládané opravy pomocí inteligentních brýlí slibuje výrobce rozšířené reality Re‘flekt. Foto autor| Foto: RE‘FLEKT (vpravo dole)
Foto popis| Není to až tak lákavý svět rozšířené reality, který načrtl návrhář Keiichi Matsuda ve svém skvělém videu Hyper-Reality: barevný a matoucí, plný spamu a nadměrné gamifikace každodenního života. Foto popis| On-line maloobchodníci experimentují s AR aplikacemi pro zkušební umisťování věcí před nákupem. Dobrým příkladem může být AR aplikace Place od Ikea.
O autorovi| Felix Knoke, autor@chip.cz