Algoritmy a jejich moc

Když sportovní vůz Tesla v režimu autopilota fatálně narazil 23. března 2018 do oddělovače jízdních pruhů, rychle se vynořila nová a překvapivě složitá otázka viny: Může být algoritmus zodpovědný za smrt člověka? Rekonstrukce havárie později ukázala, že autopilot i automatický brzdový systém vozu Tesla selhaly. Krátce před kolizí vozidlo dokonce zrychlilo nad rychlostní limit a namířilo si to přímo proti překážce. Byl tedy na vině software? Řidič neměl v době nehody ruce na volantu, tlumiče nárazu před oddělovačem pruhů byly ještě stále poškozeny předchozí nehodou a silnice byla ve špatném stavu. To vše také přispělo k tragickému závěru. A jaký podíl na nehodě mají Elon Musk a oddělení marketingu Tesla, kteří vydávali jen trochu lepší tempomat za inteligentního autopilota a navozovali pocit větší autonomie, než v jakou oběť nehody u svého vozu v době neštěstí mohla doufat?

I když ale hodíme veškerou vinu pouze na algoritmus, nebude to jednodušší, spíše naopak. Software bývá vždy chybný. A co když jeho vývojáři udělali všechno správně, software pracoval správně, ale nakonec kvůli chybným nebo protichůdným datům učinil špatné závěry? Co kdyby všechny zúčastněné systémy pracovaly správně, ale nakonec selhaly kvůli složitým, sotva zvládnutelným interakcím? Jak by se s tím měli srovnat příbuzní řidiče, soudní systém usilující o rovnováhu a spravedlnost a vůbec etická tvář světa: algoritmy nemohou nést vinu, nebo snad ano?
Algoritmy jsou navrženy tak, aby nám zjednodušovaly život automatizací rozhodnutí a hodnocení. Pokud mají tendenci to dělat nezávisle na lidských vlivech a podle měřítek, která si samy vyvinou, označují se jako smart nebo inteligentní, inteligentní agenti nebo umělá inteligence. Ale ať už inteligentní, nebo ne, algoritmy nejsou jen nástrojem, který přetváří lidskou vůli v činy. Prostřednictvím své rychlosti a autonomie vytvářejí celé kategorie nových problémů, rozostřují a maskují schopnost přiřadit se a staví do nového světla tradiční pojmy viny a odpovědnosti. Proto jsou případy jako havárie Tesly a z ní pramenící následná mediální diskuse tak důležité: ukazují, že společnost s novými technologiemi čelí také novým problémům, které již nejsou řešitelné jen jednoduše technicky.

Dalekosáhlé úsudky o lidech

Algoritmy stále více formují naše životy. Často si ani nevšimneme jak. Určují, zda a za jakých podmínek získáváme půjčky, jaké zprávy nejprve vidíme na internetu (nebo které vůbec ne), jaké lidi poznáme a se kterými bychom mohli eventuálně jít do postele. Dokonce i při plánování válek a na bojišti by měly přinášet výhody - ať si pod tím představujeme cokoliv. Formují naše světové názory, přátelství a kariéry. A běda, pokud budeme mít kriminální záznam, budeme nemocní nebo chudí. Pak mohou algoritmy provádět dalekosáhlá rozhodnutí o našem životě: nezaměstnatelný, nepojistitelný, s rizikem relapsu, nedůvěryhodný. Možná mají tyto programy dokonce ve svých hodnoceních pravdu. Ale kdo to může vědět? Jak a na základě jakých datových záznamů algoritmy rozhodují, patří často k tajným znalostem společností, a dokonce ani pro zasvěcence nejsou tyto způsoby vždy zcela srozumitelné.

Zvláště rozhodování umělé inteligence jsou notoricky obtížná. Mnoho chyb se odehrává v tajnosti, plíživě, mnohé i bez konkrétních obětí. Kdo hlídá algoritmy a stojí za nimi, když udělají chybu? Stát, sdružení pro ochranu algoritmů, každý za sebe? Hodně štěstí s laickou domněnkou, že černá krabička nemá pravdu. Algoritmy nemusí být ani obzvláště složité nebo chytré, aby způsobily problémy. Stačí, že jsou rychlé. To si zažily tisíce australských občanů nárokujících si sociální dávky, jejichž práva na pobírání dávek měl od července 2016 začít hodnotit algoritmus. V případě nesrovnalostí systém automaticky odesílal žádosti o doložení nároku on-line. Ti, kteří požadavku nevyhověli, dostali upomínku od inkasní agentury. Tento systém zpracovával 20 000 operací týdně, což představuje množství, jaké úředníci předtím zvládali za celý rok. Bohužel systém nefungoval správně, desítky tisíc lidí obdrželi upomínku nelegálně. Smůla navíc: systém se úplně zahltil záplavou stížností, které zůstaly zaseklé po celé měsíce ve frontě, zatímco údajné dluhy přetrvávaly. Vyšetřování později dospělo k závěru, že „mnohým z popsaných problémů by se dalo zabránit prostřednictvím lepšího plánování projektu, lepšího testování, změnami v řízení a komunikaci“. Měsíce po chybném odeslání byly veškeré soudní příkazy až po konečné vyjasnění viny prohlášeny za neplatné. Ale škod to způsobilo dost: kdo ještě věří v takový systém, který je zřejmě obětí vlastní účinnosti?

Inteligentní algoritmy stále více pronikají do našich životů. Čím dál postupuje digitalizace společnosti, tím více možností nasazení pro automatizaci sociálních procesů a soukromých zájmů vzniká. Umělá inteligence nás vyhodnocuje, analyzuje naše chování a rozhoduje pro nás za nás. Mění tak veřejnost i privátní sféru. Slibem inteligentních algoritmů je hladší, jednodušší a účinnější svět. Nejen obchodní modely, ale i celé modely společnosti jsou založeny na této naději: Smart city, Průmysl 4.0, Internet věcí, práce budoucnosti (nebo dokonce její zrušení). Co může být automatizováno, to by automatizováno být mělo. Je ale rozhodování algoritmů skutečně vždy lepší, nebo se jedná jen o přenášení odpovědnosti na stroje? Po prvním humbuku se nyní jedná o nastolení legitimity digitalizace.

Automatizovaná veřejnost

Algoritmy mohou stejně dobře problémy řešit jako vytvářet nové. Jako softwarové produkty jsou náchylné k chybám, urychlují lidské omyly a implementují předsudky svých vývojářů a trenérů. Porozumění vlastní odpovědnosti a nebezpečí algoritmické automatizace však dozrává jen pomalu. Analýza těchto nových problémů a jejich interakce v algoritmicky zrychleném světě je přitom důležitá. Pouze ti, kteří chápou funkci a působení algoritmů, mohou zvýšit jejich nesporný užitek a snížit jejich škodlivý potenciál.

To zahrnuje přijetí jejich sociálního začlenění: algoritmy nejsou jen neutrální nástroje, odrážejí předpoklady svých vývojářů a v případě strojově trénovaných „inteligentních agentů“ také jejich výcvikových dat. V současné době se tento problém vyskytuje v mnoha ohledech, zejména jako v kódu zabudovaný rasismus a sexismus. Například v roce 2015 Amazon zjistil, že jeho náborový algoritmus při hledání vhodných kandidátů upřednostňuje muže. Ne proto, že jsou objektivně vhodnější, ale protože sexuálně zaujatá politika náboru se praktikovala před deseti lety. Amazon chtěl dobré pracovníky, a ne jen muže, tak systém přepracoval. Pochybnosti ale zůstaly. Jak bylo oznámeno v říjnu tohoto roku, program byl koncem roku 2017 ukončen.

Zejména v USA, kde se otázka etických algoritmů v současné době diskutuje od Silicon Valley až po Bílý dům, odhalují ochránci lidských práv stále častěji další a další rasistická narušení údajně neutrálních hodnoticích algoritmů a umělé inteligence. Například recidiva vězňů a obviněných se v americkém soudním systému počítá různými algoritmy a tím se vyměřuje úroveň jejich úspěšné převýchovy, nebo dokonce doba jejich nutného uvěznění. Protože jsou ale tyto systémy založeny na datech o historických rozsudcích a vyšetřováních, táhnou si s sebou dál svou rasistickou zaujatost z minula: černý dostane jednoduše kvůli své barvě pleti horší prognózu než jinak stejně hodnocený bílý. A protože se tyto poznatky později dostanou do tréninkových dat, historický rasismus se otiskne do údajně neutrálního kódu. Takové zpětné vazby a smyčky - od algoritmu ke společnosti a zpět k algoritmu - jsou problém. Zejména se projevují ve veřejně využívané umělé inteligenci a v algoritmech rozpoznávání obrazů.
Výzkumnice z MIT Joy Buolamwiniová prezentovala na začátku roku 2018 svůj projekt Genderové odstíny o tom, jak zkresleně mohou počítače vidět svět. Konfrontovala tři systémy pro rozpoznávání tváří od IBM, Microsoftu a Face++ s portréty mužů a žen s odlišnou barvou pleti a porovnala jejich úspěšnost detekce. Výsledek: všechny tři systémy umělé inteligence spolehlivě detekovaly muže lépe než ženy a lidi s bílou kůží lépe než osoby s tmavší barvou pleti. Nejhůře byly rozpoznávány ženy s tmavou pletí. Ve světě, ve kterém systémy pro detekci obličejů stále více určují, zda donucovací orgány někoho označí jako podezřelého, nebo kde přístupové systémy klasifikují někoho jako oprávněného ke vstupu, to může znamenat „technickou nevýhodu“ pro lidí s tmavší barvou pleti a pro ženy. „Automatizace řízená umělou inteligencí dnes spolurozhoduje, kdo bude zastřelen, zaměstnán nebo povýšen, kdo dostane úvěr nebo pojištění a jak dlouho budete muset sedět ve vězení,“ píše autorka této studie na webových stránkách projektu. Narušení databází rozhodovacích a vyhodnocovacích algoritmů mají velmi reálný dopad.
„Automatizované systémy v podstatě nejsou neutrální. Odrážejí priority, preference a předsudky -kódovaný pohled - těch, kteří mají sílu a moc vytvářet umělou inteligenci.“ Jako opodstatněný se jeví požadavek na větší rozmanitost a povědomí ve vývojových odděleních, aby k takovým chybám nedocházelo. Rasismus a sexismus jasně ukazují, jak mohou být algoritmy zkreslené. To samé ale platí i pro jiné známé a méně známe společenské deformity. Algoritmy mají vliv na svět, a my si toho musíme být vědomi.

Dobré v „mimomorálním“ smyslu

Zvyšování povědomí se také týká projektu Etika algoritmů německé společnosti Bertelsmann. Projektová manažerka Carla Hustedtová a její tým chtějí zjistit, jaké etické algoritmy jsou a jak mohou být vyvíjeny a kontrolovány. Hlavní požadavek: posouzení dopadu a otestování prospěšnosti algoritmů, které by mohly ovlivňovat lidi. Podobně jako v případě ochrany dat nebo stavebních zákonů by vývojáři měli už od počátku kontrolovat cíle, požadované a nežádoucí účinky a opatření v případě poruchy a písemně je zaznamenat -a také udat, proč nebyl zvolen jiný přístup. „Je důležité nejen identifikovat podstatná rizika pro jednotlivce, skupiny nebo společnost, ale také ve druhé fázi vytvořit plán řešení nežádoucích důsledků.“ Zodpovědné osoby by měly být jasně identifikovány a rozhodnutí by měla být transparentní. Pokud se něco pokazí, je možná alespoň ověřitelnost. Hustedtová a její tým v současnosti pracují na katalogu kritérií kvality, který by poprvé měl stanovit takové požadavky, které odlišují dobrý algoritmus od špatného: a to se jedná o celý proces vývoje, od plánování až po konečné nasazení. Může také obsahovat sadu požadavků pro výcviková data samoučících se systémů, v nichž jsou uvedeny původ a případná možná zkreslení dat, jejich platnost, rozsah a trvanlivost. Už jen taková jednoduchá pravidla by mohla významně zlepšit kvalitu algoritmu (a poskytnout kontrolním orgánům počáteční body pro jejich testy).

Existuje mnoho dobrých nápadů, jak lze vytvářet stále spolehlivější, lepší a kritičtější algoritmy. Klíčem je odpovědnost. Algoritmy jsou softwarové produkty, které trpí typickými problémy softwaru: chybami v programování, chybami obsluhy a vstupů, chybami interpretace, chybami dat a klesajícím výkonem. Tyto problémy jsou obtížnější kvůli rostoucí složitosti a snižování transparentnosti, omezování údržby nebo změněným požadavkům. Algoritmy mohou být zastaralé, a přesto nenahraditelné, protože jsou příliš hluboce zakořeněny v jiných systémech nebo je už neumí nikdo udržovat.

Za tebou, tříhlavňový plamenomet!

I přes tyto problémy však mohou algoritmy představovat riziko, například pokud jsou úmyslně navrženy jako hrozba nebo zbraň. Před tím varovaly v únoru dvě desítky odborníků na umělou inteligenci ve studii s názvem Nebezpečné způsoby použití umělé inteligence: Předpovědi, prevence a omezování rizika. Podle vědců by autonomní inteligentní agenti mohli zvýšit existující rizika tím, že umožní mnohem větší, cílenější útoky, jejichž realizace by konvenčními prostředky byla příliš nákladná. Například mnohem cílenější a rozsáhlejší útoky spear phishingu by mohla provádět umělá inteligence, která samostatně shromažďuje užitečné informace o svých cílech, komunikuje prostřednictvím syntézy řeči jako skuteční lidé nebo automaticky identifikuje cíle pro hackerské útoky. Mohly by být použity útočné drony a autonomní zbraňové systémy nebo by bylo možné prolomit systémy autonomních automobilů a přivést je ke kolizi. Navíc autonomní systémy pro sledování internetu by mohly masivně sbírat a analyzovat data, šířit cílenou propagandu a také ve velkém měřítku provádět útoky sociálního inženýrství. AI by mohla automaticky analyzovat lidské chování, nálady a názory a selektivně je využívat nebo s nimi manipulovat. V poslední době jsou cílem pro jemnější manipulaci systémy pro samostudium - dokonce i AI jako oběť představuje potenciální nebezpečí. Tyto úvahy jsou opodstatněné především v autoritářských státech, ale podobné hrozby mohou narušit i schopnost demokracií vést pravdivou veřejnou debatu. Závěr výzkumníků: Umělá inteligence bude hrát významnou roli v bezpečnostním prostředí budoucnosti. Nebezpečí existuje hojně. Ale pro jejich kontrolu a zmírnění by se mohlo a mělo podniknout více.

Počítač říká: Ne!

Ve srovnání s těmito analýzami působí někteří paničtí aktéři, jako například Elon Musk, varující před AI jako před „mnohem větším nebezpečím než jaderné zbraně“, jako pouhé rozptýlení: příběhy zlých superinteligencí mají odvést pozornost od banální softwarové reality, v níž částečně autonomní vůz narazí do dálničního oddělovače a způsobí smrtelnou nehodu. Skutečná nebezpečí (a přínosy) algoritmů, ať už inteligentních, nebo ne, jsou mnohem nepozorovatelnější a různorodější. Především jde o zakotvení nové technologie se všemi jejími sociálními důsledky ve společnosti samotné. Teprve když se vytvoří tento základ, bude možné položit opravdu důležitou otázku: Kolik autonomie, a tedy odpovědnosti chceme strojům nechat?

***

ROZHOVOR

Posuzujme algoritmy v dobrém i ve špatném

Carla Hustedtová pracuje na projektu společnosti Bertelsmann Etika algoritmů. Vyžaduje transparentnost a rozsáhlou diskusi.

* > Co je to vlastně algoritmus?

Nejprve je to pouze návod k řešení problému. Posuzujeme ale celý algoritmický rozhodovací proces: kód, data, tréninková data, vkládání, cíle nasazení algoritmu a jeho interpretaci lidmi.

* > To je velká práce!

Nepotřebujete širokou diskusi o každém algoritmickém systému. Nicméně ve chvíli, kdy algoritmy vytvářejí nebo podporují rozhodnutí, která přímo ovlivňují životy lidí, potřebujete větší kontrolu nad systémy a širokou debatu o jejich používání. Protože existuje nebezpečí: algoritmy rozhodují mezi lepším nebo horším. Algoritmus může být velmi rychlý a v kratším čase učinit mnohem více a důslednějších rozhodnutí. To je sice šance na efektivitu, ale také to zároveň znamená, že může vzniknout více chyb v kratším čase, které postihnou mnoho lidí. Měli bychom být na to připraveni.

* > Co dělá z algoritmu eticky správný algoritmus?

Na to neexistuje žádné předepsané řešení, ale řada postupů, které v kombinaci dávají smysl. Vedle široké diskuse a účinné kontroly je rovněž nesmírně důležitý přístup k nediskriminačním datům. Potřebujeme také různorodé algoritmické provozní modely a systémy, abychom se vyhnuli monopolům. Co ale dělá z algoritmu dobrý algoritmus, o tom musí rozhodnout společnost. Proto je tak důležitá transparentnost ohledně nasazení a cílů systémů. Bez toho nemůže vzniknout žádná informovaná debata!

***

Měli bychom trestat roboty?

Co dělat, když nezávislý systém spáchá trestný čin? Ying Hu, student práv na Právnické fakultě Yale, tvrdí, že roboty a podobné stroje jsou zodpovědné za své chování, přinejmenším pokud mohou nezávisle dokazovat, realizovat a komunikovat své morální základy. To může znít bizarně. Pokud však inteligentnímu systému přisoudíme alespoň trochu odpovědnosti, může být lépe začleněn do stávajícího právního systému. Trestní právo by tak mohlo plnit svou funkci, potrestat protiprávní chování a zmírnit obětem emocionální škody. Ying Hu dokonce navrhl i tresty: kriminálně označené roboty by mohly být „potrestány“ přeprogramováním, pozastavením nebo vypnutím. Vymahatelnost by mohla být dokonce ponechána obětem a dána jim tak šance na určitou satisfakci. Pozitivní vedlejší efekt: právní systém dokazuje svou účinnost i při nových výzvách.

Foto autor| Foto: monsitj/Getty Images; Endstation Jetzt/CC_BY_2.0; Mark Horn; Devrimb/Getty Images

Foto popis| Protest proti dozoru Protesty proti systému rozpoznávání obličejů ve stanici metra Berlin-Südkreuz v Německu: Systém automaticky vyhledává mezi kolemjdoucími zločince. Chybová míra je 20 procent, ale stále se prý jedná o „úspěšný projekt“.
Foto popis| Diagnostika, nebo zpráva o chybách? Aplikace využívající AI, jako je SkinVision, dokážou pomocí kamery telefonu detekovat rakovinu kůže. Je to levnější, jednodušší a rychlejší než chodit k lékaři - ale co když aplikace udělá chyby, kterých si nevšimneme?
Foto popis| Proti robotické důstojnosti Překročí se nepsaná hranice, pokud počítače začnou napodobovat pocity a emoce? Utrpí tím lidská důstojnost?
Foto popis| Projekt OpenSchufa společnosti AlgorithWatch pomocí financování z crowdsourcingu dešifroval algoritmus německé datové společnosti Schufa, která se zabývá hodnocením bonity německých obyvatel a firem. Má k dispozici data 67 milionů lidí a 5,3 milionu firem. Díky této iniciativě mají teď Němci tato kritéria transparentní a veřejná.
Foto autor| Foto: David Ausserhofer (portrét); Michael Lopez/Getty Images (robot)

Foto popis| Zatuchlé algoritmy Vyhledávání obrázků Google reprodukuje sexistické stereotypy: genderově neutrální vyhledávací termíny vedou k jasně rozděleným výsledkům. Odráží to realitu, nebo ji to tvoří?
Foto popis| Zabijácké drony Americká armáda experimentuje se samoorganizujícími se drony. Mohou počítače zabíjet?
Foto popis| Nehoda nového druhu Americký úřad pro bezpečnost silničního provozu NTSB stále zkoumá havárii sportovního auta Tesla v autopilotním režimu.
Foto popis| AI propaganda AI může dopomoci - dokonce automaticky - k falešné realitě, jako zde v případě manipulace s videem.

O autorovi| FELIX KNOKE, autor@chip.cz