Jan Žižka: Jeho AI modely používají miliony lidí. ‚Umělá inteligence je i prospěšná,‘ říká Maty ze Stanfordu

„AI nám může pomoci dosáhnout pokroku v různých vědeckých disciplínách. Má ale i svá rizika. Dnes se snažíme zjistit, co je fake. V budoucnu se budeme snažit rozlišit, co je realita. Věda je důkazem, že lidé z odlišných kultur a různých politických přesvědčení mohou spolupracovat,“ říká pro Bedny Radia Wave mladý vědec ze Stanfordu Matyáš Boháček, jehož modely používají lidé po celém světě – ať už k detekci deepfaků či překladu znakového jazyka.

Zdroj: iRozhlas 22. 8. 2026

 

Začněme tím, co AI vlastně je. Držitel Nobelovy ceny Geoffrey Hinton nedávno řekl, že prostřednictvím umělé inteligence tvoříme bytosti, a to takové, že by se jednou mohly obrátit proti nám. Gary Marcus, s nímž jsem dělal rozhovor před tebou, popírá, že by AI měla jakékoli záměry. Počítačové simulace neuronových sítí se podle něj zásadně liší od těch, které máme v mozku. AI podle Marcuse jako lidská bytost nepřemýšlí. Jak se k tomuhle stavíš ty? Co vlastně AI je?

To je super dotaz na úvod. Umělá inteligence dnes referuje k souboru různých metod a nástrojů, které se nějak snaží řešit úlohy nebo pracovat s daty. Konkrétních podob je spousta.

Patří sem jazykové modely, které jsou dnes schopny chatovat, nebo dokonce i psát kód a exekuovat různé úkoly na počítači, prohlížeči a i třeba na mobilu.

 

Také to ale jsou třeba roboti – nejenom ti humanoidní, kteří nějak operují ve světě, pohybují s krabicemi a tak podobně, ale i velmi malí roboti, kteří na různých industriálních pásech rozpoznávají vadné výrobky.

 

I auta mají spoustu malých robotických rozšíření, co kontrolují, zda sledujete provoz, zda držíte ruce na volantu a tak podobně.

 

Podoby, které dnes AI má, jsou velmi různorodé, jejich sdíleným prvkem je snaha řešit nějaké problémy a řešit je efektivně a inteligentně.

 

Inteligenci lze měřit a je možné jí nějak porozumět skrze schopnost problémy efektivně řešit, ale také třeba komprimovat data a pracovat s nimi.

 

Možná bych si tak trochu dovolil nesouhlasit s tou jistou skepsí nebo apatií Garyho Marcuse, který – byť má za sebou dlouhou kariéru, v níž se AI věnuje – podle mě trochu zbytečně opomíjí tu diverzní podobu celého odvětví.

 

AI dneska nemá jednotnou definici a jejích podob je spousta. Většina posluchačů bude znát asi právě chatboty nebo obecně jazykové modely, ale těch podob je mnoho.

 

Bavíme se o inteligenci strojů. Historicky tuhle otázku řešil takzvaný Turingův test. V jedné z tradičních debat ve filozofii mysli a kognitivních věd se lidé přeli o to, zda tento test prokazoval inteligenci nějakého stroje, anebo zda se za skutečně inteligentní dá považovat pouze subjekt, který si sám sebe nebo svou činnost uvědomuje. Dodnes se k tomu, jestli tento test o něčem vypovídá, někteří komentátoři vyjadřují. Jak se stavíš k podobným debatám ty?

Myslím, že ten test byl velmi produktivní pro dobu, ve které vznikl, kdy se prosazovala myšlenka, že tu jednou budou stroje, které my jako lidé nebudeme schopni rozpoznat od lidí. To je vlastně podstata toho testu.

 

Má různé podoby, ale ta primární podstata je taková, že robot nebo AI testem projde, pokud jsou schopny interagovat s člověkem a ten nerozpozná, že se jedná o AI, a ne o člověka.

 

Tehdy to byl velmi produktivní test, nicméně AI i naše výpočetní a společenské možnosti se tak změnily, že tento test už není nápomocný.

 

Když se lidé hádají, zda to je, nebo není dobrý test ve chvíli, kdy dnešní AI vlastně tím testem prochází bez nějakých velkých potíží, je to podle mě trochu nepochopením toho, k čemu ten test byl.

 

Dnes už ten test vlastně nemá svou původní úlohu. Je zde velká řada jiných testů, které jsou podle mě náročnější a zajímavé pro nás vědce a obecně lidi, kteří se v této oblasti pohybují. Hádat se o Turingově testu není úplně produktivní.

 

U tohoto tématu ještě chvíli zůstanu, tak snad následující otázka produktivní bude. My lidé jsme biologickými systémy, uvědomujeme si svou existenci, nejsme pouze systémem neuronů. Před rozhovorem jsi mluvil o takzvané „embodied cognition“, tedy vtěleném poznávání či vnímání, které mohou do určité míry simulovat roboti, kteří se tak jako my ve světě pohybují. Přece jen toto vnímání, které je navíc u nás kontinuální a nejde o soubor diskrétních dat, AI nemá, nebo ano?

 

To je dobrá otázka. Záleží, co dnes vnímáme jako AI. Klíčovým slovem, které hodně lidí používá, jsou agenti – ať už jazykoví, nebo jiní. Pojem agent znamená, že systém vlastně operuje sám – nejenže odpovídá na konkrétní otázku, ale je schopen hodiny nebo i dny nezávisle pracovat na nějakém úkolu nebo směrem k většímu cíli.

 

V ten moment záleží, zda budeme velmi pedantičtí a budeme se dívat čistě na jádro toho systému – což bude nějaký jazykový či optimalizovaný model nebo neuronová síť s jednotlivými vstupy a výstupy –, anebo zda budeme trochu flexibilnější v naší definici.

 

A přijmeme, že okolí tohoto jádra, které mu pomáhá exekuovat příkazy na počítači, ukládat data v nějaké databázi nebo validovat, zda je určitý cíl dosažen, vnímáme jako součást toho systému.

 

Přirovnání k lidem a naší inteligenci jsou někdy zavádějící, ale je to asi trochu podobné jako zeptat se, zda je náš mozek bez našeho těla jako určitého vehiklu, skrz který operuje, vlastně schopen reálně dosahovat cílů, které si vytyčí.

 

V tu chvíli záleží, jestli jsme ochotni říct, že celý člověk je inteligentní, a nejen ten mozek, který vysílá signály. U dnešních agentů, kteří jsou dnes vlastně komplexními systémy zaobalujícími ta jádra (konkrétně jsou to takzvané „post-trained“, optimalizované modely), jde o to, zda jsme jim ochotni říkat AI. Já ano.

 

Tyto systémy jsou schopny udržovat dlouhodobější cíle, pracovat nezávisle na nás i třeba týden, dva, nebo i měsíc bez zastavení. Definice toho, čemu říkáme AI, se nám všem v oboru mění pod rukama.

 

Myslím si, že jednou z odlišností našeho oboru od jiných je, že stavět nebo vyvíjet velmi schopné AI systémy vyžaduje nejenom hluboké chápání počítačového kódu a práci s ním a s matematikou toho jádra, ale vlastně i cit pro inženýrství okolo toho – tedy konvenční systémové uvažování.

 

Takže k té tvojí otázce, za mě bych si nebyl nutně jistý tím, že tyto systémy nejsou schopny v nějaké podobě už dnes mít dlouhodobější cíle.

 

Dlouhodobější cíle jsou ale možná pořád trochu něco jiného než vědomí…

 

Vědomí, to naprosto. S vědomím si rozhodně netroufám polemizovat – netvrdím, že dnes ty systémy vědomí mají. Ani si nemyslím, že bude v budoucnosti nutné mít vědomí pro dosažení inteligence.

 

Pokud ji definujeme jako nějakou schopnost řešit problémy na velmi komplexní úrovni, po dlouhou dobu a nezávisle, vědomí vlastně není předpoklad.

 

Naše schopnost testování vědomí je omezená. Že máš vědomí, dedukuji z toho, že mám nějakou svou lidskou zkušenost a věřím v to, že ta tvoje – byť je odlišná – bude v nějakých ohledech velmi podobná.

 

Vlastně ti trochu musím věřit. Dnes nemáme objektivní způsob, jak to otestovat. K tvé otázce – AI systémy dnes za mě vědomí nemají a nemyslím si, že ho v té podobě, jak je dnes trénujeme, mít budou. Myslím, že to není nutnost pro komplexní inteligenci.

 

 

‚Black box‘

 

S neuronovými sítěmi, na nichž jsou postaveny velké jazykové modely, souvisí takzvané váhy. Jak bys vysvětlil, co neuronové sítě vlastně jsou?

 

Tím hlavním konceptem je optimalizace. Dnes jsou systémy schopny fungovat tak dobře, jak fungují, díky tomu, že jsme schopni precizně matematicky definovat nějakou úlohu nebo hodnotu, kterou modely optimalizují.

 

To může být v kontextu jazyka jeho koherence. V kontextu kódování je to úspěšnost kódu, který ve finále bude spuštěn.

 

Jakmile má model schopnost dosáhnout nějaké takové hodnoty, je neuronová síť úplně skvělým a flexibilním vehiklem. Vlastně vůbec nedefinuje, jak se má problém vyřešit, ale umožňuje AI samotné najít si cestu skrz optimalizaci a hledání optimálních konfigurací. Neuronová síť je vlastně sada matic.

 

Matice je takový „fancy“ matematický pojem pro tabulku – sadu čísel v řádcích a sloupcích – a ty se prostě násobí. Velmi prakticky jsou dnes neuronové sítě jenom sadami násobení matic. Něco se v nich násobí, něco se sčítá a ve finále máme nějaký výsledek.

 

Pokud se díváme jen na určitou část neuronové sítě, moc z toho nevyvodíme, ale když jsme schopni vstupním a výstupním datům této sítě my lidé dát nějakou hodnotu či smysl – mohou to být obrázky či text, to všechno jsme schopni precizně a velmi efektivně reprezentovat pomocí čísel a matic –, pak jsou ten model či neuronová síť schopny prostřednictvím matic a skrze optimalizaci finální úlohy naučit se optimální sadu operací, kterou potom aplikují, aby problém vyřešily.

 

Takže pokud to shrnu, neuronové sítě jsou dnes nějaké matematické modely, které nám umožňují operovat s daty. Způsoby řešení problémů vlastně vůbec nedefinujeme.

 

Prostě říkáme: tady jsou nějaká data, tady jsou nějaké ukázky, které dáme té neuronové síti jako správné příklady toho, jak daný úkol plnit. Síť se dokáže učit pomocí správných a špatných ukázek.

 

Neříkáme, jak to vyřešit, pouze co jsou příklady dobré praxe, a pak to nadefinuje ta konfigurace sama. Je to za mě hrozně elegantní a skvělý způsob.

 

Co ale zmíním, je to, že tím, že to jsou jen „matice“ a jejich jednotlivé vrstvy, jednotlivé části nemají nějakou předem definovanou hodnotu, úlohu nebo nějaký smysl.

 

Dnes jsme schopni říct: OK, ten model je schopný tu úlohu vyřešit velmi dobře. Jsme schopni měřit vstupy a výstupy a říct, jestli je výsledek správně, nebo ne, ale interpretovat či chápat, jak k tomu ten model došel, je v rámci výzkumu velmi otevřený problém.

 

Je tohle to, čemu se říká „black box“?

 

Přesně to je ta myšlenka – že je to „black box“. Vidíme vstupy a výstupy, ale nevidíme, co je uvnitř. V úloze interpretace a pochopení, co je uvnitř black boxu, už máme poměrně důležité poznatky, ale jsou pořád velmi minimální. Jsme schopni říct: OK, v této části se děje matematika, tady třeba překlad nebo gramatika.

 

Díváme se na aktivace, vlastně se to trochu podobá mozku. Nechci dělat nějaká dalekosáhlá přirovnání, ale když studujeme mozek, díváme se na to, jaké jeho části se aktivují, když dělá určité typy úkolů. To samé děláme s těmito modely. Víme, cirka kde se dějí jaké operace nebo různé typy úloh, ale je to pořád velmi minimální.

 

Dokázal bys tohle vysvětlit na příkladu fotek psů a koček? Jak se taková neuronová síť naučí a posléze pozná, jestli vidí psa, nebo kočku?

 

Dobrá otázka. Záleží, jaký typ sítě to bude, ale pokud chceme mít nějakou velmi jednoduchou síť čistě na rozlišování psů a koček, tak na vstupu budeme mít obrázek a na výstupu buď „pes“, nebo „kočka“ – podle toho, co je na obrázku.

 

Ta síť se postupně učí ze vstupních dat, což budou ve finále vlastně pixely, protože dnešní digitální obrázek je sada pixelů.

 

To, jak se soubor té fotky převede do té matice, do té tabulky, je dost přímočaré. Každý pixel, každá část toho obrázku, je popsaná třemi čísly: červená, zelená a modrá. Tato tři čísla dohromady vytvářejí pixel.

 

Pixel je v sobě má jako takový vstupní kanál. Síť se pak postupně učí rozlišovat, kde jsou hranice objektů a podobné banální, základní vlastnosti toho obrázku. Třeba že vzadu, v pozadí, je obloha, nebo že v popředí jsou nějaké důležité rysy.

 

Nebo že tam jsou nějaké důležité geometrické vlastnosti a tak podobně. Takže nějakou první podúlohou, respektive prvním předpokladem pro úspěšné rozpoznání, budou asi nějaké velmi základní vlastnosti toho vizuálního prostoru.

 

Čím hlouběji jdeme do té sítě, tím víc se ta síť zaměřuje spíš na globálnější, sémantické vlastnosti – třeba jaké objekty jsou na obrázku. Ve finále to pro náš příklad budou primárně nějaké odlišující rysy nebo vlastnosti, které kočky mají a psi nemají a naopak. Ty pomohou modelu naučit se, co je odlišuje.

 

Co je ale potřeba říct: byť ten model bude schopný rozlišovat fotky, které jsme mu nadefinovali, tedy které jsme mu ukázali v těch příkladech – tomu se říká trénovací data –, fundamentálně neví, co je pes a co je kočka.

 

Pro model je to soustava pixelů a čísel. Model používá „váhy“, to je klíčové slovo, které definuje, co se ten model při trénování naučil.

 

Tyto váhy nemají žádný jiný smysl než zachytit typy vlastností a podobností, které obrázky mají nebo nemají. Takže ve finále se ten model něco naučí, ale schopnost aplikovat to třeba na slova tam nebude. To by vyžadovalo nějaké další dotrénování nebo další augmentaci toho modelu.

 

 

Lidské hodnoty

 

Gary Marcus mi v rozhovoru řekl, že by mladým vědcům poradil soustředit se na takzvaný alignment, tedy hledání řešení, jak do umělé inteligence zabudovat lidské hodnoty, či alespoň jednání, která jsou s nimi v souladu. Souhlasíš s tím? Pokud mají ti, kdo si myslí, že AI ve skutečnosti nevnímá svět tak jako my lidé, pravdu, je vůbec možné, aby taková technologie s námi sdílela hodnoty? Je tohle něco, co vnímáš ty a tvoje okolí na Stanfordu jako téma?

 

Alignment je dobrá úloha, ale určitě to není jediná zajímavá úloha. Myslím, že je naopak takových úloh velká řada a skoro nikdo se jim nevěnuje. Začnu u alignmentu.

 

Alignment jako obor nebo disciplína v rámci AI se už řeší delší dobu a byl skloňovaný ještě předtím, než jsme tady měli ty dnes velmi mocné modely typu ChatGPT i ty, co následovaly po něm.

 

Úloha alignmentu jako taková je podle mě relevantní. Myslím, že to, že ty modely nemají stejnou zkušenost jako my lidé, neznamená, že do nich nemůžeme zabudovat nějaké preference nebo tendence, které my jakožto lidé chceme, aby ty modely měly. Můžeme do nich zabudovat nejen hodnoty, které aktuálně máme, ale můžeme být i trochu aspirační.

 

Není důvod si neříct: jako společnost – ať už česká, americká, nebo jakákoli jiná –, ať je naše realita jakákoli, můžeme mít nějaké aspirační hodnoty a nějaké principy, kterými bychom se chtěli řídit.

 

To můžeme té AI dát jako nějaký kompas. V některých ohledech může být i trochu lepší než my.

 

Tím nechci říct, že nutně bude, naopak je to o tom, kdo bude mít kontrolu nad tím alignmentem nebo na tou definicí priorit pro AI.

 

Dodám k tomu pár věcí. První je ta, že dnes v akademickém prostředí, ve výzkumu na univerzitách, ale i ve firmách, jako je OpenAI, Google nebo Anthropic, je alignment vnímán jako nějaká bezpečnostní disciplína.

 

Alignment dneska znamená primárně se vyhnout negativním typům chování. Tím je třeba vytváření dětského porna nebo hate speech. Typy úkolů, které by ty modely samy od sebe plnily, ale my nechceme, aby je dělaly.

 

Firmy si řeknou: to je špatné využívání našeho modelu, tohle nechceme. Ten model „alignují“, tedy přimějí, aby tyto typy úloh nedělal.

 

Kromě těch očividně negativních příkladů využití to může být třeba i subtilnější tendence preferovat jisté profese, etnicity či pohlaví a tak podobně. Tohle všechno jsou tendence toho modelu, které se lidé snaží nějak nadefinovat nebo korigovat.

 

Ale co chybí nebo co dnes výzkum ani praxe moc neřeší, je nejenom definovat si, co nechceme, a od toho jít dál, ale i to, co chceme. To jsou ty aspirační hodnoty. To se dneska moc neřeší, a to ani technicky, protože na to nemáme infrastrukturu.

 

Primárním důvodem je za mě asi to, že je to těžší než ten bezpečnostní alignment. Že je tvorba dětského porna, deepfaků nebo scamů negativní, se asi shodneme, ať jsme jakéhokoli politického přesvědčení, i když jsme z jiných kultur, zemí a tak podobně. Jsou to věci, které většina lidí napříč různými kontexty sdílí.

 

Ale pokud jde třeba o otázku: teď jsem ve velmi složité životní situaci, můj partner/ka mě třeba podvedl/a, co mám dělat? Mám se rozvést, jít zpátky k rodičům, co mám dělat?

 

Pokud jsi křesťan, máš na tyhle věci jistý typ odpovědi. Jsou zde ale i ateisté, lidé, co mají z nějakého důvodu jiné přesvědčení.

 

Typů odpovědí na podobné otázky je velká řada a je daleko těžší říct, co je ta správná odpověď. Skoro určitě není správná jedna jediná, bude jich mnoho – a schopnost toho modelu nějak komplexně pracovat s kontextem a pluralitou bude klíčová. To dnes ale vůbec nikdo neřeší nebo je to velmi opomíjené.

 

To jsou za mě zajímavá témata v rámci alignmentu a určitě si myslím, že je to super téma, které mladý vědec nebo vědkyně mohou řešit.

 

Těch témat je ale daleko víc. To, že dnes máme problémy s alignmentem, je určitě velká výzva, ale je spousta oborů, které byly AI zatím úplně nedotčené a kde je hodně potenciálu využít tuto technologii velmi produktivně, eticky, zodpovědně a zároveň efektivně.

 

Příkladem, kde už se to podařilo, může být medicína nebo třeba biologie – všechno od AlphaFold po hledání nových léků a vakcín se dnes dělá za pomoci AI. Je to rychlejší a skvělé.

 

Tenhle typ zefektivnění různých vědních disciplín – nejenom technických a vědeckých, ale třeba i humanitních – jinde podle mě čeká na objevení.

 

Jako mladý vědec, vědkyně nebo profesionál či aspirující student, který chce dělat něco nového, bych tolik neřešil, kde se v rámci AI uplatním, ale spíš co mě baví, co je můj hlavní cíl nebo směřování a jak s AI pracovat produktivně, zodpovědně – a nechal bych se tou AI akcelerovat. To je můj aktuální pohled na věc.

 

 

‚Hype vytváří pár firem‘

 

Zmínil jsi systém AlphaFold – mluvil jsi o něm i v rozhovoru s Danielem Stachem. Tahle technologie se často uvádí jako úspěšný příklad AI, čímž bezesporu je. Dokáže předpovědět 3D strukturu proteinů na základě jejich aminokyselinové sekvence. Už teď se tenhle systém používá k výzkumu nových léčiv. 

AlphaFold odborníci často zmiňují jako typický příklad alternativy k nespecializovaným AI algoritmům. Právě umělou inteligenci zaměřenou na konkrétní vědecké problémy podle nich skutečně potřebujeme – spíš než velké jazykové modely, do kterých se dnes investuje nejvíce. Je to ale tak jednoduché? V případě AlphaFold byla tréninková data velmi dobře přístupná, vědci zde použili databázi Protein Data Bank. Dá se podobný úspěch očekávat i při řešení jiných vědeckých problémů, nebo by to mohlo být složitější?

 

Jsou tu dva faktory, které to primárně ovlivňují. Data jsou určitě jedním z nich a jsou velmi důležitá. Zároveň je ale potřeba vypíchnout ten hype okolo AI a vlastně i v rámci AI, který dost definuje to, co jako vědci a profesionálové v rámci AI děláme.

 

Ten hype vytvořilo pár firem ze San Francisca a Bay Area – patří sem OpenAI, Anthropic, potažmo DeepMind.

 

To, že ti všichni staví velké jazykové modely, přimělo většinu celého oboru věnovat se stejnému typu AI a dost opomíjet jiné typy modelů – takové jako AlphaFold, který jsi zmínil, ale i další.

Kdyby se tito lidé, výzkumníci, firmy a startupy rozhodli řešit jiné problémy, myslím, že by přes nějaká úskalí s daty vlastně byli schopni dosáhnout velkého pokroku, který by byl možná i více unikátní než v tom velmi plném prostoru jazykových modelů.

 

Souhlasím s tím, že tady ten potenciál je, a myslím, že data jsou určitě důležitá a kritická. Vždy se ale dají nasbírat nová data.

 

Někde už v určité formě existují, dají se digitalizovat a tak podobně. Takže si myslím, že to není úplně ten hlavní problém – tím je spíš zaměření toho oboru. Příkladem může být Yann LeCun.

 

Donedávna to byl ředitel v divizi Mety – vlastně Facebooku pro AI. Donedávna sice vedl část divize, která se věnovala jazykovým modelům, jeho pozice je dnes nicméně taková, že daleko zajímavějším typem modelů jsou modely, kterým on říká světové modely (world models).

 

Tyto modely nepredikují pouze další slova či text, ale predikují akce ve světě nebo v nějakých prostředích, ať už virtuálních, nebo reálných. To je daleko více generalizovatelné na jiné problémy a mimochodem to je také těžší. LeCun odešel z Mety a má vlastní startup, který se zabývá tímto problémem.

 

Podobné odlišné trajektorie budou podle mě do budoucna daleko populárnější, protože si lidé uvědomí, že byť jsou velké jazykové modely velmi schopné, tím, že se jim věnuje spousta firem, dělat s nimi něco unikátního, co ještě neexistuje na velké škále, je dnes hrozně těžké.

 

Zmínil jsi světové modely. I Gary Marcus je přesvědčen o tom, že budoucnost vězí ve vbudování těchto modelů světa do AI. Volá po neurosymbolické umělé inteligenci, tedy takové, která kromě neuronových sítí používá i klasické logické struktury, které známe z programování. Souhlasíš s tím, že umělá inteligence, která je více neurosymbolická a zapojuje ty světové modely, by mohla být pravdomluvnější? Je to i krok k tomu zmíněnému alignmentu, pokud si řekneme, že pravda a pravdomluvnost jsou základními lidskými hodnotami?

 

To je dobrá otázka. Předtím, než ji zodpovím napřímo, bych podotkl, že byť sám v AI vidím spoustu problémů a rizik, které bych já sám chtěl zlepšit, jsou tu lidé, kteří si postavili image na tom, že jsou antagonističtí vůči schopnostem AI – ať se děje, co se děje. Je potom těžké jejich argumentům věřit.

 

Teď k tomu samotnému argumentu. Světové modely jako takové budou určitě legitimní a nápomocné, ale myslím, že těch cest bude více a neurosymbolika to nutně sama o sobě nespasí.

 

Zároveň bych podotkl, že to byl způsob, kterým se před čistými neuronovými sítěmi v 80. a 90. letech hodně lidí v rámci AI zabývalo. Tehdy to moc nefungovalo.

 

 

Rizika AI

 

Rád bych teď konverzaci namířil k rizikům AI. V dubnu řada médií, včetně týdeníku The Economist, varovala před riziky nového modelu od firmy Anthropic s názvem Mythos. Proč by tento model mohl být rizikový?

 

Ten narativ byl tehdy takový, že Mythos je určen pro detekci a finálně i řešení rizik nebo bezpečnostních děr v softwaru.

 

Ten „use case“ je takový, že firma nebo uživatel vlastně použijí Mythos k nalezení nějaké slepé uličky či díry v softwaru – třeba v přístupech do databází nebo do zdrojového kódu, tedy všechno možné, co dneska dělají hackeři.

 

Mythos je takový AI hacker, který má ale sloužit pro dobro věci. Má pomáhat problémy detekovat předtím, než to odhalí ti „bad guys“ – ti hackeři. Ten narativ se nicméně dost „zhypoval“. Byl maximalistický – ve stylu, že veškerý software bude naprosto zničen AI detektory a AI hackery. Zčásti se to určitě děje.

 

Hackeři jsou díky AI určitě rychlejší – a i ty ochrany vytvořené pomocí AI jsou rychlejší, ale myslím, že to není něco, co by uměl jen Mythos.

 

Český startup AISLE, který založili Ondřej Vlček a Stanislav Fort, dělá mimochodem de facto stejnou věc. Dělal to asi o rok dříve než Mythos. Má dokonce lepší výsledky v benchmarcích. Zatím jsem nezaznamenal, že by někdo psal, že český startup AISLE zničí svět pomocí AI hackera.

 

Tím chci říct, že myšlenka, že AI bude používána k hackování i naopak pro zabezpečování softwaru, je určitě velmi reálná a děje se to; ale to, že bude Mythos jediný model či „asset“ třeba na úrovni jaderné bomby, není podle mě úplně realistické.

 

Naopak bych se díval právě třeba na AISLE v Česku, který dělá super práci a je schopen velmi pragmatického a schopného odhalování chyb a potenciálních rizik. Takže to riziko tady je, ale ten hype to podle mě moc umocnil.

 

V úvodu jsem zmiňoval deepfake Andersona Coopera, který jste vytvořili. Nebezpečný deepfake se objevil například v období voleb na Slovensku v roce 2023, kdy se jeho šíření podařilo Slovensku zpomalit. Virální potenciál ale rozhodně měl, což bylo jasné z počátečních interakcí s ním. Zabýval ses i deepfaky ukrajinského prezidenta Volodymyra Zelenského. Jaké další příklady deepfaků už dnes napáchaly velkou škodu? A můžeme očekávat, že to bude ještě horší?

 

Naprosto. Deepfaky se už velmi běžně používají pro typy útoků na politiky, významné jednotlivce, celebrity a tak podobně. Děje se to ve velkém a takových případů bude v budoucnu přibývat v Česku i ve světě – aktuálně je to asi nejvíce vidět ve Spojených státech.

 

První bod, který bych tady zmínil, je to, že naše obavy nebo původní impulz pro studium těchto deepfaků a zároveň pro tvorbu ochrany vůči nim – tedy detektorů či třeba kryptografického zabezpečení obsahu – byly motivovány těmito velmi prominentními, viditelnými, veřejnými deepfaky, které tu jsou a které nějak řešíme.

 

Co nás před řekněme pěti šesti lety, kdy jsme to začínali řešit, trochu překvapilo, bylo, že deepfaky, které se nejvíc šířily, nebyly paradoxně tyto prominentní deepfaky celebrit, politiků a tak podobně, ale spíše uzavřené a méně viditelné deepfaky, primárně třeba v audiu nebo v telefonních hovorech.

Minimálně v Americe se už dnes daří podvodníkům získávat miliony dolarů skrze telefonické podvrhy. Zavolá falešné číslo, falešný hlas a nabízí třeba půjčku nebo nějakou nabídku. To je velmi populární.

 

Může to být naopak i velmi personalizovaný útok, kdy je ten fake hlas schopen napodobit vašeho příbuzného, partnera, partnerku nebo třeba rodiče a velmi emocionálně přimět konkrétního recipienta, aby někam poslal peníze, aby si něco koupil nebo aby něco někam převedl. Takhle ti scammeři dostávají z lidí spoustu peněz.

 

Tyto deepfaky jsou pro podvodníky velmi nápomocné ze dvou důvodů. Jednak takový deepfake podvodníky nestojí skoro nic. Tvorba deepfaků je dneska hrozně jednoduchá a levná a je možné ji naškálovat.

 

Místo manuální práce podvodníka, který by sám za hodinu zavolal třeba deseti lidem, tenhle fake nespí, nepotřebuje pauzy, může pracovat permanentně a zavolat všem, na které má podvodník číslo, rychlost a škála je úplně jiná.

 

Druhým důvodem je právě to, že je možné faky personalizovat a napodobit příbuzné a lidi, které znáte.

 

Když zavolá někdo blízký, emoční tlak je úplně jiný, než když jde o úplně náhodný hlas. To jsou trendy, které vidíme tady v Americe a které se už dostávají i do Česka i jiných zemí. To je jeden aspekt, který nás překvapil. Už vůči tomu máme nějaké obrany.

 

Druhá věc, kterou zmíním, je to, že nás v průběhu výzkumu překvapilo, jak moc se faky v audiu, videu, ale třeba i v obrázcích budou šířit v konvenčních i velmi seriózních médiích nebo i velmi seriózními lidmi. V rámci americké politiky se hodně obrázků nebo videí šíří ze všech stran.

 

Normalizace tohoto obsahu potom činí úkol rozpoznávání podvrhů daleko těžším. Pokud jsme zvyklí na to, že politici běžně zveřejňují faky svých oponentů a má to být satira, potom jsou ty kritické momenty pro koncové uživatele daleko těžší na rozpoznání – zvlášť v momentě, kdy schopnost lidí rozpoznávat ten obsah bez tréninku a bez detektorů je dnes už skoro nulová.

 

 

Okem nerozpoznatelná

 

V Hyde Parku Civilizace jsi mluvil třeba o tom, že spodní rty, gestikulace nebo svaly v obličeji jsou znaky, které nám pomáhají poznat, jestli je nějaké video deepfake, nebo není. Chápu to tedy správně, že tak už to není, že už jsou deepfaky tak věrné, že je pouhým okem často poznat nedokážeme? A nastane moment – nebo už nastal –, kdy to nepozná už ani software?

 

Je naprosto jasné, že ty nejlepší generátory videí, audia i obrázků se už dostaly do momentu, kdy velká část obsahu, který tvoří, je lidským okem velmi těžko nebo skoro nerozpoznatelná.

 

Je to náročné i pro nás, kteří se tomu věnují na denní bázi a dívají se na spoustu podobného obsahu. Je potřeba říct, že tu jsou stále systémy, které nejsou tak dobré a jsou populární, protože jsou levnější nebo dostupnější.

 

Nejsou tak kvalitní a stále u nich nějaké artefakty nebo nepřesnosti existují. Tam je možné znaky deepfaků pořád hledat, ale už to není tak silný a spolehlivý signál.

 

Rozhodně bych nechtěl říct, že pokud ve videu nebo obrázku nenaleznete tyto znaky, je reálné. To už neplatí.

 

Teď k těm detektorům. Je za mě velmi pravděpodobné, že nastane den, kdy tyto detektory ne že nebudou funkční, ale už nebudou tím správným řešením. Už nebudou dostatečně přesné. Ten den ještě nenastal.

 

Dnes tam jsou ještě velmi jasné, zřetelné signály, které jsou vidět v nižších frekvencích, které my lidé nevidíme, na rozdíl od systémů, které využívají znalost toho, jak tyto generátory vnitřně fungují.

Takové detektory tu jsou a fungují. Myslím, že je to ale dočasné řešení třeba na dalších pět šest let.

Byl bych rád, kdybychom v tu chvíli už měli daleko silnější systémy a standardy na šifrovanou či kryptografickou verifikaci obsahu a naší digitální identity.

 

Za mě jsou detektory dobrým nástrojem pro aktuální moment a jsou určitě potřeba, nicméně dlouhodobě je taky potřeba přemýšlet nad tím, jak budeme chránit identitu více šifrovaně, napříč platformami, kontexty, regiony, jazyky a tak podobně.

 

Takže ano, dnes to funguje, ale je potřeba se dívat i dále do budoucna a hledat další řešení, kterými si to potom pomůžeme plně zabezpečit.

 

 

Transakce na internetu

 

Pojďme ještě blíže k tomu, čím se přímo zabýváš ty. Jsi teď, pokud správně počítám, ve třeťáku na Stanfordu. Už dnes máš ale na Google Scholar 39 publikací, což je „crazy“, když použiju tenhle anglicismus. V jednom z nedávných paperů jste zjistili, že zhruba 35 procent textů na internetu bylo alespoň částečně vytvořeno pomocí služby ChatGPT. V jiném článku porovnáváte generativní umělou inteligenci s takzvanými difuzními modely. Píšete, že kvalita uměle generovaných obličejů se zvyšuje. Jinde analyzujete něco, čemu říkáte konceptuální slepá místa v modelech na generování obrázků. Jsou tohle témata, kterými se zrovna teď zabýváš? Kdybys měl jedno takové téma vybrat a vysvětlit, proč je důležité se jim zabývat, co by to bylo?

Mě obecně zajímají způsoby, kterými AI nějak mediuje nebo nějak upravuje a ovlivňuje transakce a interakce na internetu. Těmi transakcemi nemyslím jenom finanční transakce, ale myslím jakékoli informační, komunikační, zpravodajské interakce.

 

Jakýkoli e-mail, zpráva nebo článek, které čteme nebo posíláme, dnes už nějakým způsobem interaguje s AI, ať už tak, že je AI sumarizuje, čte, nebo přímo generuje.

 

Takové interakce jsou a budou čím dál více všudypřítomné. Změna, kterou AI systémy přináší, je podle mě nutná a důležitá – a zatím není pochopená.

 

Zajímá mě, jak tyto interakce fungují a ovlivňují naši schopnost chápat svět i ostatní lidi a jak můžeme v tomto světě, který je velmi dotčen a spolugenerován AI, vést produktivní demokratický dialog a diskurz i řídit společnost.

 

Typy otázek, které si klademe, jsou různé, ale ve finále je spojuje snaha o pochopení toho, co našemu mediálnímu, informačnímu a komunikačnímu světu AI dělá a jak v něm zároveň můžeme fungovat produktivně, nezávisle a demokraticky.

 

To jsou tři klíčová slova, která vyvstávají. Baví mě chápání tohoto světa a zároveň tvorba nástrojů a metod pro nezávislou schopnost se v něm orientovat a dále komunikovat s důvěrou v ostatní lidi a ve společnost. To mě zajímá.

 

 

O jaké metody jde? Jak by se mělo Česko změnit, aby bylo dlouhodobě atraktivní pro Matyho Boháčka a podobně talentované mladé vědce? A proč je věda důkazem, že sounáležitost lidí z různých kultur i odlišných politických přesvědčení je možná?

 

Poslechněte si celý díl podcastu Bedny v audiu. 

 

____________________

 

Kdo je Maty Boháček?

Maty Boháček je talentovaný vědec a student. Na Stanfordu se zabývá umělou inteligencí. Už ve čtrnácti napsal vědcům ze Západočeské univerzity v Plzni a vyvinul s nimi model, který tlumočí znakovou řeč do vět.

Před několika lety spolu s renomovaným vědcem Hanym Faridem vytvořili deepfake slavného moderátora Andersona Coopera. Že šlo o fake, nepoznali ani jeho blízcí spolupracovníci. Deepfakem CNN uvedla pořad The Whole Story, aby upozornila na rizika umělé inteligence. Mimo mnoha médií Matyho práce zaujala i v OSN.