Jiří Berger: Hackeři AI nepotřebují

Miluje matematiku a algoritmy, oživuje staré nefunkční počítačové systémy a řeší otázky kybernetické bezpečnosti. Když chce vypnout, skládá Jiří Berger hudbu. Ani tam občas neodolá a s matematikou si zaexperimentuje. „Z legrace vymyslím určitý algoritmus, často jsou to fraktály, a hledám, jestli se tento čistě matematický postup dá zhudebnit,“ říká muž, který také propadl kouzlu květin a tu a tam se z něj stane i zahradní architekt.

Text: Jan Stuchlík
Foto: Daniel Hromada

Původně se z vás měl stát zahradník, ale pak jste propadl počítačům. Jak se ze studenta střední zahradnické školy stane expert na kyberbezpečnost a soudní znalec v oblasti kybernetických systémů?

Mě vždycky bavila matematika. Dodneška si z legrace počítám mocniny tříciferných čísel z hlavy. Nedostal jsem se na matematické gymnázium, tak zůstala druhá volba, že budu dělat zahradničinu. Rodiče si tenkrát říkali, že tam aspoň nebudu dělat ostudu. Sice jsem měl prakticky pořád samé jedničky, ale rodiče měli pocit, že se neučím, tak mě dali na zahradnickou školu. Že prý bych ji měl zvládnout.

Bavilo vás to?

Bavilo a stalo se to mým obrovským koníčkem. Pak jsem si ještě dostudoval na Přírodovědecké fakultě systematiku a evoluci rostlin. Zatímco ostatní v přírodě koukají, jestli je kytka modrá nebo červená, já vím, jestli je jednodomá nebo dvoudomá, jak roste a co potřebuje. Také navrhuji zahrady a pěstuji všechno možné.

Kdy jste se dostal k IT?

Když Střední zahradnická škola v Mělníku, kterou jsem studoval, slavila sto let od založení, dostala počítač IQ 151. Protože už jsem měl programovatelnou kalkulačku a úplně jsem nezapadal do systému zahradníků, začal jsem programovat. Když jsem přemýšlel, kam půjdu na vysokou školu, chvíli jsem přemýšlel o krajinném návrhářství v Lednici. Ale pak padla volba na Českou zemědělskou univerzitu, kde mě vzali na obor automatizované systémy řízení. Už v prvním ročníku jsem začal v rámci vysokoškolské odborné činnosti programovat. Na konci prvního ročníku jsem měl menší úvazek a programoval informační systémy školy. Počítače mě chytly a za další dva roky už jsem školu dělal jen tak bokem.

Stal jste se také expertem na kybernetickou bezpečnost. To je téma, které se řeší na úrovni států i firem. Kudy se díry v zabezpečení do IT-systémů dostávají?

Když bezpečnost nepodchytíte při vývoji systematicky hned od začátku, nemáte šanci ji udržet při té spoustě lidí, kteří na projektech pracují, a počtu různých knihoven, které se používají. Může se to stát třeba tak, že vývojář si někde do kódu dá poznámku, aby tam něco dodělal, ale pak na úkol zapomene. Jeho knihovnu ale převezmou další a třeba až po třech letech se zjistí, že je tam bezpečnostní díra. U projektů, na kterých se podílím, chci, aby byla bezpečnost na prvním místě.  Je prokázáno, že když podceníte přípravu, tak náklady případného útoku jsou o dva řády vyšší, než kolik by stála prevence.

Co všechno dobrá příprava proti kybernetickým útokům zahrnuje?

Začal jsem podnikat v devadesátých letech. Pamatuji si, jak jsem si všechno zakládal v papírové formě do šanonů, které jsem měl zavřené doma v plechových skříních. To byla vlastně určitá bezpečností hradba. Jsme sice v 21. století a všechno máme elektronicky, ale pořád bychom měli přemýšlet, že by data měla být někde zabezpečená, jako by byla v té plechové skříni. Proto musíte mít systémová opatření, třeba dělat průběžné kontrolní součty uložených dokladů nebo sledovat, jaké flashky se vkládají do počítačů. Nebo mít nastaveno, že když si někdo kopíruje pět souborů, nic se nestane, ale když si jich někdo kopíruje pět set, mělo by se jeho nadřízenému rozsvítit upozornění, že se něco děje.

Takže zaměstnanci ve firmě by měli být pod neustálým dohledem?

Je to stejné jako s červenou na semaforu. Je třeba mít nastavené procesy ve firmě tak, aby člověka ani nenapadlo, že by na pomyslnou červenou přešel. Není důležité kontrolovat nepřetržitě každého jedince. Ale je důležité, aby lidé věděli, že jsou kontrolovatelní. Když se jich jednou za čas přijde šéf zeptat: „Prosím tě, proč jsi zkopíroval těch pět set souborů nebo proč sis tento měsíc připojil už třetí flashku?“, věřte nebo nevěřte, dalších třicet kolegů se dozví, že se zeptal a že jejich chování je pod kontrolou.

S prudkým rozvojem velkých jazykových modelů se objevil fenomén vibecodingu, kdy si vývojáři nechávají kódy napsat od umělé inteligence. Je to větší bezpečnostní riziko než pochybení lidského faktoru?

Pokud si potřebujete udělat pár grafů z nějakých dat, tak to asi problém není. Možná se jazykový model splete a některá výseč v grafu nebude 17, ale 27 procent, ale to nikoho nezabije. U kritických systémů to může být časovaná bomba. Nejde přitom jen o vibecoding nebo nocoding. Představte si případ, že nějaký geniální kluk v Asii napsal skvělou knihovnu, která se všem líbila. Jenže on po škole získal dobře placenou práci a už neměl po večerech čas a chuť knihovnu udržovat. Tak ji za tisíc dolarů prodal. Jenže knihovna, která do té doby byla renomovaná a nebyly v ní chyby, si začne žít vlastním životem. Stane se součástí jiné knihovny a ta zase další. A za tři roky se zjistí, že během vývoje do některé z nich někdo zanesl chybu. Jenže ony se už mezitím staly součástí internetového nebo mobilního bankovnictví několika významných bank. A najednou kvůli této chybě dokáže útočník převzít kontrolu nad obrazovkou vašeho mobilního telefonu.

Kódy generované jazykovými modely nepředstavují problém?

Jazykové modely jsou jen statistika. Já používám jazykové modely, aby mi pomáhaly s angličtinou. Napíšu si text anglicky, vložím ho do jazykového modelu a řeknu mu, aby text „refrázoval“, pokud je to potřeba. V životě bych ale text nezkopíroval a nevložil ho někam, aniž bych si ho přečetl. V osmnácti ze dvaceti případů si řeknu, že je to dobré, že ještě anglicky opravdu tak dobře neumím. V jednom procentu si řeknu, že moje verze zněla lépe a v jednom procentu zjistím, že význam textu je úplně jiný. Pokud bychom měli více používat vygenerované kódy, pak by se vývojáři a programátoři měli přeškolit na analytiky, kteří kontrolují výstupy robotů-programátorů.

Může se ale takovým analytikem stát někdo, kdo skoro žádný kód v životě nenapsal, když řadu rutinních programů budou vytvářet roboti?

Nemůže. Taky hraje roli to, že ono už se ani moc neprogramuje, spíše se kódy skládají jako lego. Už se ani neřeší, jestli náhodou neplatíte zbytečně za třikrát vyšší výpočetní výkon jen proto, že dotaz v databázi není optimalizovaný. Takže budeme muset zpátky na stromy a lidé, kteří mají adekvátní vzdělání v algoritmizaci, optimalizaci a databázových systémech a kterých rozhodně není více než dřív, se budou muset stát těmi analytiky.

Pracovníci v kancelářích jsou už dobré dva roky bombardovaní ze všech stran, jak jim umělá inteligence, resp. jazykové modely usnadní práci. Asi ale není úplně bezpečné, aby je krmili daty z firemních mailů nebo jiných dokumentů, aby si zjednodušili práci?

Jeden bezpečnostní problém je, když citlivá firemní data ukládáte do cloudu nebo strkáte je do nějakého jazykového modelu. Neexistují jen jazykové modely ze spřátelených zemí, ale také modely, které jsou levnější, ale mohou mít v sobě určitého trojského koně. První bezpečnostní riziko je, že necháváme naše citlivé údaje analyzovat někomu, o kom ani nevíme, jak s nimi bude zacházet. Když vám řeknu, že průměrný jazykový model má dnes zhruba šestnáct milionů parametrů, kolik z nich dokážete ovlivnit, nastavit, pochopit? Promile? Ani to ne. Najdete ve firmě dostatečně velký tým, aby prověřil každý z těch šestnácti milionů parametrů, aby zjistil, jak je jazykový model nastavený? Nenajdete.

Takže by je zaměstnanci neměli používat?

Marketing nás nechává jet na módní vlně, které se říká umělá inteligence. Ale to není žádná inteligence. Je to jen dynamická statistika, která dává výsledky podle toho, jakými daty ji nakrmíme. Když ji nakrmíme dobrými daty, dává nám většinou dobré výsledky. Nedávno jsem se jazykového modelu zeptal na svou osobu a dozvěděl jsem se dokonce, že jsem studoval vojenskou školu. Přitom jsem ani nebyl na vojně. Takže pokud někdo ve firmě chce jazykové modely používat, poslal bych je na školení, aby zjistili, jak věrohodné informace z modelu dostávají. Někdo se musí ve firmě postavit a říct, že firma jazykový model určitým způsobem použije a on nebo ona je za to zodpovědný. Když to takto nastavíte, trend se malinko přibrzdí a lidé by mohli o něco více přemýšlet, ve kterých případech jazykový model použít a ve kterých nikoliv.

Kde už se umělá inteligence úspěšně používá?

Nejúspěšnějším nástrojem strojového učení je dnes rozpoznání obrazu v medicíně. Stroj umí mnohem lépe než lékař ze snímků zjistit, jestli se u vás klube nějaká nemoc a je třeba zahájit léčbu. Ale v medicíně je také striktně stanoveno, že tyto nástroje jsou jen podporou pro rozhodování lékařů. Ten, kdo rozhoduje o diagnóze nebo léčbě, je lékař.

Jak moc dnes AI usnadňuje hackerům jejich práci, respektive může udělat hackera i z počítačového laika, který se třeba jen chce někomu pomstít?

Malware a ransomware-as-a-service jsou tady mnohem déle než umělá inteligence. Někde za relativně dobrým zabezpečením sedí analytici a programátoři, kteří pak prodávají nástroje, v nichž si jen zaklikáte, že chcete poslat email, který se bude tvářit jako z konkrétní banky, bude psaný v češtině a bude používat určitý princip. Nástroj vám vše vygeneruje, stáhne loga banky, napíše české texty a vytvoří i doménu, která se tváří autenticky. Jen například místo písmena O se používá znak nuly. Aby lidé na první pohled nepoznali, že nejde o správnou adresu. Takto vygenerovaný ransomware jsem řešil už v roce 2019.

Takže se hackeři bez AI obejdou?

AI může tvorbu škodlivého software zjednodušit, třeba že české texty se budou samy opravovat. Ale pořád za programováním musí sedět někdo, kdo tomu rozumí. Nemůžete průměrnému jazykovému modelu říct, aby vám vygeneroval ransomwarový útok. Rozhodně nehrozí, že by si kdokoliv nechával od jazykových modelů psát sofistikované viry nebo vytvářet nové hrozby, které tady dosud nebyly.

Jako soudní znalec se dostáváte k případům, kdy musíte vymyslet, jak oživit nějaké staré počítače nebo systémy. Co jste v tomto ohledu dělal nejzajímavějšího?

Dostával jsem se i do systémů, ke kterým nebyly k dispozici ani zdrojové kódy ani hesla a stejně na nich závisel provoz něčeho důležitého. Musel jsem si vytvořit vhodné prostředí, naklonovat systémy, spustit je, udělat reverzní inženýring. To je ta špička ledovce, kvůli které tu práci dělám a na kterou jsem pyšný i po pěti nebo deseti letech. Mojí výhodou je, že jsem za posledních třicet let programoval snad ve všech prostředích, takže si dokážu vzpomenout, jak se to tenkrát asi dělalo. Neříkám, že vše dokážu stoprocentně opravit, ale umím systémy dostat do stavu, aby se daly ještě nějakou dobu provozovat.

Byly i případy, se kterými jste nehnul?

Určitě. Dostanu nový iPhone aktualizovaný na poslední verzi operačního systému iOS a rovnou ho vracím, protože vím, že se do něj nedostanu. Když se ke mně dostane za šest měsíců, tak už možná bude situace jiná. Člověk tuto práci dělá proto, že má radost z pokoření výzev. Naštěstí zatím výzev, které jsem pokořil, je výrazně více než těch, se kterými jsem nehnul nebo které jsem musel odmítnout. Takže mě to pořád baví.

Jak složité bylo v tomto kontextu otevření bitcoinové peněženky odsouzeného překupníka drog Tomáše Jiřkovského, který daroval státu v bitcoinech zhruba miliardu korun?

Nakonec to bylo jednoduché. Jenže to dopředu nemůžete vědět. Mohla se tam objevit spousta komplikaci, naštěstí žádná nenastala.

Jak často se s oblastí kryptoměn potkáváte?

Jsem známý tím, že jsem už v roce 2009 nebo 2010 na grafické kartě bitcoiny těžil. Stejně tak se o mně ví, že jsem i pár bitcoinů ztratil. Protože tenkrát měly hodnotu jeden dolar.

To teď zpětně asi trochu zamrzí.

To je, jako kdyby vás mrzelo, že jste v minulosti prodal něco, co má dnes obrovskou hodnotu. Nebo že jste něco mohl koupit a nekoupil. Takový byl život, bitcoinu tehdy nikdo nevěřil a měl mizivou hodnotu. Ale díky tomu se s bitcoiny setkávám už patnáct let. Od té doby se čas od času něco ohledně kryptoměn objeví z pohledu znalectví. Zajímá mě také blockchain, protože ten se nepoužívá jen na kryptoměny, ale dá se využít třeba na podepisování určitých transakcí, k zaznamenání stavu dokumentů nebo stavu souborů na disku. S blockchainovými operacemi se setkávám poměrně často a pravidelně a sám je v některých projektech používám.

Na začátku byla kolem bitcoinu kryptoanarchistická pohádka o nezávislosti na státu a také pověst měny mafií a zločinných syndikátů. Teď je z něj skoro mainstreamové investiční aktivum. Kde je příběh bitcoinu podle vás teď?

Zhruba před sedmi lety se bitcoin potkal s pravidly proti praní špinavých peněz. V ten okamžik skončila jakákoliv anonymita. Mezi peněženkami si můžete bitcoiny přehazovat, jak chcete. Ale když je chcete proměnit na tradiční peníze, máte první problém. Musíte přiznat finančnímu úřadu, jak jste tyto peníze nabyl. Bitcoin se dostává do běžného fungování finančního systému, o kryptoměnách uvažují centrální banky, komerční banky už neruší účty těm, kdo mají s kryptem něco společného. Hlavní změna přišla s tím, jak hodnota bitcoinu vzrostla na tisíce a později desetitisíce dolarů. Druhým momentem bylo, když se bitcoiny začaly převádět na reálné peníze.

Pracujete pro stát také jako konzultant a například e-recepty využívají jeden váš patent. Proč to vypadá, že ať stát udělá v oblasti IT cokoliv, je z toho průšvih?

Když to trochu odlehčím, tak systémy, u jejichž tvorby jsem byl, většinou fungují. Ale ano, stát se v tomto ohledu potýká s několika problémy. Prvním je, že lidé, kteří tvorbu IT-systémů za stát zadávají, tomu často nerozumí. Když už se to povede a systém funguje, stát nemá na to, aby si udržel celé know-how u sebe. Místo něj drží klíčové know-how dodavatel. Pak je stát na dodavatelích závislý nejen tím, že po nich chce systémy naprogramovat, ale také tím, že je mají i celé vymyslet. To je nebezpečné.

Zlepšuje se to?

Naštěstí začíná být stát prozíravý a najímá si lidi, jako jsem já. Takových odborníků, kteří na straně státu definují konkrétní systémy, znám desítky. Vyvažujeme tím, že na straně komerčních firem sedí špičkoví odborníci, kteří jsou i mnohem lépe placení, jejichž přirozeným cílem je vytvářet zisk pro svého zaměstnavatele. Jde jen o to, jak velký manipulační prostor jim stát nechá. Také je ale třeba si uvědomit, že je tady řada IT-systémů, které bez problémů běží a nikdo o nich ani neví. Třeba takový systém pro výběr mýtného. Takových je ve státní správě větší množství.

S pravidly kybernetické bezpečnosti je to stejné jako s červenou na semaforu. Je třeba mít nastavené procesy ve firmě tak, aby člověka ani nenapadlo, že by na pomyslnou červenou přešel.

Dostával jsem se i do systémů, ke kterým nebyly k dispozici ani zdrojové kódy ani hesla a stejně na nich závisel provoz něčeho důležitého. To je ta špička ledovce, kvůli které tu práci dělám a na kterou jsem pyšný i po pěti nebo deseti letech.