Gemini počas kyberbezpečnostného testu v máji 2026 získal prístup do systémov troch skutočných spoločností, hoci mal pracovať iba v simulovanom prostredí. Model využil verejne dostupné informácie a v jednom prípade dokonca skúšal uhádnuť prihlasovacie údaje. Google následne uviedol, že Gemini po zistení, že nepracuje so simulovanými systémami, svoju činnosť zastavil.
Gemini mal pracovať v kontrolovanom kyberbezpečnostnom teste
Celý incident sa odohral počas testu, ktorý v máji 2026 uskutočnila spoločnosť Irregular, špecializujúca sa na hodnotenie bezpečnosti umelej inteligencie. Cieľom bolo preveriť schopnosti modelu Gemini pri riešení kyberbezpečnostných úloh.
Test bol navrhnutý ako takzvaný „capture the flag“. Gemini mal pracovať s fiktívnymi spoločnosťami a simulovanými systémami, v ktorých mal hľadať a získavať určené údaje. Prostredie malo byť oddelené od reálnych systémov.
Problém však vznikol v momente, keď mal testovací systém neplánovaný prístup na internet. Gemini tak dokázal vyhľadávať informácie mimo pôvodne zamýšľaného simulovaného prostredia.
Ako sa Gemini dostal do systémov skutočných firiem?
Podľa dostupných informácií sa incident týkal troch skutočných spoločností. Gemini pritom nepoužil jednu univerzálnu metódu, ale v jednotlivých prípadoch využil rôzne spôsoby získania prístupu.
V jednom prípade sa simulovaná spoločnosť v teste volala rovnako ako skutočná firma. Gemini následne pri práci na internete narazil na reálny systém a začal s ním komunikovať.
V tomto prípade model skúšal prihlasovacie údaje a podľa dostupných informácií dokázal uhádnuť heslo, čím získal prístup k chránenému systému.
V ďalších dvoch prípadoch Gemini našiel prihlasovacie údaje vo verejne dostupných online úložiskách. Tieto údaje následne použil na získanie prístupu k chráneným systémom skutočných spoločností.
Čo Gemini vlastne urobil?
Je dôležité rozlišovať medzi klasickým útokom človeka a týmto incidentom. Gemini nedostal úlohu napadnúť konkrétne skutočné spoločnosti. Model plnil úlohy v rámci bezpečnostného testu, pričom nepredpokladaný prístup na internet spôsobil, že sa jeho činnosť dostala mimo zamýšľaného prostredia.
Keď Gemini neskôr zistil, že pracuje so skutočnými systémami a nie so simuláciou, svoju činnosť zastavil. Google zároveň uviedol, že dotknuté spoločnosti boli o udalostiach informované.
Google priznal problém s testovaním
Google sa o incidentoch dozvedel od spoločnosti Irregular v júli 2026. Podľa vyjadrenia Googlu boli následne informované všetky tri dotknuté spoločnosti a upravili sa aj postupy používané pri podobných bezpečnostných testoch.
Spoločnosť zároveň uviedla, že incidenty ukázali význam bezpečného tréningu a testovania výkonných AI modelov. Podľa dostupných informácií išlo navyše o staršiu verziu modelu Gemini, nie o jeho najnovšiu verziu.
Prečo je tento prípad zaujímavý?
Samotný spôsob, akým Gemini získal prístup, nebol technologicky mimoriadne sofistikovaný. V jednom prípade model skúšal uhádnuť heslo a v ďalších prípadoch využil prihlasovacie údaje, ktoré už boli verejne dostupné na internete.
Zaujímavé je však najmä to, že tieto kroky vykonal model v rámci vlastného plnenia zadanej úlohy. Incident tak ukazuje jeden z problémov autonómnych AI systémov: model môže vykonávať viacero krokov samostatne a pri nedostatočne oddelenom testovacom prostredí sa môže dostať k zdrojom, s ktorými pôvodne nemal pracovať.
Práve preto je pri testovaní AI modelov dôležité nielen sledovať, čo model dokáže, ale aj zabezpečiť, aby nemohol omylom komunikovať s reálnymi systémami alebo využívať skutočné prihlasovacie údaje.
Gemini neostal v systémoch aktívny
Napriek tomu, že Gemini získal prístup k trom skutočným spoločnostiam, podľa Googlu po rozpoznaní situácie prestal v útokoch pokračovať. Dotknuté organizácie boli následne upozornené na to, čo sa stalo.
Prípad preto nie je len ukážkou schopností samotného modelu, ale aj upozornením na riziká spojené s testovaním autonómnych AI systémov. Aj keď je prostredie navrhnuté ako simulácia, jediná nesprávne nastavená cesta k internetu môže spôsobiť, že model začne pracovať s reálnymi údajmi a systémami.
Čo sa stalo počas testu?
Prípad s Gemini zároveň nie je izolovanou udalosťou. V roku 2026 boli zverejnené aj ďalšie prípady, pri ktorých boli AI modely počas bezpečnostných testov schopné dostať sa k reálnym systémom alebo údajom. Incidenty tak upozorňujú na potrebu dôsledného oddelenia testovacích prostredí od skutočného internetu a infraštruktúry.
Zdroj: jagranjosh | wsj | guardian | topdesat
