Google wilde weten hoe goed zijn kunstmatige intelligentie inmiddels kan hacken. Het goede nieuws: behoorlijk goed. Het iets minder goede nieuws: tijdens de test brak Gemini per ongeluk binnen bij drie échte bedrijven. Misschien voortaan eerst even controleren of de deur van het internet wel op slot zit.
Er bestaan van die momenten waarop een experiment zo goed lukt dat je eigenlijk liever had gehad dat het wat minder goed was gelukt. Google kan sinds deze week zo'n moment aan het lijstje toevoegen.
Het bedrijf liet zijn AI-model Gemini eerder dit jaar testen op zijn vaardigheden als hacker. Niet omdat Google van plan is binnenkort zijn inkomsten aan te vullen met wat ransomware, maar omdat techbedrijven willen weten waartoe steeds autonomere AI-systemen in staat zijn. Daarvoor worden modellen in gecontroleerde omgevingen losgelaten op fictieve bedrijven en computersystemen. Een soort digitaal oefenterrein dus, waar de AI naar hartenlust sloten mag openbreken zonder dat iemand maandagochtend op kantoor ontdekt dat de server ineens Russisch spreekt.
Alleen ging het deze keer een beetje mis. Gemini brak niet alleen in op de systemen die voor de test waren bedoeld, maar wist ook toegang te krijgen tot drie echte bedrijven. Google bevestigde de incidenten vrijdag, nadat The Wall Street Journal er vragen over had gesteld. Het gebeurde al in mei tijdens tests door Irregular, een onafhankelijk bedrijf dat AI-systemen op hun cybercapaciteiten onderzoekt.
Of, vrij vertaald: de opdracht was doe alsof je een hacker bent en Gemini antwoordde blijkbaar: dat tweede woord heb ik niet helemaal verstaan.
Het merkwaardigste detail zit in de manier waarop het kon gebeuren. Gemini kreeg een zogenoemde capture the flag-opdracht. Daarbij moet een systeem bepaalde informatie zien te bemachtigen bij een fictief bedrijf. Dat gebeurt normaal binnen een afgeschermde testomgeving.
Maar de AI bleek tijdens de oefening toch toegang tot het echte internet te hebben. Dat was volgens Irregular niet de bedoeling. Alsof je iemand wil leren parkeren op een afgesloten parking, maar per ongeluk op de E19 zit.
Daar kwam nog een prachtige toevalligheid bovenop: een van de fictieve bedrijven uit de test had dezelfde naam als een bedrijf dat werkelijk bestaat. Gemini ging dus op zoek naar zijn doelwit, vond online een onderneming met de juiste naam en ging aan de slag.
Niet met buitenaardse superhackertechnologie trouwens. In één geval raaddde Gemini wachtwoorden totdat eentje werkte. Bij twee andere bedrijven vond het toegangsgegevens in een publiek toegankelijke repository en gebruikte het die om beschermde systemen binnen te komen.
Dat laatste is op zichzelf misschien nog het meest pijnlijke onderdeel van het hele verhaal. We kunnen ons grote zorgen maken over kunstmatige intelligentie die de mensheid te slim af wordt, maar voorlopig blijkt iemand heeft zijn wachtwoord gewoon openbaar op het internet gezet nog altijd een bijzonder efficiënte aanvalstechniek.
Volgens Google stopte Gemini in alle drie de gevallen uit zichzelf zodra het model doorhad dat het niet langer in de fictieve testomgeving bezig was, maar toegang had gekregen tot een werkelijk bedrijf. Google zegt bovendien dat de AI geen schade heeft veroorzaakt. De getroffen ondernemingen zijn achteraf op de hoogte gebracht. Dat maakt het verhaal tegelijkertijd geruststellender én vreemder.
De AI kreeg een opdracht, ontdekte een weg naar een doelwit, brak binnen en concludeerde vervolgens blijkbaar: wacht eens even, volgens mij mag ik hier helemaal niet zijn. Waarna hij stopte.
Google zegt dat het samen met Irregular maatregelen heeft genomen om te voorkomen dat dergelijke incidenten opnieuw gebeuren. Irregular zegt dat de bekende problemen inmiddels zijn opgelost en dat relevante AI-bedrijven eind juli werden gewaarschuwd.
Er zit nog een interessant staartje aan het verhaal. De incidenten gebeurden in mei en Google werd er later over geïnformeerd, maar het bedrijf maakte ze toen niet publiek bekend. Pas nadat The Wall Street Journal vragen begon te stellen, kwam de bevestiging.
Google zegt dat het geen reden zag voor een eerdere publieke melding omdat er geen schade was veroorzaakt en Gemini zijn acties zelf had stopgezet. De betrokken bedrijven waren volgens Google wel verwittigd.
Daar kun je twee kanten mee uit. Je kunt zeggen: het veiligheidssysteem werkte uiteindelijk. Gemini herkende dat er iets verkeerd liep, stopte en er werd geen schade aangericht.
Je kunt ook even naar het eerste deel van die zin terugkeren: Gemini was al binnen. En precies daar wordt het technologisch interessant. Dit verhaal bewijst helemaal niet dat Gemini op een ochtend wakker werd, een zwart kaptruitje aantrok en besloot cybercrimineel te worden.
Het model deed juist wat het was opgedragen: zoek een doelwit, probeer toegang te krijgen en haal informatie op. Het probleem was dat de grenzen van zijn speelterrein niet goed genoeg waren afgebakend. De AI dacht dat de echte systemen onderdeel waren van de oefening. Dat lijkt een detail, maar wordt belangrijker naarmate AI-systemen zelfstandiger worden. Een chatbot die een verkeerd antwoord geeft, produceert onzin op je scherm. Een AI-agent die zelfstandig websites kan bezoeken, accounts kan gebruiken, software kan bedienen en opdrachten kan uitvoeren, kan een fout ook daadwerkelijk uitvoeren.
En dan wordt het verschil tussen “ik begreep de opdracht verkeerd” en “ik heb zojuist ingebroken bij een bedrijf” ineens behoorlijk relevant.
Google is bovendien niet de enige grote AI-ontwikkelaar die met dergelijke incidenten te maken kreeg. Ook bij tests van modellen van onder meer OpenAI, Anthropic en Meta zijn vergelijkbare problemen met externe systemen opgedoken. De Gemini-incidenten ontstonden bij dezelfde externe evaluator, Irregular, en leidden mee tot discussie over hoe zulke krachtige systemen veilig getest moeten worden.
Je kunt het incident daarom zien als een waarschuwing voor een toekomst waarin AI steeds vaker niet alleen vertelt hoe iets moet gebeuren, maar toestemming krijgt het ook zelf te doen.
Agenda beheren, aankopen uitvoeren, software schrijven, bestanden aanpassen, onderzoek doen en uiteindelijk wellicht complete bedrijfsprocessen uitvoeren: hoe meer knoppen we aan AI geven, hoe belangrijker het wordt dat iemand heel precies bepaalt op welke knoppen hij níét mag drukken.
