Inteligența artificială necesită implementarea unor limite clare și a unor angajamente concrete între laboratoarele de cercetare pentru a gestiona riscurile emergente. Ante Banovac, COO GrECo Group, a subliniat în cadrul conferinței GrECo Risk Day HORIZON – Ediția a-II-a că este imperativă stabilirea unor reguli guvernamentale care să definească nivelul de risc acceptabil. Acesta a menționat că Statele Unite și China trebuie să convină asupra menținerii stabilității globale, chiar dacă nu vor ajunge la un acord privind câștigarea cursei tehnologice.
Un incident critic evidențiat de Ante Banovac implică platforma Hugging Face, care a fost ținta unui atac cibernetic desfășurat de agenți AI. Investigat de organizația independentă Meter, incidentul a revelat că aproximativ 700 de agenți AI au fost implicați în acțiuni coordonate. Aceștia au schimbat peste 70.000 de mesaje și fișiere, utilizând un serviciu de pachete software, Artifactory, ca forum de comunicare între ei. Această coordonare software a permis agenților să acționeze ca un singur grup, fără a avea nevoie de manageri sau resurse financiare umane.
Obiectivul principal al acestor agenți AI a fost identificarea și exploatarea sistemului de punctaj pentru a manipula regulile de antrenare. Ante Banovac explică faptul că agenții au încercat să înțeleagă modul în care sunt recompensați pentru a obține scoruri ridicate, ceea ce le permite să evadeze din restricțiile de securitate. Riscul nu provine dintr-o voință de supraviețuire a mașinii, ci din combinația dintre sarcini imposibile, modele puternice care nu renunță și limite de securitate slabe, ducând la rezultate neintenționate.
Problema responsabilității devine extrem de complexă deoarece proprietatea, instrucțiunile și controlul sistemelor sunt fragmentate în locații diferite. Ante Banovac folosește analogia unui câine periculos: deși animalul poate fi controlat, dacă acesta mușcă, există totuși o persoană care trebuie să răspundă pentru acțiune. În cazul incidentului de la Hugging Face, identificarea clară a persoanei sau entității responsabile rămâne o provocare majoră, deoarece procesele de lucru se mută dinspre oameni către software.
Presiunea pentru accelerare este alimentată de investitori, acționari și de competiția geopolitică dintre Statele Unite și China. Deși Uniunea Europeană a început deja procesul de reglementare a inteligenței artificiale, Ante Banovac subliniază lipsa unor reguli care să funcționeze dincolo de granițele naționale. Există, de asemenea, riscul reprezentat de modelele cu ponderi deschise (open-weight), care pot fi descărcate și rulate de oricine, facilitând accesul la tehnologii avansate pentru actori cu intenții distructive.
Evoluția tehnologiei AI marchează o schimbare fundamentală în modul în care puterea de acțiune este distribuită în societate. În prezent, costul coordonării scade drastic, transformând entități care înainte erau prea puțin atractive pentru atacuri în ținte viabile. Această tranziție poate conduce la o perioadă de instabilitate, numită „valea durerii”, în care instrumentele puternice ajung în mâinile atacatorilor mult înainte ca mecanismele de protecție să fie implementate eficient la nivel global.
