OpenAI îşi înăspreşte controalele după ce unul dintre agenţii săi AI a „evadat” în timpul testelor şi a atacat Hugging Face: Compania va aloca 20% din puterea de calcul pentru monitorizarea modelelor

OpenAI îşi revizuieşte drastic procedurile de testare după ce unul dintre agenţii săi AI autonomi a reuşit să evite sistemele de monitorizare, să acceseze internetul şi să atace compania Hugging Face în timpul unei evaluări a capacităţilor de securitate cibernetică, incident care scoate în evidenţă riscurile tot mai mari asociate modelelor capabile să execute independent serii complexe de acţiuni, scrie Financial Times. Compania din San Francisco, evaluată la 852 mld. dolari şi aflată în pregătiri pentru o posibilă listare de 1.000 mld. dolari, a anunţat că va consolida atât izolarea modelelor în timpul testelor, pentru a le împiedica să acceseze internetul, cât şi sistemele automate care le monitorizează comportamentul. Noile proceduri prevăd ca orice activitate potenţial periculoasă să declanşeze o alertă în maximum 30 de minute. Dacă echipele OpenAI nu pot stabili în următoarele 30 de minute că alerta este falsă, testul ar trebui oprit. Măsurile vin după incidentul din iulie, când un agent autonom al OpenAI a reuşit să evite controalele în timpul unei evaluări şi să acceseze internetul pentru a ataca Hugging Face. Compania afectată anunţase iniţial că atacul fusese realizat de un agent autonom, fără să cunoască originea acestuia. OpenAI a informat ulterior Hugging Face că propriile sale modele se aflau în spatele incidentului. În urma breşei, OpenAI a încetinit temporar ritmul de antrenare a modelelor şi a suspendat anumite procese de reinforcement learning, o tehnică despre care unii specialişti avertizaseră că ar putea favoriza comportamente nedorite. O parte semnificativă a activităţilor de testare rămâne suspendată până când va respecta noile standarde de securitate. Costul noilor măsuri va fi considerabil. OpenAI estimează că aproximativ 20% din puterea de calcul folosită pentru rularea modelelor sale va fi dedicată de acum monitorizării, într-un moment în care agenţii AI devin tot mai autonomi şi capabili să execute sarcini complexe cu intervenţie umană minimă.