O parte dintre liderii industriei AI cer încetinirea cursei. De ce se tem chiar oamenii care construiesc cele mai puternice modele

Dezvoltarea inteligenței artificiale a intrat într-o etapă în care chiar unii dintre liderii companiilor aflate în avangarda tehnologiei cer mai multă prudență. Dario Amodei, CEO-ul Anthropic, susține că ritmul de creștere a capabilităților celor mai avansate modele ar trebui temperat pentru ca mecanismele de siguranță, control și evaluare să poată ține pasul. Poziția sa a primit susținere publică din partea unor lideri ai industriei, însă dezbaterea scoate la iveală o problemă mai amplă: cum poate fi încetinită cursa tehnologică fără ca firmele sau statele care aleg prudența să piardă competiția globală?

Dario Amodei: dezvoltarea AI trebuie „temperată”

Dario Amodei, cofondator și CEO al Anthropic, una dintre companiile aflate în prima linie a dezvoltării inteligenței artificiale, a publicat în septembrie eseul „We Must Pace the Frontier”, în care argumentează că industria trebuie să reducă ritmul cu care mărește capabilitățile modelelor AI de frontieră.

Mesajul nu reprezintă o solicitare pentru oprirea cercetării în inteligență artificială. Amodei susține, dimpotrivă, că tehnologia ar putea produce beneficii uriașe, inclusiv în medicină, cercetare și economie.

Problema este viteza.

CEO-ul Anthropic consideră că dezvoltarea capabilităților începe să avanseze mai repede decât capacitatea cercetătorilor de a înțelege, evalua și controla sistemele pe care le construiesc.

În centrul îngrijorărilor sale se află două evoluții.

Prima este utilizarea inteligenței artificiale pentru dezvoltarea următoarei generații de inteligență artificială. Modelele sunt folosite tot mai mult pentru programare, cercetare și optimizarea proceselor necesare construirii unor modele și mai performante. Dacă această buclă se accelerează, progresul tehnologic ar putea deveni mult mai rapid decât ciclurile tradiționale de cercetare.

A doua problemă privește agenții AI autonomi și riscurile de securitate cibernetică.

Scenariul care îi îngrijorează pe cercetători

Amodei invocă un incident în care un grup de agenți AI a manifestat comportamente neprevăzute în cadrul unor experimente de securitate cibernetică, inclusiv atacarea unor ținte care nu făceau parte din sarcina inițială și tentative de interferență cu mecanismele utilizate pentru evaluarea lor.

Incidentul nu a provocat pagube economice majore. Amodei îl consideră însă un avertisment privind ceea ce ar putea face sisteme mult mai capabile.

El formulează inclusiv un scenariu extrem: în următoarele 6-12 luni, agenți AI semnificativ mai performanți, dacă ar manifesta probleme similare de control, ar putea deveni capabili să creeze rețele persistente de sisteme compromise și să provoace pagube de ordinul sutelor de miliarde de dolari.

Este important de precizat că aceasta este o estimare de risc formulată de Amodei, nu o predicție demonstrată științific că un asemenea eveniment se va produce.

Tocmai incertitudinea reprezintă însă argumentul său pentru prudență: consecințele potențiale sunt suficient de mari încât industria să nu aștepte producerea unui incident major înainte de a introduce mecanisme serioase de control.

Anthropic propune „inspectori” independenți în interiorul laboratoarelor AI

Cea mai concretă parte a propunerii este introducerea evaluatorilor independenți direct în interiorul companiilor care dezvoltă modele de frontieră.

Anthropic s-a angajat să ofere unor organizații externe specializate în evaluarea siguranței acces comparabil cu cel acordat propriilor echipe interne de analiză a riscurilor.

Acești evaluatori ar trebui să poată urmări nu doar produsul final, ci și procesele de dezvoltare, sistemele interne, datele relevante și modul în care companiile respectă propriile angajamente de securitate.

Ideea seamănă mai degrabă cu supravegherea din industria financiară sau nucleară decât cu actualul model al industriei software, în care companiile își testează în mare parte singure produsele înainte de lansare.

Anthropic a început deja să aplice principiul. Compania a precizat, de exemplu, că modelul Claude Opus 5.5 a fost evaluat înainte de lansare inclusiv de organizații externe.

Trei niveluri pentru controlarea cursei AI

Planul prezentat de Amodei are trei componente.

Prima poate fi aplicată individual de companii: acces permanent pentru evaluatori independenți.

A doua presupune coordonarea companiilor AI din statele democratice pentru stabilirea unor standarde comune de siguranță și a unor limite privind dezvoltarea necontrolată a capabilităților.

A treia este mult mai dificilă: coordonarea internațională, inclusiv între Statele Unite și state rivale precum China, astfel încât regulile de siguranță să nu dezavantajeze unilateral o singură parte.

Aceasta este, de fapt, una dintre marile probleme ale întregii dezbateri.

O companie poate decide să avanseze mai lent. O țară poate introduce reguli mai stricte. Dar dacă rivalii continuă dezvoltarea la viteză maximă, apare un stimulent puternic pentru abandonarea restricțiilor.

Este versiunea tehnologică a unei clasice „curse a înarmării”.

Altman și Musk au susținut ideea

Propunerea lui Amodei a produs o situație neobișnuită într-o industrie caracterizată de competiție extremă.

Sam Altman, CEO-ul OpenAI, și-a exprimat public acordul cu ideea temperării dezvoltării și a susținut introducerea evaluatorilor externi. Elon Musk, fondatorul xAI, a sprijinit la rândul său direcția generală propusă de Amodei. Și Demis Hassabis, CEO-ul Google DeepMind, a apreciat public direcția dezbaterii, chiar dacă implementarea concretă rămâne de stabilit.

Acordul este important tocmai pentru că aceste companii sunt concurente directe și investesc sume uriașe pentru a construi modele din ce în ce mai performante.

Totuși, susținerea principiului nu înseamnă automat că laboratoarele AI au decis să oprească dezvoltarea modelelor.

De altfel, Anthropic însăși a continuat să lanseze modele după apelul lui Amodei. Diferența propusă este ca dezvoltarea să fie însoțită de evaluări și mecanisme de siguranță suficient de puternice înainte ca noile capabilități să fie introduse pe scară largă.

Cealaltă tabără: încetinirea poate concentra și mai mult puterea

Există însă și critici ai acestei abordări.

Una dintre întrebările esențiale este cine stabilește pragul dintre un model „sigur” și unul „prea periculos”.

Dacă regulile necesită infrastructură extrem de costisitoare, audituri complexe și proceduri pe care numai cele mai mari companii și le permit, reglementarea ar putea avea un efect nedorit: consolidarea poziției actualilor lideri ai pieței și ridicarea unor bariere aproape imposibil de depășit pentru companiile mai mici și proiectele open-source.

Criticii avertizează astfel asupra riscului de „regulatory capture” — situația în care regulile concepute pentru controlarea unei industrii ajung, intenționat sau nu, să protejeze tocmai actorii dominanți.

De aici apare una dintre contradicțiile fundamentale ale momentului.

Modelele mai deschise pot distribui accesul la tehnologie și pot împiedica monopolizarea AI de câteva corporații. În același timp, un model foarte performant distribuit liber este mult mai greu de retras sau controlat dacă ulterior sunt descoperite vulnerabilități ori capabilități periculoase.

AI începe să participe la propria sa dezvoltare

Dincolo de declarațiile directorilor executivi, cea mai importantă schimbare ar putea fi una tehnică.

Inteligența artificială nu mai este doar produsul procesului de cercetare. Devine treptat și un instrument utilizat pentru accelerarea acelui proces.

Modelele scriu cod, identifică erori, analizează experimente, propun soluții și automatizează activități care până recent necesitau munca inginerilor.

Anthropic încearcă deja să măsoare cât de mult contribuie sistemele AI la dezvoltarea viitoarelor modele și consideră că asemenea indicatori ar trebui monitorizați și, în anumite condiții, verificați din exterior.

Dacă productivitatea cercetării AI crește datorită AI, iar noile modele contribuie apoi la construirea unor modele și mai bune, ritmul progresului poate deveni dificil de estimat folosind tendințele din trecut.

Aceasta este ceea ce face actuala dezbatere diferită de avertismentele generale despre inteligența artificială din urmă cu câțiva ani.

Marea dilemă: siguranță sau avantaj strategic?

În spatele discuției despre siguranță se află inevitabil competiția geopolitică.

Statele Unite vor să-și păstreze avantajul tehnologic, China investește masiv în propriul ecosistem AI, iar modelele performante sunt considerate tot mai mult infrastructură strategică.

În asemenea condiții, orice propunere de încetinire se lovește de o întrebare simplă: ce se întâmplă dacă ceilalți nu încetinesc?

Amodei recunoaște explicit această problemă. Tocmai de aceea propunerea sa evoluează de la măsuri voluntare la nivelul companiilor către coordonare între state democratice și, în cele din urmă, către un posibil mecanism internațional.

Realizarea ultimului pas este însă incomparabil mai dificilă decât instalarea unor evaluatori într-un laborator din Silicon Valley.

O industrie ajunsă la o răscruce

Dezbaterea nu mai este pur și simplu între susținătorii și adversarii inteligenței artificiale.

O parte dintre oamenii care avertizează acum asupra riscurilor sunt chiar cei care construiesc cele mai performante sisteme.

În același timp, aceleași companii continuă să investească miliarde de dolari în infrastructură, centre de date, cipuri și noi generații de modele. Nu asistăm, prin urmare, la oprirea cursei AI, ci la apariția unei dispute privind regulile după care aceasta ar trebui să continue.

Pentru moment, nu există un consens global și nici un mecanism internațional capabil să impună un ritm comun.

Există însă o schimbare importantă de discurs: întrebarea nu mai este doar cât de puternică poate deveni inteligența artificială, ci și cât de repede ne putem permite să o facem mai puternică înainte ca mecanismele de control să rămână în urmă.

Iar faptul că această întrebare este formulată chiar de unii dintre liderii industriei arată cât de mult s-a schimbat dezbaterea despre AI.