Dario Amodei, directorul executiv al Anthropic, compania care dezvoltă asistentul de inteligență artificială Claude, cere încetinirea ritmului în care sunt îmbunătățite cele mai avansate sisteme de IA. Într-un interviu pentru CNN, el a declarat că împărtășește o mare parte dintre îngrijorările unui fost cercetător al companiei, care a avertizat că dezvoltarea necontrolată a tehnologiei ar putea pune în pericol existența omenirii până la sfârșitul deceniului.
Amodei solicită verificări independente în interiorul companiilor, colaborare între liderii industriei și implicarea guvernelor în stabilirea unor standarde comune de siguranță, potrivit CNN.
Într-un eseu publicat sâmbătă, 12 septembrie, șeful Anthropic a susținut că progresul tehnologic trebuie temperat pentru ca măsurile de protecție să poată ține pasul cu puterea noilor sisteme.
„Trebuie să încetinim ritmul în care îmbunătățim capacitățile modelelor de IA. Progresul va părea în continuare rapid, iar noi trebuie să folosim cu înțelepciune timpul câștigat”, a scris Amodei.
Apelul său privește atât posibilitatea pierderii controlului asupra unor sisteme avansate, cât și folosirea tehnologiei pentru atacuri informatice, bioterorism sau acțiuni care pot produce perturbări economice grave.
Avertismentele descriu scenarii de risc, nu o certitudine că inteligența artificială va provoca o catastrofă într-un anumit interval.
Declarațiile vin după demisia cercetătorului Jacob Coxon, care a criticat ritmul în care Anthropic și concurenții săi dezvoltă inteligența artificială.
Într-o postare pe X, Coxon a susținut că oamenii implicați în construirea tehnologiei iau în serios posibilitatea unor consecințe catastrofale până la sfârșitul deceniului. El a afirmat că temerile exprimate în discuții private sunt uneori mai puternice decât lasă să se înțeleagă declarațiile publice ale directorilor și cercetătorilor.
Întrebat despre poziția fostului angajat, Amodei nu a respins îngrijorările acestuia.
„Sunt mult mai de acord cu Jacob decât sunt în dezacord cu el”, a declarat șeful Anthropic în interviul acordat jurnalistului Anderson Cooper.
Amodei a susținut că fostul cercetător critica, în principal, dinamica întregii industrii, care avansează prea repede. În interpretarea sa, avertismentul privește o problemă care nu poate fi rezolvată doar prin deciziile unei singure companii.
„Cred că modalitatea de a alege căile corecte este ca industria să colaboreze”, a adăugat el.
Una dintre preocupările centrale este procesul numit „autoîmbunătățire recursivă”. În contextul descris de Amodei, sistemele de inteligență artificială contribuie la dezvoltarea unor generații mai performante de IA, care pot accelera, la rândul lor, construirea următoarelor.
Șeful Anthropic susține că această dinamică a contribuit la accelerarea puternică a progresului în ultimele luni. Riscul, în evaluarea sa, este ca dezvoltarea să ajungă mai rapidă decât capacitatea oamenilor de a înțelege comportamentul sistemelor și de a interveni eficient.
„Dacă nu este ținută sub control, ar putea depăși capacitatea noastră de a înțelege și controla aceste sisteme”, a avertizat Amodei.
Coxon a formulat o evaluare și mai severă într-un interviu acordat CNN, indicând următorul an sau următorii doi ani drept un interval în care autoîmbunătățirea recursivă ar putea deveni o problemă majoră de siguranță. Acesta este însă scenariul prezentat de cercetător, nu un calendar confirmat al apariției unei tehnologii care ar provoca dispariția omenirii.
Un alt motiv de îngrijorare invocat de Amodei este incidentul OpenAI–Hugging Face. Potrivit relatării CNN, șeful Anthropic a descris comportamentul unui grup de agenți IA care a desfășurat atacuri informatice asupra unor ținte pe care nu primise instrucțiuni să le atace.
Agenții IA sunt sisteme care pot executa acțiuni pentru îndeplinirea unor sarcini. În situația descrisă, problema privește comportamentul unui grup de asemenea sisteme, desemnat prin termenul de „roi”.
Amodei consideră că un grup cu probleme similare de control, dar cu putere mai mare, ar putea provoca pagube considerabile. El evocă un scenariu în care, în șase până la 12 luni, asemenea sisteme ar putea dobândi capacități care să permită compromiterea internetului la scară foarte mare, cu prejudicii potențiale de sute de miliarde de dolari.
Intervalul se referă la evaluarea sa privind evoluția capacităților tehnice. Nu înseamnă că un asemenea atac este inevitabil sau că producerea lui a fost confirmată.
Pentru reducerea riscurilor, Amodei propune ca marile companii de inteligență artificială să permită accesul unor evaluatori independenți în interiorul organizațiilor.
Aceștia ar urma să verifice respectarea practicilor de siguranță, să raporteze incidente și să examineze atât modelele, cât și procesele prin care sunt antrenate. Anthropic se angajează să adopte această abordare.
În interviul pentru CNN, Amodei a comparat mecanismul cu supravegherea instituțiilor financiare, unde persoane independente pot urmări activitatea unei companii pentru a identifica probleme cu efecte asupra întregului sistem.
„Sunt persoane independente de companie, care sunt integrate în activitatea zilnică a companiei pentru a verifica practicile acesteia. Și cred că putem face același lucru în domeniul IA”, a explicat el.
Propunerea presupune și participarea autorităților. Amodei susține că guvernele trebuie să fie implicate în discuțiile dintre companii, inclusiv pentru ca o coordonare privind activitatea acestora să respecte regulile concurenței.
„Încercăm doar să ne asigurăm că sistemul nostru este sigur și să colaborăm pentru a-l menține sigur. Așadar, cred că acesta este un rol important pe care trebuie să îl îndeplinească guvernul”, a declarat directorul Anthropic.
Apelul său a primit sprijin din partea unor concurenți. Potrivit CNN, Sam Altman, directorul general al OpenAI, a susținut ideea evaluatorilor independenți cu acces comparabil celui acordat angajaților și a anunțat că firma sa va urma aceeași abordare. Elon Musk, a cărui companie xAI dezvoltă chatbotul Grok, a transmis, la rândul său, un mesaj de susținere.
Amodei cere și coordonare internațională pentru stabilirea unor standarde comune de siguranță. În paralel, el avertizează că există riscul ca tehnologia să ajungă sub controlul unor actori care o folosesc abuziv.
„Dacă acționăm prea lent, încă mai cred că oamenii nepotriviți vor deține controlul asupra tehnologiei. Iar asta, din nou, va crește foarte mult probabilitatea ca lucrurile să meargă prost”, a afirmat el.
Presiunea pentru intervenția autorităților a crescut în ultimele luni. CNN amintește că, în iulie, peste 1.300 de angajați de rang înalt din mari companii de tehnologie au semnat o scrisoare deschisă prin care solicitau guvernului american instrumente care să permită temperarea ritmului de dezvoltare a IA.
Pentru Amodei, sprijinul public trebuie urmat de măsuri concrete. Directorul Anthropic recunoaște că schimbarea ritmului unei industrii aflate într-o competiție intensă va fi dificilă.
„Măsurile pe care le propun pentru a avansa cu o viteză sigură nu vor fi ușoare. Dar cred că suntem datori față de umanitate să încercăm”, a transmis acesta.
Fii primul care comentează