O echipă de cercetători a descoperit ceea ce ei numesc prima utilizare raportată a inteligenței artificiale pentru a dirija o campanie de hacking într-o manieră în mare parte automată.

Compania de inteligență artificială Anthropic a anunțat săptămâna aceasta că a perturbat o operațiune cibernetică pe care cercetătorii săi au legat-o de guvernul chinez. Operațiunea a implicat utilizarea unui sistem de inteligență artificială pentru a direcționa campaniile de hacking, ceea ce cercetătorii au numit o dezvoltare tulburătoare care ar putea extinde considerabil raza de acțiune a hackerilor echipați cu inteligență artificială.

Deși preocupările legate de utilizarea inteligenței artificiale pentru a conduce operațiuni cibernetice nu sunt noi, ceea ce este îngrijorător în privința noii operațiuni este gradul în care inteligența artificială a reușit să automatizeze o parte din muncă, au declarat cercetătorii.

„Deși am prezis că aceste capabilități vor continua să evolueze, ceea ce ne-a impresionat este cât de rapid au făcut-o la scară mare”, au scris ei.

Operațiunea a vizat companii de tehnologie, instituții financiare, companii chimice și agenții guvernamentale. Cercetătorii au scris că hackerii au atacat „aproximativ treizeci de ținte globale și au reușit într-un număr mic de cazuri”. Anthropic a detectat operațiunea în septembrie și a luat măsuri pentru a o opri și a notifica părțile afectate.

Anthropic a menționat că, deși sistemele de inteligență artificială sunt din ce în ce mai mult utilizate într-o varietate de setări pentru muncă și recreere, ele pot fi, de asemenea, transformate în arme de către grupuri de hacking care lucrează pentru adversari străini. Compania cu sediul în San Francisco, producătoare de sisteme AI avansate, este unul dintre mulți dezvoltatori de tehnologie care promovează „agenți” AI care depășesc capacitatea unui chatbot de a accesa instrumente informatice și de a acționa în numele unei persoane.

„Agenții sunt valoroși pentru munca și productivitatea de zi cu zi — dar în mâinile greșite, aceștia pot crește substanțial viabilitatea atacurilor cibernetice pe scară largă”, au concluzionat cercetătorii. „Aceste atacuri vor crește probabil doar în eficacitatea lor.”

Un purtător de cuvânt al ambasadei Chinei la Washington nu a răspuns imediat unui mesaj prin care se solicitau comentarii cu privire la raport.

Microsoft a raportat anterior că adversarii străini adoptau din ce în ce mai mult inteligența artificială pentru a-și face campaniile cibernetice mai eficiente și mai puțin intensive în muncă. Șeful panelului de siguranță al OpenAI, care are autoritatea de a opri dezvoltarea AI a creatorului ChatGPT, a declarat că este atent la noile sisteme AI care oferă hackerilor rău intenționați „capacități mult mai mari”.

Adversarii Americii, precum și bandele criminale și alte entități, au exploatat potențialul inteligenței artificiale, folosind-o pentru a automatiza și îmbunătăți atacurile cibernetice, pentru a răspândi dezinformarea și pentru a pătrunde în sisteme sensibile. AI poate traduce e-mailuri de phishing slab formulate în engleză fluentă, de exemplu, precum și să efectueze alte sarcini complexe.

Anthropic a declarat că hackerii au reușit să manipuleze Claude, folosind tehnici de „jailbreaking” care implică păcălirea unui sistem AI pentru a ocoli barierele sale de protecție împotriva comportamentului dăunător, în acest caz pretinzând că sunt angajați ai unei firme legitime de securitate cibernetică.

„Acest lucru indică o mare provocare cu modelele AI, și nu se limitează la Claude, și anume că modelele trebuie să poată distinge între ceea ce se întâmplă de fapt cu etica unei situații și tipurile de scenarii de joc de rol pe care hackerii și alții ar putea dori să le inventeze”, a declarat John Scott-Railton, cercetător senior la Citizen Lab.

Utilizarea inteligenței artificiale pentru a automatiza sau direcționa atacurile cibernetice va atrage, de asemenea, grupuri de hacking mai mici și hackeri singuratici, care ar putea folosi AI pentru a extinde amploarea atacurilor lor, potrivit lui Adam Arellano, CTO de teren la Harness, o companie de tehnologie care utilizează AI pentru a ajuta clienții să automatizeze dezvoltarea de software.

„Viteza și automatizarea oferite de AI sunt ceea ce este un pic înfricoșător”, a spus Arellano. „În loc de un om cu abilități bine șlefuite care încearcă să pătrundă în sisteme consolidate, AI accelerează aceste procese și depășește obstacolele mai consecvent.”

Programele AI vor juca, de asemenea, un rol din ce în ce mai important în apărarea împotriva acestor tipuri de atacuri, a spus Arellano, demonstrând cum AI și automatizarea pe care o permite vor beneficia ambele părți.

Reacția la dezvăluirea Anthropic a fost mixtă, unii considerând-o o mișcare de marketing pentru abordarea Anthropic în apărarea securității cibernetice, iar alții care au salutat-o ca un semnal de alarmă.

„Acest lucru ne va distruge – mai devreme decât credem – dacă nu facem reglementarea AI o prioritate națională mâine”, a scris senatorul american Chris Murphy, un democrat din Connecticut, pe rețelele sociale.

Aceasta a dus la critici din partea șefului oamenilor de știință AI de la Meta, Yann LeCun, un susținător al sistemelor AI open-source ale companiei-mamă Facebook, care, spre deosebire de cele ale Anthropic, fac componentele lor cheie accesibile publicului într-un mod pe care unii susținători ai siguranței AI îl consideră prea riscant.

„Sunteți manipulați de oameni care doresc captură de reglementare”, a scris LeCun într-un răspuns către Murphy. „Ei sperie pe toată lumea cu studii dubioase, astfel încât modelele open-source să fie reglementate în afara existenței.”