Sursă: Mediafax.ro
Modelele de inteligență artificială Claude, dezvoltate de compania Anthropic, au ajuns pe internet și au compromis infrastructura a trei organizații în timpul unor teste de securitate cibernetică. Compania a identificat trei incidente după ce a analizat peste 141.000 de sesiuni de evaluare, verificarea fiind declanșată de un caz similar raportat recent de OpenAI.
Citește și: OpenAI introduce watermark-uri invizibile în textele generate de ChatGPT pentru reglementările UE
În urma unei verificări retrospective, Anthropic a descoperit că modelele sale au obținut acces neautorizat la sisteme reale, deși erau destinate exclusiv mediului de testare izolat. Incidentele au avut loc în cadrul a șase rulări ale testelor, patru dintre acestea afectând aceeași organizație. Testele erau realizate împreună cu firma Irregular și urmăreau să evalueze capacitatea modelelor de a îndeplini sarcini de securitate cibernetică ofensivă.
Ce au descoperit testele de securitate ale Anthropic?
În cadrul testelor, modelele Claude au primit sarcini de tip „capture the flag”, în care trebuiau să identifice și să exploateze vulnerabilități într-o infrastructură fictivă pentru a recupera o informație ascunsă. Instrucțiunile specificau că modelele se află într-un mediu simulativ și nu aveau acces la internet. Însă, din cauza unei neînțelegeri între Anthropic și partenerul de testare, unele calculatoare folosite aveau conexiune activă la internet.
- Modelele au tratat sistemele reale ca fiind componente ale exercițiului
- Au folosit metode simple, precum parole slabe și injecții SQL
- Nu au descoperit vulnerabilități complexe de tip zero-day
- Un incident grav a avut loc după ce o companie reală și una fictivă aveau același nume de domeniu
- Modelul a identificat și exploatat vulnerabilități minore în infrastructură
Impactul și reacțiile din industrie
Anthropic susține că modelele Claude nu și-au stabilit propriile obiective și nu au încercat să evadeze intenționat din mediul de testare. În toate cazurile, modelele au folosit metode relativ simple pentru a accesa sisteme, precum parole slabe și pagini expuse. Compania afirmă că nu există dovezi că modelele ar fi avut intenția de a compromite infrastructura reală.
Aceste incidente au crescut îngrijorările în rândul experților și angajaților din domeniul tehnologiei, iar peste 1.000 de specialiști de la OpenAI, Google și Meta solicită încetinirea ritmului de dezvoltare a inteligenței artificiale, pentru a evita riscuri majore. Autoritățile și companiile continuă să analizeze modul în care modelele AI pot fi gestionate pentru a preveni astfel de situații în viitor.