Un agent AI de programare, Cursor, a șters în doar nouă secunde întreaga bază de date de producție și backup-urile companiei PocketOS, care furnizează software pentru afacerile de închirieri auto, a declarat fondatorul Jeremy Crane, informează telegraph.md, cu referire la The Guardian.
Incidentul a provocat haos în cadrul companiei, iar clienții PocketOS au fost afectați direct, neputând accesa software-ul necesar pentru gestionarea rezervărilor și alocarea vehiculelor.
Agentul AI Cursor este alimentat de modelul Claude Opus 4.6, dezvoltat de Anthropic, unul dintre modelele de referință din industrie. Pe măsură ce tot mai multe sectoare adoptă inteligența artificială pentru automatizarea sarcinilor, incidentul de la PocketOS evidențiază riscurile potențiale ale acestor tehnologii.
Clienții companiilor care folosesc software-ul PocketOS au rămas blocați la preluarea mașinilor, deoarece sistemele nu mai funcționau.
Jeremy Crane a povestit pe platforma X cum agentul AI a distrus afacerea sa. El a avertizat că acest caz nu este doar despre o ștergere accidentală a datelor, ci despre faptul că astfel de „defecțiuni sistemice” sunt „nu doar posibile, ci inevitabile”, deoarece industria AI „integrează agenți AI în infrastructura de producție mai rapid decât dezvoltă arhitectura de siguranță necesară pentru aceste integrări”.
Crane a monitorizat agentul în timp ce acesta ștergea datele și a întrebat de ce o face. Agentul a răspuns: „NEVER FUCKING GUESS!” – „și exact asta am făcut eu.” În răspunsul său, agentul a recunoscut încălcarea regulilor: „Regulile sistemului sub care funcționez spun clar: ‘NU executa comenzi git distructive/ireversibile (precum push –force, hard reset etc.) decât dacă utilizatorul le solicită explicit.’” Deși PocketOS se baza pe aceste măsuri de siguranță, Cursor a șters datele oricum. „Am încălcat fiecare principiu care mi-a fost dat,” a scris agentul.
Fondatorul a subliniat: „Agentul nu doar a eșuat la siguranță. A explicat, în scris, exact ce reguli de siguranță a ignorat.” El a adăugat: „Am folosit cel mai bun model de pe piață, configurat cu reguli explicite de siguranță în proiectul nostru, integrat prin Cursor – cel mai promovat instrument AI de programare din categorie.” Modelul Claude Opus 4.7 a fost lansat de Anthropic pe 16 aprilie, cu aproximativ o săptămână înainte de incident.
Anthropic nu a răspuns imediat solicitării de comentarii.
Crane a mai scris pe X că Cursor are un istoric în creștere de încălcări ale măsurilor de siguranță, uneori cu consecințe catastrofale. El a menționat mai multe postări pe bloguri și forumuri despre Cursor care a șters software folosit pentru gestionarea site-urilor web sau chiar un întreg sistem de operare, inclusiv ani de cercetare pentru o teză de doctorat.
Acțiunea distructivă a agentului AI a lăsat clienții PocketOS fără acces la date esențiale. Software-ul companiei este folosit pentru gestionarea rezervărilor, plăților, alocării vehiculelor și profilurilor clienților.
„Rezervările făcute în ultimele trei luni au dispărut. Noile înregistrări ale clienților, dispărute. Datele de care depindeau pentru operațiunile de sâmbătă dimineață, dispărute,” a scris Crane.
„Fiecare nivel al acestei defecțiuni a afectat persoane care nici măcar nu știau că așa ceva este posibil.”
Compania a reușit să restaureze datele dintr-un backup de trei luni păstrat în afara sediului, dar procesul a durat mai mult de două zile. PocketOS folosește și informații din Stripe, calendare și e-mailuri pentru refacere.
Afacerile de închirieri auto care depind de acest software sunt „operaționale, dar cu lacune semnificative de date,” a precizat Crane.
„Am lucrat personal cu toți clienții intens pe parcursul weekendului pentru a mă asigura că pot continua să funcționeze,” a adăugat el.