Katastrofa z udziałem AI. Agent Claude usunął dane firmy i kopie zapasowe

Jedna operacja API, dziewięć sekund i znikają 3 miesiące pracy. Taki scenariusz opisał założyciel PocketOS po awarii z udziałem agenta AI opartego na modelu Claude. Sprawa pokazuje, jak kruche potrafią być zabezpieczenia w środowiskach, gdzie automatyzacja spotyka się z niedoskonałą architekturą chmurową.

Do incydentu doszło w firmie PocketOS, dostarczającej oprogramowanie SaaS dla branży wynajmu samochodów. Jak relacjonuje jej założyciel, Jer Crane, agent programistyczny Cursor działający na modelu Claude Opus 4.6 miał wykonać rutynowe zadanie w środowisku testowym. Zamiast tego podjął samodzielną decyzję o usunięciu wolumenu danych.

Wczoraj po południu agent AI usunął naszą produkcyjną bazę danych i wszystkie kopie zapasowe jednym wywołaniem API. Zajęło to 9 sekund – napisał Crane w poście na X.

Problem polegał na tym, że system nie rozróżnił poprawnie środowisk, a operacja wykonana w stagingu objęła także dane produkcyjne. Co więcej, backupy znajdowały się na tym samym wolumenie, więc zostały skasowane razem z nim.

Błąd AI czy architektury chmury?

Jedną z przyczyn była także platforma Railway, dostawca infrastruktury chmurowej. Crane wskazuje, że to jej projekt znacząco pogłębił skalę strat. API pozwalało na destrukcyjne operacje bez dodatkowego potwierdzenia, a tokeny dostępu miały szerokie uprawnienia obejmujące różne środowiska.

Sam agent AI po zdarzeniu wygenerował coś na kształt „wyjaśnienia”, przyznając, że działał na podstawie przypuszczeń i nie sprawdził dokumentacji. W praktyce oznacza to klasyczny problem znany z systemów autonomicznych. Model podejmuje decyzję bez pełnego kontekstu, a brak ograniczeń systemowych pozwala tę decyzję wykonać.

Ręczna odbudowa i realne konsekwencje

Skutki okazały się dotkliwe nie tylko dla PocketOS, lecz także dla jego klientów. Firma musiała odtwarzać dane ręcznie, korzystając z historii płatności, integracji kalendarzy i potwierdzeń mailowych. Proces trwał wiele godzin i angażował użytkowników końcowych.

Na szczęście istniała kopia zapasowa sprzed trzech miesięcy, co ograniczyło skalę utraty danych. Nadal jednak oznacza to lukę obejmującą bieżącą działalność.

Wnioski na przyszłość

Crane wskazuje kilka kluczowych elementów, które wymagają poprawy. Chodzi o obowiązkowe potwierdzenia dla operacji krytycznych, lepsze zarządzanie uprawnieniami API, oddzielenie backupów od danych źródłowych oraz wprowadzenie ścisłych ograniczeń dla agentów AI.

W praktyce oznacza to jedno. Nawet najbardziej zaawansowane modele nie zastąpią podstawowych zasad bezpieczeństwa IT. Bez nich każda automatyzacja może stać się źródłem poważnych strat.