Jak oszukać AI? Nowy raport CrowdStrike o zagrożeniach dla firm

Specjaliści z firmy CrowdStrike zidentyfikowali pięć nowych typów ataków typu Prompt Injection, które mogą narazić przedsiębiorstwa korzystające z modeli językowych na poważne ryzyko. Nowe techniki pozwalają na przejęcie kontroli nad sztuczną inteligencją poprzez podstępne wprowadzanie instrukcji, które system błędnie rozpoznaje jako zaufane polecenia.

Nowe sposoby na ominięcie cyfrowych strażników

CrowdStrike rozszerzył swoją klasyfikację zagrożeń o metody, które w subtelny sposób zmieniają zachowanie systemów AI. Jedną z nich jest technika dodawania reguł aktywowanych przez konkretny wyzwalacz, gdzie napastnik umieszcza w modelu pozornie niewinną instrukcję, czekającą na późniejszą aktywację. Kolejnym niebezpieczeństwem jest tłumienie tokenów poznawczych, co pozwala cyberprzestępcom na manipulowanie doborem słów przez maszynę w taki sposób, aby uniknąć standardowych mechanizmów odmowy wykonania niebezpiecznego zadania.

Rozbijanie poleceń i fałszywe uprawnienia systemowe

Bardziej złożone ataki wykorzystują algorytmiczny rozkład ładunku, polegający na dostarczaniu złośliwego polecenia w kilku etapach. Każdy z nich z osobna nie budzi podejrzeń, jednak połączone przez model w całość tworzą groźną komendę. Równie niebezpieczne jest wstrzykiwanie specjalnych tokenów, które działają jak podrobione przełączniki sterujące. Dzięki nim treści pochodzące od niezweryfikowanego użytkownika mogą zostać błędnie uznane przez sztuczną inteligencję za priorytetowe wytyczne systemowe, co daje atakującym bardzo szerokie uprawnienia wewnątrz infrastruktury.

Dokumenty jako nośniki infekcji i metody ochrony

Ostatnia z odkrytych metod polega na przemycaniu złośliwych instrukcji w danych kontekstowych, takich jak załączniki do e-maili czy przesyłane dokumenty, które są później analizowane przez AI. Użytkownik, nieświadomy zagrożenia, sam wprowadza niebezpieczny kod do systemu podczas rutynowej pracy z plikami i przesyłania ich do przetworzenia. Aby skutecznie przeciwdziałać tym zagrożeniom, CrowdStrike zaleca organizacjom dokładne modelowanie wszystkich źródeł danych trafiających do AI, znaczące rozszerzenie zakresu testów oraz rozwój inżynierii wykrywania ataków o charakterze złożonym.