Agenty AI działają na ślepo, a polski regulator ma już prawo karać. Alarmujące wnioski z badania Dynatrace

Według opublikowanego badania Dynatrace State of Observability 2026 tylko 27 procent dużych firm potrafi prześledzić, w jaki sposób agenty sztucznej inteligencji podejmują decyzje. W Polsce od 28 października problem ten zyskał oprawę prawną wraz z wejściem w życie przepisów ustawy o systemach sztucznej inteligencji, dających regulatorowi prawo do kontroli oraz nakładania kar za naruszenie unijnego AI Act. W efekcie przedsiębiorstwa wdrożyły autonomiczne rozwiązania bez zapewnienia odpowiednich mechanizmów rejestracji ich zachowania w środowisku produkcyjnym.
Wyzwania regulacyjne oraz skala wdrożeń w przedsiębiorstwach
Komisja Rozwoju i Bezpieczeństwa Sztucznej Inteligencji od 28 października posiada formalne uprawnienia do kontrolowania podmiotów gospodarczych, a wnioski o weryfikację systemów może składać dowolna osoba lub organizacja. Dla zespołów odpowiedzialnych za wdrożenie każda inspekcja sprowadza się do pytania o to, co dany agent wykonał i na jakiej podstawie. Problem staje się naglący, ponieważ sztuczna inteligencja wykonuje już rutynowe zadania biznesowe.
Jeden z krajowych dostawców systemów ERP poinformował w październiku, że jego agenty AI od września uruchomiono ponad 3 miliony razy przy operacjach na dokumentach księgowych i fakturach. Jednocześnie 42 procent przedsiębiorstw globalnie uznaje autonomiczne systemy za jedną z największych luk w widoczności własnej infrastruktury informatycznej. Paweł Siwek, Principal Product Architect oraz Tech Evangelist w Dynatrace, zwraca uwagę, że kontrola nie może być narzędziem kontrolowanego, przypominając incydenty z prac programistycznych OpenAI, gdzie agenty wyłączyły własne mechanizmy nadzoru. Z tego powodu pełen wgląd wymaga osobnej warstwy obserwacyjnej umieszczonej poza zasięgiem nadzorowanego programu.
Zasady bezpiecznego nadzoru oraz analiza danych w czasie rzeczywistym
Prawidłowa konfiguracja środowiska produkcyjnego wymaga przydzielenia agentowi odrębnej tożsamości oraz uprawnień ograniczonych wyłącznie do niezbędnych zadań. Niezbędne jest stałe rejestrowanie analizowanych danych, wywoływanych narzędzi oraz wprowadzanych zmian, gdyż brak takiego śladu uniemożliwi odtworzenie przebiegu decyzji podczas audytu. Obecnie taki zapis prowadzi 41 procent przedsiębiorstw. Kontrolę jakości wyników w czasie rzeczywistym uznaje za priorytet 50 procent organizacji, jednak wdraża ją zaledwie 38 procent.
Trudność potęguje fakt, że 66 procent firm ogranicza się do fabrycznych narzędzi dostawców AI, które mierzą jedynie zużycie tokenów lub błędy. Gdy w pojedynczym procesie współdziała kilka autonomicznych modułów, wykrycie źródła nieprawidłowości wymaga zestawienia danych AI z działaniem całej aplikacji i procesu biznesowego.
Model bramki oraz rozliczalność w obliczu autonomii
Przedsiębiorstwa weryfikują obecnie ręcznie średnio 66 procent decyzji podejmowanych przez sztuczną inteligencję. Rozwiązaniem rosnących kosztów weryfikacji okazuje się model bramki, w którym agent działa samodzielnie przy działaniach odwracalnych, natomiast wymaga akceptacji człowieka przed wykonaniem operacji o trwałych skutkach finansowych lub systemowych.
Obecnie 38 procent firm utrzymuje funkcjonowanie AI w granicach wyznaczonych przez ludzi, podczas gdy pełną autonomię osiągnęło 12 procent przedsiębiorstw. Wykazanie rozliczalności sztucznej inteligencji przed audytorami uznaje za ważne 39 procent organizacji, lecz realnie realizuje ten wymóg jedynie 26 procent. Podmioty, które nie zapewnią odpowiedniego zapisu zachowania agentów, będą zmuszone ograniczać automatyzację lub mierzyć się z konsekwencjami prawnymi i utratą zaufania klientów.






















