Unijny wymóg znakowania AI niesie ukryty koszt dla działania modeli

Wprowadzenie mechanizmów znakowania wodnego w modelach językowych, wymagane przez nowe przepisy Unii Europejskiej, wpływa na sposób wykonywania zadań przez agenty sztucznej inteligencji. Badania przeprowadzone przez firmę Lasso Security wykazały, że cyfrowe etykietowanie tekstu zmniejsza precyzję używanych narzędzi oraz osłabia filtrację niebezpiecznych poleceń. Zjawisko to pojawia się w momencie modyfikacji procesu doboru kolejnych słów przez algorytm.

Wpływ modyfikacji wyboru słów na wykonywanie poleceń

Zgodnie z wymogami aktu o sztucznej inteligencji Unii Europejskiej twórcy oprogramowania muszą stosować maszynowo czytelne znaczniki w treściach generowanych przez algorytmy. Technologia SynthID-Text, opracowana przez Google DeepMind i wdrożona między innymi przez Anthropic oraz OpenAI, działa poprzez subtelną zmianę prawdopodobieństwa doboru poszczególnych wyrazów za pomocą tajnego klucza. Eksperci z Lasso Security zauważyli jednak, że zmiana ta wywołuje tak zwany dryf próbkowania, który bezpośrednio przekłada się na decyzje podejmowane przez agenty. W testach zrealizowanych na wzorcowym zestawie zadań BFCL v4 dokładność wywoływania funkcji spadła w przypadku sześciu z siedmiu badanych modeli open-weight. Średnia zmiana wyników wyniosła 6,5 procenta, przy czym w modelu Llama-3.1-8B najczęstszym błędem było przekazywanie błędnych argumentów do poprawnie wybranych funkcji.

Większa podatność na manipulacje i wrogie komendy

Analiza Lasso Security wykazała również, że znakowanie wodne negatywnie wpływa na mechanizmy odmowy wykonywania szkodliwych poleceń, szczególnie w warunkach ataku typu prompt injection. Badaczka Andrea Siposova przetestowała dwieście niebezpiecznych zapytań i zauważyła, że po dodaniu wrogiej instrukcji sugerującej wyłączenie filtrów bezpieczeństwa, modele ze znacznikiem wodnym znacznie częściej ulegały manipulacji. W przypadku modelu gemma-3-27b odsetek zmienionych decyzji o odmowie wzrósł z 6 procent do 23,5 procent po zastosowaniu ataku. Jak wyjaśniła Andrea Siposova z Lasso Security:

Znakowanie wodne zostało zaprojektowane tak, aby było niezauważalne dla czytelnika, ale wiemy, że kiedy zmienia się cokolwiek w tym, co generuje model, przyniesie to pewne kompromisy i gdzieś się ujawni.

Potrzeba osobnych testów bezpieczeństwa przed wdrożeniem

Autorzy raportu podkreślają, że skala przesunięć w zachowaniu algorytmów zależy od zastosowanego klucza oraz architektury samego modelu. Wyniki prac nie oznaczają konieczności rezygnacji z potwierdzania pochodzenia treści, lecz wskazują na pilną potrzebę uwzględniania oznakowanych modeli w testach typu red-teaming. Dostawcy systemów nie mogą zakładać neutralności cyfrowych znaków wodnych, gdyż nawet niewielka zmiana wygenerowanego tokenu potrafi zmienić ścieżkę pliku, odbiorcę wiadomości, a nawet kwotę transakcji. Jak więc widać, cyfrowy znak wodny zwiększa przejrzystość AI, ale odbywa się to bezpośrednio kosztem jej bezpieczeństwa i precyzji.