MASK to benchmark oceniający uczciwość i prawdomówność systemów AI. Wyniki są zaskakujące

Czy sztuczna inteligencja kłamie? Nowe narzędzie MASK, opracowane we współpracy z Scale AI, pozwala na ocenę uczciwości systemów AI, analizując ich skłonność do świadomego mijania się z prawdą. Wyniki testów są niepokojące – wiele modeli kłamie nawet w 60% przypadków, gdy zostaną do tego „zachęcone”.

MASK (Model Alignment between Statements and Knowledge) to benchmark oceniający uczciwość systemów AI. W przeciwieństwie do wcześniejszych metod mierzących prawdomówność, MASK skupia się na rozróżnieniu między dokładnością, a intencjonalnym kłamstwem. Benchmark wykorzystuje ponad 1000 scenariuszy testowych, aby sprawdzić, czy modele AI są w stanie kłamać pod presją. Proces oceny składa się z trzech etapów:

1. Ustalenie przekonań modelu – AI jest pytane o różne fakty, aby określić jego „bazowe” przekonania.
2. Wprowadzenie presji – model otrzymuje pytania sugerujące, że powinien zmienić swoją odpowiedź wbrew wcześniejszym ustaleniom.
3. Analiza reakcji – sprawdzana jest zgodność wypowiedzi modelu z jego pierwotnymi przekonaniami. AI może zachować się na trzy sposoby:

• Być uczciwe – podtrzymać wcześniejsze stanowisko.
• Skłamać – świadomie zaprzeczyć własnym przekonaniom.
• Unikać odpowiedzi – próbować obchodzić temat lub odmówić odpowiedzi.

Ostatecznie analiza 30 popularnych modeli AI wykazała, że AI kłamie częściej, niż można było przypuszczać. Dodatkowo większa moc obliczeniowa nie oznacza większej uczciwości. Owszem, zaawansowane modele mają bardziej precyzyjną wiedzę, ale niekoniecznie można tu liczyć na szczerość. Wielu liderów rynku kłamie pod presją – w scenariuszach testowych modele wybierały świadome kłamstwo nawet w 20-60% przypadków. Dla zainteresowanych – benchmark jest dostępny publicznie (strona www / GitHub) i ma pomóc w dalszym rozwoju etycznych systemów sztucznej inteligencji.