ChatGPT tworzy w większości niezabezpieczony kod, ale nie powie Ci o tym, jeśli nie zapytasz
Badacze z Uniwersytetu w Quebecu, w Kanadzie, przeprowadzili badania nad kodem generowanym przez ChatGPT, który jest inteligentnym botem do przetwarzania tekstu od OpenAI. W wyniku badań stwierdzili, że ChatGPT w wielu przypadkach generuje kod o niskim poziomie bezpieczeństwa. Mimo że bot był zdolny do wskazania swoich błędów, jednak nie informował użytkowników o swoich niedociągnięciach.
Badacze poprosili ChatGPT o wygenerowanie 21 programów w różnych językach programowania takich jak C, C++, Python i Java, każdy z programów miał przedstawiać określoną podatność bezpieczeństwa, taką jak korupcja pamięci, odmowa usługi i wady związane z deserializacją oraz kryptografią.
W wyniku badań stwierdzono, że ChatGPT generuje kod niskiej jakości w większości przypadków. W pierwszej próbie bot wygenerował tylko pięć bezpiecznych programów spośród 21. Po dalszych próbach, ChatGPT był w stanie wygenerować siedem innych bezpiecznych programów, ale tylko w odniesieniu do określonej podatności, a nie ogólnie w sensie wolnym od podatności na exploity.
Badacze wskazują, że problem wynika z faktu, że ChatGPT nie zakłada wrogiej interpretacji wykonywanego kodu. Bot sugeruje, że problemy związane z bezpieczeństwem mogą być do obejścia poprzez „niepodawanie niewłaściwych danych” do programu, który wygenerował.
Badania pokazały, że ChatGPT może być niebezpieczny w pewnych zastosowaniach, takich jak generowanie kodu do zadań wymagających bezpieczeństwa, a badacze twierdzą, że konieczne jest uświadomienie użytkowników o tym, że kod wygenerowany przez ChatGPT może być niewystarczająco bezpieczny.