Symetria zbadała ChatGPT. Dlaczego sztuczna inteligencja nas okłamuje? Czy AI wstydzi się powiedzieć „nie wiem”?

Z ChatGPT lubimy rozmawiać, zadajemy dodatkowe pytania i chcemy pogłębić wiedzę. Gdy już raz skorzystamy z tego narzędzia, z reguły chcemy więcej i więcej. Co ciekawe jednak nawet osoby zawodowo zajmujące się technologiami nie do końca rozumieją zasady działania ChatGPT i choć co prawda aż 77% badanych przez Symetrię, polską firmę z branży UX, to zaledwie nieco ponad 40% pyta nowe narzędzie o źródła. ChatGPT jednak nawet wtedy potrafi nas okłamać. Dlaczego to robi?

Przyglądając się liczbom bezwzględnym popularność ChatGPT wygląda imponująco. W styczniu tego roku, czyli u progu masowego korzystania z tego narzędzia, aktywnych użytkowników było 100 mln. W kwietniu już ponad 170 milionów, a łączna liczba odwiedzin już w maju przekroczyła dwa miliardy.

Punktem przełomowym było dodanie funkcji ChatGPT do wyszukiwarki Bing stworzonej przez Microsoft. Jeszcze zanim zaczęła się era SI, Google miało ok. 94% udziału w rynku wyszukiwarek. Według portalu Statista w pewnym momencie w USA udział Google spadł nawet o 10%. Dziś znowu najpopularniejsza wyszukiwarka notuje w USA wynik w granicach 90%, ale Bing ma już ponad 6% udziałów w rynku. W skali europejskiej czy węziej polskiej zmiany są jednak jeszcze mało widoczne. Nadal to „wujek Google” jest zdecydowanym hegemonem w kwestii przeszukiwania internetu. Gra jest jednak warta świeczki, bo jak przekonuje sam Microsoft każdy procent zwiększonych udziałów na globalnym rynku to aż dwa miliardy przychodów więcej.

Podstawowa różnica między oboma sposobami wyszukiwania informacji? ChatGPT prowadzi z użytkownikami rozmowę i odpowiada na pytania (czyli prompty). Szukający informacji nie musi już się zastanawiać jakie wpisać hasło w odpowiednie pole, żeby znaleźć jak najpełniejszą odpowiedź.

–  W sieci szybko zaczęły pojawiać się informacje jak korzystać z ChataGPT i ułatwiać sobie codzienne czynności. Użytkownicy ChatGPT zaczęli nie tylko wpisywać „prompty” dotyczące wykonania konkretnych zadań. Szukają również informacji, co było dotychczas domeną klasycznych wyszukiwarek. Choć w sieci można trafić na wiele artykułów, które opisują jak ChatGPT zmieni świat wyszukiwania, to brakowało nam perspektywy użytkownika. A tylko znając tę perspektywę, będziemy tworzyć produkty, które zarówno realizują cele biznesowe jak i dbają o pozytywne doświadczenia odbiorców – podkreśla Monika Banach Innovation Expert w Symetrii, polskiej firmy z branży UX.

ChatGPT uzależnia

Wspólnie z Krzysztofem Kozakiem, który w Symetrii również zajmuje się nowymi technologiami, przeprowadzili w badanie wśród grupy innowatorów i wczesnych naśladowców, mające na celu zbadać jak użytkownicy radzą sobie z ChatGPT. To o tyle ważne, że ich działania związane z ChatGPT – z racji doświadczenia zawodowego i technologicznego – wyprzedzają te, które mogą niebawem pojawić się w grupie masowych użytkowników.

W ankiecie wzięli udział m.in. informatycy, ale też pracownicy mediów czy ludzie związani zawodowo z edukacją, czy światem finansów. Większość z badanych miała już ponad miesięczne doświadczenie z korzystania z narzędzia stworzonego przez OpenAI, a ponad 70% sprawdzało rozwiązania ChatGPT kilka razy dziennie.

Co ciekawe blisko 90% badanych mimo wykrycia wad i niedoskonałości narzędzia decydowało się korzystać z tej formy wyszukiwania informacji coraz częściej. Oznacza to, że sposób prezentowania treści jest dla odbiorcy ciekawy, a samo korzystanie z promptów staje się intuicyjne.

– W momencie przeprowadzania ankiety od pojawienia się ChatGPT minęło pół roku. Mogłoby się jednak wydawać, że minęło przynajmniej kilka lat. Zmiany w zachowaniu konsumentów są już tak znaczące, że wiele osób, szczególnie „grupa innowatorów”, nie wyobraża sobie powrotu do poprzedniej ery. Mamy do dyspozycji potężne narzędzie, do którego bardzo szybko i łatwo się przyzwyczaić. ChatGPT pomaga nam lepiej pisać, tłumaczy trudne zagadnienia, daje podpowiedzi do życia biznesowego, ale też prywatnego. Najbardziej imponujący jest fakt, że aż 41% z użytkowników ChatGPT wpisuje bezpośrednio link do strony w pasku przeglądarki. Prawie każda firma mogłaby o tym marzyć – komentuje Piotr Bombol, założyciel Adaily, platformy dla marketerów i jeden z ankietowanych przez Symetrię.

Lubimy i korzystamy, ale czy weryfikujemy?

Naturalny język i konwersacyjny styl udzielanych wypowiedzi spowodował, że każdy badany choć raz dopytywał narzędzie o bardziej szczegółowe wypowiedzi. Często lub zawsze robiło tak ponad 60% ankietowanych. Dla podobnej wielkościowo grupy informacje pozyskane za pomocą ChatGPT nie są jednak wystarczające. Osoby te przechodzą jeszcze na zewnętrzne źródła informacji, aby pogłębić pozyskaną w tym narzędziu wiedzę.

Aż 77% osób uczestniczących w badaniu trafiło na nieprawdziwe informacje w wynikach wyszukiwania. Mimo tego nie wszyscy z nich wyrobili w sobie nawyk krytycznego podejścia do przedstawianych wiadomości. Większość użytkowników nie sprawdza bowiem źródeł uzyskanych odpowiedzi. O te zapytało zaledwie 41% respondentów, przy czym zdecydowana większość z nich wskazała, że natrafiła na problemy chcąc odnaleźć wskazane przez ChatGPT odnośniki do stron, z których rzekomo pochodzą informacje do przygotowanych zapytań.

Warto bowiem pamiętać, że ChatGPT nie jest wyszukiwarką internetową tylko modelem językowym, którego zadaniem jest kontynuowanie tekstu, tak aby generować adekwatną do „promptu” treść. Brzmiącą tak, jakby napisał ją człowiek. Proces generowania przez ChatGPT odpowiedzi na postawione przez użytkownika pytanie różni się zatem od wyszukiwarki nie tylko na poziomie interakcji, ale również kształtem i jakością otrzymanego rezultatu.

– Wynikami nie są już treści stron www, których rzetelność można ocenić m.in. na podstawie autorytetu autorów lub portali, jakości powiązanych źródeł czy daty publikacji treści. Odpowiedzią ChatGPT jest tekst, wygenerowany na podstawie modelu językowego wytrenowany na olbrzymim zbiorze danych treningowych, które jednak nie pokrywają wszystkich możliwych tematów i koncepcji. Dodatkowo zbiór ten mógł zawierać błędy, co może przekładać się czasami na stronniczość odpowiedzi lub zawarte w nich pomyłki. Choć wiele odpowiedzi ChatGPT jest zaskakująco dobrych i może zachwycać swoją błyskotliwością, ciężko jest im w pełni zawierzyć. Prostota użycia narzędzia i szybkość otrzymania odpowiedzi nie gwarantują jej jakości i poprawności – zaznacza Paweł Nowak. kolejny ankietowany i projektant UX oraz założyciel NOWY i WUD Silesia.

Sztuczna inteligencja wstydzi się powiedzieć „nie wiem”

Dlaczego ChatGPT kłamie? Bo użytkownik oczekuje odpowiedzi i nie przyjmie słów „nie wiem”. I SI to wie. Dlatego wprowadza w błąd, nawet w tak przekonujący sposób, że jest w stanie wyświetlić linki źródłowe, które jednak prowadzą w internetową pustkę – do nieistniejących stron. Nazywa się to halucynacją – udzielaniem odpowiedzi, mimo że nie zna się właściwego rozwiązania, więc wyświetla „najbardziej prawdopodobną wersję”.

– ChatGPT to najszybciej rosnąca aplikacja na świecie, która na niespotykaną dotąd skalę zyskuje coraz szersze grono użytkowników. Aż 73% osób uznało, że ChatGPT lepiej rozumie intencje zadawanego pytania niż tradycyjna wyszukiwarka.  W rozpoczynającym się właśnie wyścigu, na wdrażanie narzędzi konwersacyjnych opartych na AI, warto zrozumieć i uwzględnić potrzeby użytkowników. Dzięki temu ten nowy sposób komunikacji człowiek-komputer ma szansę stać się pozytywnym i zapamiętywanym doświadczeniem – mówi Monika Banach z Symetrii.

Natomiast Krzysztof Kozak przekonuje, że warto już dziś lepiej poznawać możliwości AI, bo technologia ta zostanie z nami na długo.

– Według respondentów korzystanie z ChatGPT do wyszukiwania informacji przynosi bowiem zadowalające efekty. Największym wyzwaniem jest według mnie edukacja i przekazanie użytkownikom (klientom) choćby podstawowej wiedzy czym jest i jak działa AI. Nasze badanie pokazało, że nawet osoby pracujące na co dzień z technologią nie rozumieją w pełni czym jest ChatGPT. Im mniejsze zrozumienie, tym większa podatność na manipulację i częściej popełniania się też błędy, których można uniknąć przy większej kontroli nad odpowiedziami. Może to skutecznie zniechęcić klientów do tej obiecującej technologii, a firmy narazić na ryzyko strat finansowych lub wizerunkowych – podsumowuje Krzysztof Kozak z Symetrii.

Raport Symetrii jest do pobrania tutaj.