Siri z ChatGPT potyka się na prostych faktach dotyczących sportu

Najnowsza integracja Siri z ChatGPT, szeroko reklamowana jako przełomowe ulepszenie asystentki głosowej Apple, przysporzyła firmie nie lada kłopotów. Według opublikowanych raportów Siri regularnie myli proste fakty sportowe, a najbardziej kuriozalnym przykładem jest przypisanie Philadelphia Eagles aż 33 nieistniejących zwycięstw w Super Bowl.

Niedawno wprowadzona integracja Siri z ChatGPT miała być znaczącym krokiem naprzód w dziedzinie asystentów głosowych.

„Bardzo rozreklamowana integracja Siri z ChatGPT firmy Apple mogła dodać mnóstwo przydatnych funkcji, ale najwyraźniej niewiele zrobiła, aby poprawić wiedzę asystenta cyfrowego na temat sportu” – donosi TechSpot, wskazując na liczne błędy w odpowiedziach Siri na pytania o zwycięzców Super Bowl.

Raport Paula Kafasisa z One Foot Tsunami ujawnił, że gdy Siri pytano kolejno „Kto wygrał Super Bowl?” dla numerów od 1 do 60, asystentka Apple trafnie wskazała mistrzów zaledwie przy 20 z 58 dotychczas rozegranych finałów. Oznacza to skuteczność na poziomie 34%. Największym zaskoczeniem okazały się jednak wielokrotne błędy, w tym seria 15 pomyłek z rzędu (od Super Bowl XVII do XXXII). Co więcej, w pewnym momencie Siri „uznała”, że Philadelphia Eagles zdobyli aż 33 tytuły mistrzowskie NFL, co jest oczywiście dalekie od prawdy.

Wszystkie błędne odpowiedzi zostały szczegółowo zebrane przez Kafasisa w udostępnionym przez niego arkuszu kalkulacyjnym, dostępnym na jego blogu. Do podobnych wniosków doszedł John Gruber z Daring Fireball, który porównał działanie kilku asystentów i wyszukiwarek – Google, Anthropic oraz DuckDuckGo. Te bez większego trudu podawały poprawne wyniki poprzednich rozgrywek i umiejętnie radziły sobie z pytaniami o przyszłe Super Bowl, które jeszcze się nie odbyły.

Siri zawodzi nie tylko w zakresie futbolu amerykańskiego. Gdy Daring Fireball zapytał o zwycięzcę koszykarskich mistrzostw szkół średnich w Północnej Dakocie z 2004 roku, zarówno ChatGPT, jak i Kagi precyzyjnie wskazały właściwą drużynę. ChatGPT dodał nawet link do nagrania z finału. Siri jednak po raz kolejny przedstawiła nieprawidłowe dane.

Co ciekawe, „stara” Siri, przed erą AI, przynajmniej uczciwie przyznawała, że nie zna odpowiedzi, zwykle przekierowując użytkownika do wyszukiwarki internetowej. Nowe wcielenie, napędzane przez ChatGPT, potrafi z kolei „przekonująco kłamać”, co według ekspertów jest przykładem tzw. halucynacji AI. Zarówno Kafasis, jak i Gruber zgodnie podkreślają, że Apple czeka jeszcze sporo pracy, by dopracować Siri do poziomu zgodnego z oczekiwaniami użytkowników, zwłaszcza w tak podstawowych zadaniach jak przytaczanie faktów z historii sportu.