Sufit współczesnego AI. Dlaczego LLM-y potrafią optymalizować, ale nie potrafią rewolucjonizować?

Naukowcy z MIT i uniwersytetów partnerskich (Yuan Cao oraz Haiqian Yang) opublikowali pracę naukową wskazującą na fundamentalne ograniczenia obecnych systemów sztucznej inteligencji, które uniemożliwiają im dokonywanie przełomowych innowacji. Eksperci proponują model redukcji rozbieżności poznawczej, który ma pomóc maszynom w samodzielnym tworzeniu nowych pojęć i metod oceny ich przydatności.

Granice współczesnych modeli językowych

Współczesne systemy sztucznej inteligencji odnoszą sukcesy w rozwiązywaniu problemów, ale robią to w ramach sztywno określonych struktur dostarczonych przez człowieka. Modele te działają w oparciu o ustalony słownik pojęć, przestrzeń dopuszczalnych rozwiązań oraz kryteria sukcesu zdefiniowane z góry. Takie podejście pozwala na sprawne przeszukiwanie znanych schematów, ale ogranicza zdolność do generowania nowej wiedzy, która wymagałaby zmiany samych ram poznawczych. Zdaniem badaczy, obecne sukcesy w kodowaniu czy dowodzeniu twierdzeń wynikają głównie z faktu, że reguły w tych dziedzinach są formalne i łatwe do sprawdzenia przez zewnętrzne narzędzia.

Słownik i weryfikacja jako bariery rozwoju

Autorzy pracy definiują dwa kluczowe wyzwania, które oddzielają dzisiejsze technologie od prawdziwie otwartej inteligencji: lukę słownikową oraz lukę weryfikatora. Pierwsza z nich dotyczy trudności w wymyślaniu i utrwalaniu nowych prymitywów reprezentacji, zamiast tylko łączenia tych już istniejących. Druga bariera, czyli luka weryfikatora, wiąże się z niemożnością rzetelnej oceny wartości nowej koncepcji w momencie jej powstania. Często pełny potencjał innowacji staje się widoczny dopiero po jej wielokrotnym wykorzystaniu w przyszłości, co dla obecnych algorytmów optymalizujących krótkoterminowe cele jest niemal nieuchwytne.

Inteligencja jako proces zmniejszania luk poznawczych

W celu rozwiązania tych problemów zaproponowano jednolity model inteligencji rozumiany jako redukcja rozbieżności poznawczych. W tym ujęciu procesy myślowe są ciągiem transformacji zmierzających do zminimalizowania różnicy między obecnym stanem wiedzy a pożądanym celem. Innowacja staje się konieczna, gdy dotychczasowy sposób opisu rzeczywistości nie pozwala na skuteczne rozwiązanie narastających napięć lub wyjaśnienie nowych zjawisk. Inteligencja nie polega przecież wyłącznie na operowaniu na znanych jednostkach atomowych, ale na przekształcaniu samej przestrzeni reprezentacji, by wcześniej nieosiągalne wzorce stały się możliwe do zrozumienia.

Droga do pełnej autonomii innowacyjnej

Badacze opracowali drabinę autonomii innowacyjnej, dzieląc systemy na cztery poziomy, od L0 do L3. Większość dzisiejszych asystentów językowych i agentów zajmuje najniższe stopnie, operując w stałych przestrzeniach i korzystając z zewnętrznych metod weryfikacji. Poziom L3, określany jako pełna autonomia w innowacjach otwartych, pozostaje obecnie nieobsadzony. Osiągnięcie go wymaga odejścia od prostego przewidywania kolejnego elementu w ciągu danych na rzecz celów nagradzających użyteczne zmiany w strukturze wiedzy. Przyszłe systemy będą musiały posiadać trwałą pamięć dla nowo stworzonych pojęć oraz mechanizmy weryfikacji zdolne do ewolucji wraz z rozwojem samej technologii. Link do pracy naukowej znajduje się TUTAJ.