Meta udostępnia model AI, który sam sprawdza pracę innych modeli

Meta poinformowała w piątek, że udostępniła partię nowych modeli AI ze swojego działu badawczego, w tym Self-Taught Evaluator, który może pomóc w zmniejszeniu zaangażowania człowieka w proces rozwoju AI. 

Samodoskonalące się modele mogłyby wyeliminować potrzebę często kosztownego i nieefektywnego procesu stosowanego obecnie, zwanego Reinforcement Learning from Human Feedback, który wymaga wkładu od ludzkich adnotatorów, którzy muszą mieć specjalistyczną wiedzę, aby dokładnie oznaczyć dane i zweryfikować, czy odpowiedzi na złożone zapytania matematyczne i pisemne są poprawne.

W sierpniowym artykule Meta szczegółowo opisała narzędzie, w tym wskazała, żę opiera się ono na tej samej technice „łańcucha myśli”, która jest używana w niedawno wydanych modelach o1 OpenAI, aby uzyskać wiarygodne osądy dotyczące odpowiedzi modeli.

Ta technika polega na rozbiciu złożonych problemów na mniejsze logiczne kroki i wydaje się poprawiać dokładność odpowiedzi na trudne problemy z takich przedmiotów, jak nauki ścisłe, kodowanie i matematyka. Badacze Meta wykorzystali dane w całości wygenerowane przez AI do przeszkolenia modelu ewaluatora, eliminując również wkład człowieka na tym etapie.

Jak dowiedział się Reuters od dwu badaczy Meta pracujących przy projekcie, możliwość wykorzystania AI do wiarygodnej oceny innych modeli daje wgląd w możliwą ścieżkę do budowania autonomicznych agentów AI, którzy mogą uczyć się na własnych błędach. Wielu w dziedzinie AI wyobraża sobie takich agentów jako asystentów cyfrowych wystarczająco inteligentnych, aby wykonywać szeroki wachlarz zadań bez ingerencji człowieka.

„Mamy nadzieję, że w miarę jak AI staje się coraz bardziej nadludzka, będzie coraz lepsza w sprawdzaniu swojej pracy, tak aby faktycznie była lepsza od przeciętnego człowieka – powiedział Jason Weston, jeden z badaczy. – Pomysł bycia samoukiem i zdolności do samooceny jest zasadniczo kluczowy dla idei osiągnięcia tego rodzaju nadludzkiego poziomu AI”.

Inne firmy, w tym Google i Anthropic, również opublikowały badania na temat koncepcji RLAIF, czyli Reinforcement Learning from AI Feedback. Jednak w przeciwieństwie do Meta, te firmy nie udostępniają swoich modeli do użytku publicznego.

Pozostałe narzędzia AI wydane przez Meta w piątek obejmowały aktualizację modelu Segment Anything do identyfikacji obrazu, narzędzia, które przyspiesza czas generowania odpowiedzi LLM i zestawy danych, które mogą być używane do wspomagania odkrywania nowych materiałów nieorganicznych.