Wojna technologicznych tytanów trwa w najlepsze. Na jednym ringu Google, na drugim OpenAI, w tle czai się Anthropic. Walczą nie tylko o miliardy dolarów i rzesze użytkowników, ale też o coś znacznie cenniejszego – o prawo do przechwałek. O to, kto stworzył najmądrzejszy umysł na planecie. A w tej walce argumenty nie są wygłaszane na konferencjach prasowych, lecz przedstawiane w formie twardych liczb pochodzących z testu o tajemniczo brzmiącej nazwie... MMLU.
MMLU nie jest zwykłym benchmarkiem, to ostateczny egzamin dojrzałości, którego boją się najtęższe algorytmy. Jego wynik decyduje o giełdowych notowaniach i nagłówkach w mediach na całym świecie. Co to jest MMLU i dlaczego stał się złotym standardem w ocenie AI? Czas poznać kulisy testu, który oddziela prawdziwych cyfrowych geniuszy od tylko zdolnych. Poznaj szczegóły, które decydują o tym, kto zasiądzie na tronie sztucznej inteligencji.
Egzaminatorzy AI - po co w ogóle testować modele językowe
Aby dogłębnie przeanalizować MMLU (Massive Multitask Language Understanding), należy najpierw uzasadnić konieczność obiektywnej ewaluacji systemów AI. Opieranie się na wrażeniu z konwersacji (tzw. testowaniu heurystycznym) prowadzi do błędów poznawczych. Płynność generowanego języka może fałszywie sugerować poprawność merytoryczną, podczas gdy model prezentuje niezweryfikowane lub błędne dane z dużą pewnością.
Dlatego powstały benchmarki - zestandaryzowane zestawy testów, które pozwalają na obiektywną i porównywalną ocenę. Są one swego rodzaju „kartą wyników” dla AI. Dzięki nim możliwe jest obiektywne porównywanie różnych rozwiązań.
Kiedy Google wypuszcza nowy model Gemini, a Anthropic chwali się Claude'em, jedynym sposobem na realne zestawienie ich możliwości jest spojrzenie na ich wyniki w identycznych, standardowych testach. Pozwala to na wyeliminowanie marketingowych przechwałek.
Benchmarki umożliwiają także precyzyjne mierzenie postępu w rozwoju sztucznej inteligencji. Jeszcze kilka lat temu modele językowe zdobywały w trudnych testach marne 30-40%. Dziś najlepsze z nich przekraczają 90%, co pokazuje skalę i tempo postępu w omawianej dziedzinie.
Co więcej, testy bezlitośnie obnażają, w czym dany model jest słaby. Może świetnie radzi sobie z poezją, ale kompletnie nie potrafi rozwiązać prostego zadania z logiki? Benchmark to wykaże, dając twórcom sygnał, co należy poprawić.
Benchmarki są więc kompasem, który pozwala nawigować w dynamicznym i często chaotycznym świecie dużych modeli językowych. A na mapie tych benchmarków, MMLU świeci wyjątkowo jasno.
MMLU – co to jest i dlaczego modele go nienawidzą
MMLU to skrót od Massive Multitask Language Understanding, co można swojsko przetłumaczyć jako Masowe Wielozadaniowe Rozumienie Języka. Nazwa brzmi niezbyt przyjaźnie i w pełni oddaje charakter tego testu. Stworzony w 2020 roku przez grupę badaczy z uniwersytetów Berkeley i Columbia, miał jeden cel - sprawdzić, czy modele AI posiadają szeroką, ludzką wiedzę, a nie tylko powierzchowną znajomość internetowych ciekawostek.
Co sprawia, że jest on tak wyjątkowy i wymagający? Przede wszystkim MMLU to nie jest test z jednego przedmiotu. Składa się z 57 różnych dziedzin, od przedmiotów humanistycznych, jak historia USA czy filozofia moralności, przez nauki społeczne, jak ekonomia i psychologia, aż po twarde nauki ścisłe, w tym zaawansowaną matematykę, fizykę i informatykę. Jest tam nawet prawo i medycyna.
Model musi być prawdziwym omnibusem, żeby dobrze wypaść. Cały test MMLU składa się z ponad 15 000 pytań wielokrotnego wyboru. Każde pytanie ma cztery możliwe odpowiedzi, z których tylko jedna jest poprawna. Taki format minimalizuje szansę, że model "wymyśli" coś kreatywnego - tutaj liczy się twarda wiedza i precyzja. Musi wskazać poprawną odpowiedź, dokładnie jak na egzaminie.
Pytania w MMLU mogą na przykład dotyczyć prawa, pytając o poprawkę do Konstytucji Stanów Zjednoczonych gwarantującą prawo do sprawiedliwego procesu. Mogą sprawdzać wiedzę z chemii, zadając pytanie o główny produkt reakcji kwasu solnego z wodorotlenkiem sodu, albo mogą testować znajomość filozofii poprzez pytanie o myśliciela najściślej związanego z koncepcją imperatywu kategorycznego. Pytania są celowo formułowane na poziomie licealnym i akademickim, aby sprawdzić głębię wiedzy, a nie umiejętność wyszukiwania prostych faktów.
Jak MMLU upokorzył wczesne modele AI
Najciekawszy jest kontekst historyczny. Kiedy test MMLU został opublikowany, stał się prawdziwym szokiem. Okazało się, że ówczesne, nawet najlepsze modele językowe radziły sobie z nim dramatycznie słabo. Wyniki oscylowały wokół 25-30%. Skoro były cztery odpowiedzi do wyboru, losowe zgadywanie dałoby wynik 25%. Ówczesne cuda techniki były ledwo co lepsze od ślepego trafu.
Według oryginalnej pracy naukowej pt. Measuring Massive Multitask Language Understanding (Hendrycks), nawet modele z rodziny GPT-3 na początku osiągały wyniki w okolicach 43,9%. Ludzki ekspert w tych dziedzinach zdobywa około 89,8%. Pokazało to, jak długa droga czekała jeszcze sztuczną inteligencję. MMLU stał się brutalnym, ale potrzebnym kubłem zimnej wody.
Test jest tak zaprojektowany, aby wymagać od modelu czegoś więcej niż tylko dopasowywania wzorców. Wiele pytań wymaga logicznego rozumowania, łączenia faktów z różnych dziedzin i autentycznego zrozumienia kontekstu. Model nie może zdać testu na podstawie samego odtworzenia, ponieważ pytania są unikalne i nie występują w typowych danych treningowych.
Wyniki MMLU jako pole bitwy technologicznych gigantów
Czasy się jednak zmieniły. Dziś wyniki MMLU to jedno z głównych pól bitwy, na którym giganci technologiczni prężą swoje technologiczne muskuły. Każda premiera nowego, flagowego modelu językowego jest ogłaszana wraz z jego wynikiem w tym właśnie teście. Stało się to swego rodzaju standardem niczym dane o przyspieszeniu od 0 do 100 km/h w świecie motoryzacji.
Liczby mówią same za siebie i pokazują imponującą trajektorię rozwoju. GPT-4 od OpenAI w momencie premiery chwalił się wynikiem 86,4%, co stanowiło ogromny skok jakościowy w porównaniu do poprzedników. Niedługo potem Claude 3 Opus od Anthropic zdołał go przebić, osiągając 86,8%. Niedawno do czołówki dołączył Google Gemini Ultra, który jako pierwszy model oficjalnie osiągnął magiczną barierę 90%.
Wzrost z poziomu 30-40% do ponad 90% w ciągu zaledwie 3-4 lat to tempo rozwoju, jakiego świat technologii dawno nie widział. Ocena dużych modeli językowych za pomocą MMLU dowodzi, że modele nie stają się jedynie lepsze w generowaniu tekstu. One faktycznie akumulują ogromną, usystematyzowaną wiedzę o świecie.
Oczywiście, firmy czasami stosują różne metodyki testowania (np. podają wynik po zadaniu modelowi kilku przykładowych pytań i odpowiedzi, tzw. "few-shot prompting"), co może nieco zaburzać bezpośrednie porównania. Niemniej jednak, ogólny trend jest niezaprzeczalny - MMLU przestał być niezdobytą twierdzą, a stał się standardowym egzaminem dojrzałości.
Sequel, który musiał powstać - MMLU-Pro Benchmark
Jak to w życiu bywa, gdy uczniowie stają się zbyt dobrzy, trzeba utrudnić egzamin. W miarę jak czołowe modele zaczęły zbliżać się do ludzkiego poziomu w oryginalnym MMLU, pojawiły się wątpliwości. Czy one rzeczywiście "pojmują" materiał, czy może po prostu, przez przypadek, w swoich gigantycznych zbiorach danych treningowych natrafiły na bardzo podobne pytania? Jest to tak zwany problem "zanieczyszczenia danych" (data contamination).
Odpowiedzią jest MMLU-Pro. Jest to nowsza, bardziej wymagająca i - zdaniem twórców - cwańsza wersja testu. Czym się różni?
Przede wszystkim, MMLU-Pro stawia na rozumowanie wieloetapowe. Pytania są znacznie bardziej złożone. Zamiast prostego pytania o fakt, pytania MMLU w wersji Pro wymagają od modelu wykonania kilku kroków logicznych, analizy danych, a nawet interpretacji wykresów czy tabel, które są wplecione w pytania tekstowe.
Test stał się bardziej interdyscyplinarny - jedno pytanie może łączyć wiedzę z ekonomii i statystyki. Zwiększono także liczbę odpowiedzi do wyboru, co dodatkowo utrudnia losowe zgadywanie.
Na MMLU-Pro najnowsze AI nie osiągają już tak łatwo spektakularnych wyników. To dowód, że poprzeczka stale rośnie. Ciągłe zaostrzanie testów jest niezbędne, by rozwój AI nie skupiał się na obchodzeniu, a na realnym postępie.
Klasówka z człowieczeństwa
Wiesz już, że MMLU jest jak matura z wiedzy o świecie. Bezlitosny, wszechstronny i absolutnie kluczowy, by ocenić akademicką sprawność modelu. Możemy świętować fakt, że maszyny wkrótce będą miały na świadectwie same szóstki ze wszystkich 57 przedmiotów, ale kiedy wpatrujemy się zafascynowani w wyniki, umyka nam najważniejsza kwestia. Na liście brakuje jednego, 58. przedmiotu. Przedmiotu, którego nie da się ocenić testem wielokrotnego wyboru.
Tym przedmiotem jest mądrość. Moralny kompas. Zdrowy rozsądek. Empatia. Tego nie ma w żadnym zbiorze danych. Zatem prawdziwym wyzwaniem nie jest zbudowanie maszyny, która zdobędzie 100% w MMLU. Wyzwaniem jest to, co zrobimy z nią potem. Dlatego ostateczny sukces sztucznej inteligencji nie będzie zależał od tego, jak dobrze zda ona nasze testy, ale od tego, jak mądrze my zdamy test z jej wykorzystania.
