AI miało być coraz mądrzejsze, szybsze i tańsze. W praktyce zwykle dostajemy prosty rachunek - im większy model, tym większy apetyt na pamięć, energię i sprzęt. Google twierdzi jednak, że da się mocno odchudzić kluczowy element działania dużych modeli bez psucia jakości.
Wczoraj na scenę wkroczył TurboQuant - nowa technika kompresji, która według Google pozwala zmniejszyć pamięć KV co najmniej 6 razy, zejść do 3-bitowej kwantyzacji bez utraty jakości i przyspieszyć obliczanie attention logits nawet do 8 razy na układach NVIDIA H100.
Gdy za takimi deklaracjami stoją konkretne benchmarki oraz publikacja szykowana na ICLR 2026, temat musi być gruby i z pewnością sporo namiesza na scenie współczesnej AI.
Google chce mniej pamięci, więcej sensu
W świecie modeli językowych pamięć jest równie ważna jak moc obliczeniowa. Google opisuje problem wprost - wektory, czyli matematyczne reprezentacje informacji używane przez AI, potrafią zjadać ogromne ilości pamięci, a jednym z głównych wąskich gardeł staje się tak zwany KV cache, czyli podręczna pamięć przechowująca dane potrzebne podczas generowania odpowiedzi.
Właśnie w takim miejscu pojawia się TurboQuant. Według Google nowa metoda kompresji pozwala mocno zmniejszyć rozmiar danych używanych przez model, a przy tym zachować jakość działania bez strat w dokładności . Gdy wielkie modele zaczynają tyć szybciej niż budżety działów IT, podobna obietnica od razu przyciąga uwagę.
Liczby, które robią robotę
Najmocniejsze fragmenty całej zapowiedzi kryją się w statystykach. Google podaje, że TurboQuant potrafi skompresować KV cache do zaledwie 3 bitów bez trenowania od nowa i bez pogorszenia dokładności modelu, a w testach długiego kontekstu ogranicza rozmiar pamięci klucz-wartość co najmniej 6 razy.
Na tym lista się nie kończy. W przypadku obliczania attention logits, czyli jednego z ważnych etapów działania modelu, 4-bitowy TurboQuant osiąga według Google nawet do 8 razy wyższą wydajność względem niekwantyzowanych 32-bitowych kluczy na akceleratorach NVIDIA H100. Krótko mówiąc... mniej pamięci, większa szybkość i brak dramatów w jakości odpowiedzi - pakiet, na który branża patrzy bardzo uważnie.
O co w tym chodzi?
Sama idea nie sprowadza się do prostego... ściśnij plik i gotowe. Google tłumaczy, że TurboQuant działa w dwóch etapach, najpierw stosuje metodę PolarQuant do wysokiej jakości kompresji, a później wykorzystuje QJL, czyli Quantized Johnson-Lindenstrauss, żeby skorygować drobny błąd pozostały po pierwszym kroku.
PolarQuant przekształca dane do układu biegunowego, dzięki czemu można ograniczyć narzut pamięci, który w klasycznych metodach kwantyzacji często zjada część korzyści. QJL idzie jeszcze dalej i sprowadza wynik do pojedynczych bitów znaku, przy zachowaniu relacji potrzebnych modelowi do liczenia podobieństw i uwagi . W praktyce cały patent sprowadza się do prostego celu - zachować sens danych, a wyrzucić kosztowny nadmiar.
Testy nie kończą się na jednym benchmarku
Google sprawdzało nowe algorytmy na kilku dobrze znanych zestawach testowych dla długiego kontekstu, w tym LongBench, Needle In A Haystack, ZeroSCROLLS, RULER i L-Eval, korzystając z otwartych modeli Gemma i Mistral. Według nich TurboQuant osiągał optymalne wyniki pod względem zniekształcenia iloczynu skalarnego i recall, a przy tym minimalizował zużycie pamięci KV.
Szczególnie mocno wybrzmiewa fragment o zadaniach typu needle-in-a-haystack, gdzie model ma odnaleźć drobny szczegół ukryty w ogromnej ilości tekstu. Google twierdzi, że TurboQuant zachował tam perfekcyjne wyniki końcowe, jednocześnie znacząco redukując zużycie pamięci. Jeśli deklaracje wytrzymają starcie ze światem AI, konkurencja będzie miała o czym myśleć.
Po co komu taki wynalazek?
Najbliższe zastosowanie jest dość oczywiste - większe modele, dłuższy kontekst i niższy koszt działania. Google pisze wprost, że prace mają pomóc w rozwiązaniu problemu wąskiego gardła KV cache w systemach pokroju Gemini, gdzie każda oszczędność pamięci przekłada się na wydajność i koszty działania.
Drugi obszar jest równie ważny, a chwilami nawet bardziej praktyczny - wyszukiwanie wektorowe. Google zaznacza, że TurboQuant może przyspieszać budowę indeksów i poprawiać efektywność wyszukiwania semantycznego w gigantycznych bazach danych, gdzie liczą się miliardy wektorów i każda oszczędność infrastrukturalna ma znaczenie. Dla zwykłego użytkownika oznacza to jedną rzecz, mianowicie AI może działać szybciej i taniej, nawet jeśli nikt nie pochwali się tym na ekranie wielkim banerem.
Dlaczego warto śledzić dalszy ciąg?
Na razie mówimy o prezentacji wyników opisanych przez Google Research i o pracy zapowiedzianej na ICLR 2026, a PolarQuant ma zostać przedstawiony także na AISTATS 2026. W praktyce oznacza to, że branża dopiero zacznie szerzej rozbierać całość na części i sprawdzać, czy obietnice dobrze wyglądają także poza materiałami autora.
Gdy firma mówi o kompresji 3-bitowej bez spadku jakości, minimum 6-krotnym zmniejszeniu pamięci i nawet 8-krotnym przyspieszeniu wybranych obliczeń, trudno przejść obok tego obojętnie. Zwłaszcza że w AI coraz częściej wygrywa już nie model, który umie najwięcej, lecz model, który daje radę zmieścić się w realnym koszcie. Google najwyraźniej dobrze to wie.
Źródła: Google Research, Własne
