Płacisz za dostęp do zaawansowanego modelu AI, wysyłasz zapytanie i otrzymujesz odpowiedź. Skąd jednak pewność, że faktycznie obsłużył Cię model wskazany w cenniku? Dotychczas musiałeś wierzyć operatorowi na słowo. Anthropic postanowił zająć się problemem i udostępnił FlashProve, czyli otwartoźródłowe narzędzie pozwalające kryptograficznie potwierdzić, który model wygenerował odpowiedź. Pomysł może mocno namieszać na rynku płatnych usług AI.
Płacisz za droższy model, a dostajesz tańszy?
Operatorzy API oferują dostęp do różnych modeli językowych, często znacząco różniących się ceną. Wybierasz konkretny wariant, ponieważ zależy Ci na jego możliwościach, wydajności lub jakości generowanych odpowiedzi. Problem zaczyna się wtedy, gdy pośrednik kieruje zapytanie do innego modelu bez Twojej wiedzy.
FlashProve ma umożliwić wykrycie podobnej podmiany. Projekt, opublikowany kilka dni temu przez Anthropic, wykorzystuje kryptograficzne dowody obliczeń, określane jako zkSNARK. Dzięki nim można sprawdzić zgodność odpowiedzi z konkretną wersją modelu bez poznawania jego wewnętrznych parametrów.
Mechanizm działa w dwóch etapach. Najpierw dostawca publikuje kryptograficzny identyfikator określonego zestawu parametrów modelu, a następnie generuje dowód powiązany z odpowiedzią. Odbiorca może go zweryfikować na zwykłym procesorze. Warunkiem jest oczywiście posiadanie wiarygodnego identyfikatora modelu, a nie jedynie deklaracji operatora.
Anthropic sprawdził FlashProve na modelu z 400 miliardami parametrów
Specjaliści nie ograniczyli eksperymentu do niewielkiego modelu demonstracyjnego. FlashProve przetestowano na Llama 4 Maverick, wykorzystując jego 4-bitową wersję. Wyniki opublikowane przez Anthropic robią wrażenie, chociaż koszt obliczeń pozostaje spory.
Najciekawsze liczby z testów:
- 400 miliardów parametrów - wielkość testowanego modelu, z których około 17 miliardów jest aktywnych podczas przetwarzania pojedynczego tokena.
- 110* tokenów na sekundę - wydajność generowania dowodów na jednej karcie NVIDIA H100 przy przetwarzaniu partii 24 zapytań.
- 18,78 MB - rozmiar pojedynczego dowodu dla zapytania z kontekstem 1024 tokenów.
- 17-21 sekund - czas weryfikacji dowodu na CPU, zależnie od liczby wykorzystywanych wątków.
Przygotowanie kryptograficznego identyfikatora modelu zajmowało około 39 minut. Według pomiarów Anthropic generowanie dowodów potrzebowało również około 72 razy więcej czasu GPU niż zwykłe przetwarzanie porównywalnych zapytań przez vLLM.
*Prędkość 110 tokenów na sekundę dotyczy przetwarzania wsadowego dowodów, a nie szybkości pojedynczej rozmowy.
Kod jest otwarty, lecz na masowe zastosowanie poczekamy
Anthropic udostępnił na GitHubie kod generatora dowodów, dwa mechanizmy weryfikacji, dokumentację protokołu oraz matematyczne uzasadnienie jego bezpieczeństwa. Całość opublikowano na licencji Apache 2.0, umożliwiającej również wykorzystanie komercyjne.
Entuzjazm dobrze jednak dawkować. FlashProve pozostaje prototypem badawczym, obsługuje kontekst do 1024 tokenów i weryfikuje obliczenia w określonym trybie generowania. Co istotne, autorzy zaznaczają, że szybki kod wykonawczy nie ma pełnych gwarancji formalnej zgodności ze specyfikacją. Repozytorium oznaczono również jako nieutrzymywane.
Dla użytkowników płatnych API kierunek prac jest szczególnie interesujący. Dostawca mógłby w przyszłości przekazywać wraz z odpowiedzią weryfikowalny dowód użycia umówionego modelu. Zyskałyby również firmy audytujące systemy AI oraz podmioty kontrolujące zgodność usług z wymaganiami bezpieczeństwa.
Uważam, że podobny mechanizm powinien kiedyś stać się standardem w profesjonalnych usługach AI. Skoro płacisz za konkretny model, masz pełne prawo oczekiwać potwierdzenia jego wykorzystania. FlashProve jeszcze nie gwarantuje podobnej wygody, lecz daje solidny punkt wyjścia.
Źródła: Anthropic, GitHub (FlashProve), Help Net Security.
