W skrócie
- Najprostszy miernik szybkości generowania tekstu to tokeny na sekundę, czyli ile kawałków słów model wypisuje w każdej sekundzie.
- Wynik ma sens tylko wtedy, gdy porównujesz ten sam model, tę samą kwantyzację, ten sam program i podobne ustawienia.
- Czas generowania obrazu mierzysz w sekundach na jeden obraz, przy stałej rozdzielczości, liczbie kroków i tym samym seedzie.
- Wyniki z sieci bez opisu konfiguracji traktuj jak anegdotę, a nie jak pomiar.
- Własny pomiar na Twoim sprzęcie, w Twoim scenariuszu, mówi więcej niż tabela z cudzego komputera.
Po co w ogóle mierzyć, skoro producent podaje parametry
Parametry w karcie produktu mówią, ile pamięci i rdzeni ma sprzęt. Nie mówią jednak, jak szybko na tym sprzęcie działa konkretny model, w konkretnym programie, przy konkretnym zadaniu. To trochę jak z samochodem: katalog podaje moc silnika, ale dopiero jazda próbna pokazuje, jak auto zachowuje się pod górkę i w korku.
Pomiar własny ma jeszcze jedną zaletę. Sprawdzasz swoje realne warunki: system, sterowniki, ilość wolnego miejsca w pamięci i to, co masz uruchomione obok. Dwa komputery o identycznej specyfikacji mogą się różnić, bo jeden ma zapchany dysk, a drugi ma chłodzenie ustawione na najcichszy tryb.
Test nie musi trwać godzinami. Wystarczy kilkanaście minut, jeśli wiesz, czego szukasz.
Co dokładnie mierzymy: tokeny, czas i obrazy
Model językowy nie czyta tekstu tak jak Ty. Dzieli go na tokeny, czyli kawałki słów, zwykle krótsze od słowa, a czasem całe słowo. Przyjmij, że token to mniej więcej część słowa. Wynik podawany w tokenach na sekundę (w skrócie tok/s) mówi, ile takich kawałków model wypisuje w jednostce czasu. Im wyższa liczba, tym szybciej płynie odpowiedź.
W praktyce są dwie fazy. Pierwsza to przetwarzanie Twojego pytania, czyli tak zwany prefill. Druga to generowanie odpowiedzi, token po tokenie. Przy dłuższym tekście wejściowym pierwsza faza potrafi trwać zauważalnie dłużej, mimo że potem odpowiedź płynie normalnie. Dlatego w pomiarze warto widzieć obie wartości, jeśli program je pokazuje.
Przy obrazach miarą jest czas generowania jednego obrazu w sekundach, przy ustalonej rozdzielczości i liczbie kroków. Kroki (steps) to liczba etapów, w których program dopracowuje obraz z szumu. Więcej kroków zwykle oznacza dłuższy czas i często lepszy efekt, ale nie zawsze.
- Tokeny na sekundę (tok/s) przy generowaniu tekstu.
- Czas przetwarzania pytania przed pierwszą odpowiedzią.
- Czas generowania jednego obrazu w sekundach.
- Zużycie pamięci w trakcie pracy, zwłaszcza pamięci karty graficznej albo pamięci zunifikowanej.
Prosty test tekstowy krok po kroku
Zacznij od wyboru jednego programu do uruchamiania modeli lokalnych i jednego modelu, który chcesz sprawdzić. Wybierz model, który faktycznie zmieści się w pamięci Twojego sprzętu. Jeśli się nie zmieści, program zacznie korzystać z wolniejszej pamięci i wynik będzie mówił o tym, że model nie mieści się w pamięci, a nie o szybkości Twojego komputera.
Następnie przygotuj stały zestaw pytań. Może to być jeden krótki prompt i jeden dłuższy, na przykład streszczenie kilkustronicowego tekstu wklejonego do okna czatu. Zapisz je w notatniku, żeby za każdym razem wklejać dokładnie to samo. Zmiana choćby jednego zdania zmienia długość odpowiedzi, a więc i wynik.
Uruchom model, zadaj pytanie i odczytaj statystyki. Wiele programów pokazuje tempo generowania pod odpowiedzią albo w osobnym panelu. W narzędziach obsługiwanych z wiersza poleceń bywa to opcja wyświetlająca statystyki po odpowiedzi. Konkretną nazwę polecenia sprawdź w dokumentacji swojego programu, bo zmienia się wraz z wersjami. Pierwsze uruchomienie zwykle jest wolniejsze, bo model ładuje się z dysku do pamięci, więc ten wynik odrzuć.
Powtórz test trzy razy i weź wynik środkowy albo średni. Pojedynczy pomiar bywa zaburzony przez to, co w tym czasie robił komputer.
- Zamknij przeglądarkę z dziesiątkami kart i inne ciężkie programy.
- Laptop podłącz do zasilania i ustaw tryb pracy na wydajny, jeśli system go oferuje.
- Zapisz nazwę modelu, wersję programu, kwantyzację, długość promptu i uzyskany wynik.
- Pierwsze uruchomienie odrzuć, a licz kolejne trzy odpowiedzi.
Test obrazu: czas, kroki i powtarzalność
Generowanie obrazów mierzy się prościej, ale łatwo o pomyłkę. Ustal rozdzielczość, liczbę kroków, metodę próbkowania (sampler) i wartość startową (seed). Seed to liczba, od której program zaczyna losowanie. Ten sam seed przy tych samych ustawieniach daje ten sam obraz, co pozwala porównać czas i wygląd bez przypadku.
Zmierz czas od kliknięcia do gotowego obrazu, najlepiej z kilku kolejnych generacji. Pierwszy obraz po starcie programu zwykle trwa dłużej, bo ładuje się model. Zwróć też uwagę, czy zużycie pamięci nie zbliżyło się do maksimum, bo wtedy wynik czasowy może być zawyżony.
Przy obrazach jakość bywa ważniejsza niż sam czas. Szybki wynik, który wygląda źle, nie jest oszczędnością. Oceniaj obrazy według tej samej listy: czy zgadza się treść, czy nie ma zniekształceń i czy styl jest spójny.
- Ten sam model i ta sama wersja programu.
- Identyczna rozdzielczość i liczba kroków.
- Ten sam seed, jeśli porównujesz wygląd.
- Czas z trzech kolejnych generacji, bez pierwszej.
Uczciwe porównanie: ten sam model, ta sama kwantyzacja
Najczęstszy błąd to porównywanie wyników różnych rzeczy. Model w wersji 4-bitowej i ten sam model w wersji 8-bitowej to dwie różne próby, nawet jeśli nazywają się tak samo. Kwantyzacja to kompresja modelu. Przypomina zdjęcie zapisane w mniejszym rozmiarze: zajmuje mniej miejsca i szybciej się wczytuje, ale traci część szczegółów. Mocniejsza kompresja zwykle oznacza mniejszą pamięć i większą szybkość, ale jakość może spaść.
Rozmiar modelu w pamięci można oszacować prostym przybliżeniem: liczba miliardów parametrów razy liczba bitów, podzielona przez osiem, daje wynik w gigabajtach. Dla przykładu model z siedmioma miliardami parametrów zapisany w czterech bitach wyjdzie mniej więcej na trzy i pół gigabajta, a do tego dojdzie pamięć na kontekst i sam program. To tylko przybliżenie, bo wynik zależy od formatu zapisu i ustawień.
Porównując dwa komputery, trzymaj stałe wszystko poza sprzętem: ten sam model, tę samą kwantyzację, ten sam program w tej samej wersji, tę samą długość kontekstu i podobną długość odpowiedzi. Różnica w długości odpowiedzi sama potrafi zmienić wynik, więc nie porównuj krótkiej odpowiedzi z długą.
- Ta sama nazwa modelu i ta sama wersja kwantyzacji.
- Ten sam program w tej samej wersji.
- Ta sama długość kontekstu i ten sam prompt.
- Te same ustawienia generowania, zwłaszcza długość odpowiedzi.
- Ten sam tryb zasilania i zbliżone warunki chłodzenia, bo przegrzewanie potrafi obniżać wydajność.
Jak rozpoznać zmyślone wyniki w sieci
W internecie krążą tabele z liczbami tokenów na sekundę i czasami generowania obrazów, często bez śladu tego, skąd się wzięły. Niektóre są pomyłką, niektóre wynikają z innych warunków, a część po prostu nie ma pokrycia w rzeczywistości. Zanim uznasz taki wynik za punkt odniesienia, sprawdź, skąd pochodzi.
Zwróć uwagę, czy wpis podaje pełny opis konfiguracji. Jeśli brakuje nazwy modelu, kwantyzacji, programu, wersji i długości promptu, liczba nie ma wartości porównawczej. Pojedynczy screenshot z jednym wynikiem bez kontekstu też niewiele mówi, bo można go wykonać w dowolnych warunkach albo przerobić.
Ostrożnie podchodź do wyników, które wyglądają zbyt dobrze, by były prawdziwe. Producenci i sprzedawcy często pokazują wyniki w idealnych warunkach, w krótkim teście, bez ograniczeń pamięci i bez długich kontekstów. Nie oznacza to, że takie liczby są fałszywe, tylko że nie opisują Twojego codziennego użycia.
- Brak nazwy modelu, kwantyzacji albo programu.
- Brak długości promptu i długości odpowiedzi.
- Jedna liczba zamiast serii pomiarów.
- Tabela bez daty i bez informacji o wersji sterowników.
- Ten sam wpis kopiowany w wielu miejscach bez podania nowego źródła.
- Wyniki, których nie da się odtworzyć na podobnym sprzęcie.
Co zrobić z wynikami: przelicz je na swoje potrzeby
Sama liczba tok/s nic nie da, dopóki nie przeliczysz jej na czas, na który faktycznie czekasz. Przykład z wyraźnie przykładowymi liczbami: odpowiedź o długości 700 tokenów przy 20 tokenach na sekundę zajmie około 35 sekund. Ten sam tekst przy 10 tokenach na sekundę zajmie około 70 sekund. Czy to dużo, zależy od tego, czy czekasz na odpowiedź w czacie, czy uruchamiasz nocą przetwarzanie setek dokumentów.
Pomyśl o własnym scenariuszu. Ktoś, kto pisze krótkie maile, zwykle nie potrzebuje najszybszej konfiguracji. Ktoś, kto przetwarza dużo dokumentów w tle, może cenić stabilność i zapas pamięci bardziej niż szczyt tempa. Wynik testu jest narzędziem wyboru, a nie celem samym w sobie.
Jeśli porównujesz oferty sprzętu, zestaw wyniki własnych testów z danymi technicznymi podanymi przez producenta i z aktualnymi cenami. Specyfikacje i ceny zmieniają się często, więc sprawdzaj je na stronie producenta albo w aktualnych ofertach, na przykład na allee.pl, zamiast polegać na starym wpisie. Szczegółowy wybór podzespołów opisuje osobny poradnik w tym dziale, a ten test pomoże Ci ocenić, czy potrzebujesz zmiany.
Szybkość to nie wszystko: jakość i bezpieczeństwo
Najszybszy model nie jest najlepszy, jeśli odpowiada z błędami. Przy każdym teście zapisz krótką ocenę jakości: czy odpowiedź jest poprawna, czy trzyma się polecenia i czy nie zmyśla faktów. Odpowiedzi AI trzeba sprawdzać, zwłaszcza liczby, daty i cytaty.
W testach używaj przykładowych tekstów, a nie danych klientów, pacjentów czy własnych dokumentów z numerami kont i dowodów. Do promptu nie wklejaj haseł, numerów PESEL, danych kart płatniczych ani danych osobowych innych osób. Testowy tekst może być wymyślony albo publicznie dostępny.
Jeśli pracujesz w firmie, zapytaj o zasady korzystania z narzędzi AI, zanim zaczniesz testy na danych służbowych. Ogólne zasady ochrony danych osobowych i obowiązki wynikające z AI Act opisują oficjalne źródła, a w sprawach prawnych warto skonsultować się z prawnikiem.
Najczęstsze pytania
Co to jest benchmark AI komputer?
To prosty test, który mierzy, jak szybko Twój komputer wykonuje konkretne zadanie AI, na przykład generuje tekst albo obraz. Dla zwykłego użytkownika liczy się powtarzalny pomiar na jednym modelu i w jednym programie, a nie gotowa tabela z internetu.
Ile tokenów na sekundę to wystarczająco dużo?
Nie ma jednej uniwersalnej liczby. Przy czacie zwykle wystarcza tempo, w którym tekst pojawia się szybciej, niż go czytasz. Przy przetwarzaniu dużej liczby dokumentów liczy się łączny czas, więc przelicz wynik na czas całego zadania.
Dlaczego dwa podobne komputery dają różne wyniki?
Na wynik wpływają wersja sterowników, ilość wolnej pamięci, tryb zasilania i chłodzenie, a także program, kwantyzacja modelu i długość promptu. Sam sprzęt to tylko część obrazu.
Czy mogę porównać swój wynik z wynikiem z internetu?
Tylko wtedy, gdy znasz pełną konfigurację tamtego pomiaru: model, kwantyzację, program, długość promptu i sprzęt. Bez tego porównanie nie ma sensu, a łatwo wyciągnąć z niego błędny wniosek.
Czy szybszy komputer AI zawsze daje lepsze odpowiedzi?
Nie. Szybkość mówi o tym, jak szybko model pisze, a nie o tym, jak dobrze odpowiada. Jakość zależy przede wszystkim od modelu i jego kwantyzacji, dlatego odpowiedzi trzeba sprawdzać niezależnie od tempa.