W skrócie
- GGUF to format pliku, który w jednym pliku zawiera wagi modelu i informacje potrzebne do jego uruchomienia.
- Liczba po literze Q, na przykład 4 w Q4, to mniej więcej liczba bitów zapisanych na jedną wagę modelu.
- Litera K oznacza sprytniejszy sposób grupowania wag, a litery S, M i L mówią, jak oszczędny jest dany wariant.
- Q4_K_M bywa w praktyce społeczności uznawany za rozsądny punkt startowy, ale to zwyczaj, nie reguła, więc testuj na własnych zadaniach.
- Rozmiar pliku oszacujesz prostym wzorem: liczba parametrów razy bity, podzielone przez 8, a potem dolicz zapas na rozmowę.
Czym jest GGUF i po co ten format
GGUF to format pliku, w którym zapisuje się model językowy gotowy do uruchomienia na zwykłym komputerze. Jeden plik zawiera wagi, czyli liczby, z których składa się model, oraz opisy: jaka to architektura, jak dzielić tekst na części i jakie ustawienia przyjąć. Dzięki temu program nie musi zgadywać, co właśnie dostał.
Nazwa wiąże się z otwartym projektem llama.cpp, dzięki któremu wielu użytkowników uruchamia modele na procesorze i karcie graficznej. GGUF powstał jako następca starszego formatu GGML i stał się jednym z najczęściej spotykanych sposobów zapisu modeli do pobrania na własny komputer.
Porównaj to do pudełka z gotowym zestawem, w którym jest wszystko: składniki, instrukcja i narzędzia. Otwierasz, uruchamiasz i nie szukasz osobno części.
Skąd się bierze potrzeba zmniejszania modelu
Modele AI składają się z miliardów liczb, które nazywamy wagami. Zapisane w pełnej precyzji zajmują ogromnie dużo miejsca i wymagają mocnego sprzętu. Kwantyzacja to zapisanie tych liczb mniejszą liczbą bitów. Bit to najmniejsza jednostka informacji, czyli pojedyncze zero albo jedynka.
Weź zdjęcie z bardzo wysoką rozdzielczością. Zajmuje dużo miejsca w telefonie. Po zmniejszeniu do rozsądnego rozmiaru na ekranie wygląda niemal tak samo, a różnica widać dopiero przy dokładnym oglądaniu. Kwantyzacja działa podobnie, ale to, ile jakości tracisz, zależy od zadania, więc nie da się tego obiecać z góry.
Cyfra po literze Q: liczba bitów
W nazwie Q4_K_M litera Q oznacza, że wagi są skwantowane, czyli zmniejszone. Cyfra po Q to mniej więcej liczba bitów przypadających na jedną wagę. Q4 to średnio około czterech bitów, a Q8 około ośmiu. Im mniej bitów, tym mniejszy plik i zwykle większa utrata dokładności.
Spotkasz też poziomy Q2, Q3, Q5 i Q6. Są również wersje bez kwantyzacji, oznaczane F16 lub BF16. Są duże, więc zwykle zostawia się je do testów, dalszej obróbki lub specjalnych zastosowań. Nazwy bywają różne u różnych wydawców, dlatego zawsze czytaj opis przy pliku.
Przy dwóch skrajnych wariantach różnicę zrozumiesz od razu. Pliki Q8 są bliżej oryginału, ale zajmują więcej miejsca i na tym samym sprzęcie zwykle działają wolniej. Q4 jest mniejszy i lżejszy dla pamięci, kosztem pewnej utraty precyzji.
Litera K: sprytniejsze grupowanie wag
Litera K w nazwie oznacza metodę określaną jako k-quants. Zamiast kwantyzować wszystkie wagi jedną wspólną miarą, metoda dzieli je na małe bloki i dla każdego bloku zapisuje własne przeliczniki. Działa to trochę jak pakowanie walizki: każdy zestaw ubrań dostaje własną, lepiej dopasowaną sakiewkę zamiast jednego wielkiego worka na wszystko.
Efekt jest taki, że przy zbliżonej liczbie bitów zwykle zachowuje się więcej sensu modelu niż w prostszych wariantach. Starszy wariant bez K, na przykład Q4_0, jest prostszy w budowie. W praktyce pliki z literą K są częściej wybierane, ale zawsze sprawdź w opisie, co dokładnie oferuje dany plik.
Litery S, M i L: ile oszczędzamy
Końcowa litera mówi o wielkości wariantu. Nie każdy model ma wszystkie trzy, ale najczęściej spotkasz S i M. Oznaczają one, jak mocno kwantyzacja jest oszczędna w poszczególnych częściach modelu. Część warstw, zwykle tych najbardziej wrażliwych, może dostawać wyższą precyzję niż reszta.
S, czyli small, jest najbardziej oszczędny: najmniejszy plik i najmniejsze zużycie pamięci, ale z większym ryzykiem utraty jakości. M, czyli medium, to kompromis, nieco większy plik i zwykle lepsze zachowanie. L, czyli large, jest większy i bliżej oryginału, bo więcej warstw zostaje w wyższej precyzji.
Spotkasz też przedrostek IQ, na przykład w nazwie IQ4_XS. To inna rodzina metod. Na początek możesz ją pominąć i trzymać się wariantów z literą K, dopóki nie oswoisz się z podstawami.
Który poziom wybrać jako punkt wyjścia
Ogólna praktyka osób, które od dawna uruchamiają modele na zwykłym sprzęcie, wskazuje Q4_K_M jako rozsądny punkt startowy. To kompromis między rozmiarem pliku a zachowaniem modelu. Nie jest to reguła ani gwarancja. To dobry pierwszy wybór, gdy jeszcze nie wiesz, czego potrzebujesz.
Jeśli pamięci masz wyraźnie więcej i zależy Ci na dokładności, rozważ wariant wyższy, na przykład Q5_K_M, Q6_K albo Q8. Jeśli pamięci brakuje, sięgnij po mniejszy plik, ale pamiętaj, że w Q2 i Q3 jakość może spadać zauważalnie. Zamiast ślepo wybierać, pobierz jeden plik i sprawdź go na kilkunastu pytaniach z Twojej codziennej pracy.
Dobieraj pytania testowe do zadania: streszczenie maila, odpowiedź klientowi, poprawa tekstu po polsku. Zapisz odpowiedzi dla kilku wariantów i porównaj je obok siebie. Twój tekst i Twój sprzęt zdecydują więcej niż cudze opinie.
- Wybierz model, który Cię interesuje, i sprawdź dostępne warianty na stronie wydawcy.
- Pobierz wariant Q4_K_M albo najbliższy mu, który zmieści się w pamięci z zapasem.
- Zadaj ten sam zestaw pytań dwóm wariantom i porównaj odpowiedzi.
- Wyższy poziom zostaw dopiero wtedy, gdy różnica jest dla Ciebie odczuwalna, a sprzęt ją udźwignie.
Jak oszacować, czy plik zmieści się w Twoim sprzęcie
Prosty wzór pozwala oszacować wielkość samych wag: liczba parametrów razy liczba bitów, podzielona przez 8, daje rozmiar w gigabajtach. Dla przykładu model z 7 miliardami parametrów (7B) zapisany w około czterech bitach na wagę to 7 razy 4, podzielone przez 8, czyli około 3,5 GB. To liczba przykładowa. Prawdziwe pliki bywają większe, bo część warstw ma wyższą precyzję i dochodzą dane pomocnicze.
Do tego dolicz pamięć na rozmowę. Im dłuższy kontekst, czyli im więcej tekstu model trzyma naraz w pamięci, tym więcej miejsca zajmuje. Zostaw zapas i nie zapełniaj pamięci do ostatniego bajtu. Dokładna wartość zależy od programu, ustawień i sprzętu, więc sprawdź to na swoim komputerze.
Gdy model nie mieści się w pamięci karty, część pracy przechodzi na pamięć operacyjną i procesor, a wtedy działa wyraźnie wolniej. Więcej o pamięci przeczytasz w osobnym poradniku o VRAM, a o szybkości w tekście o tokenach na sekundę. Jeśli po tej analizie zobaczysz, że przyda się mocniejsza karta, porównaj oferty na allee.pl, ale najpierw sprawdź realne parametry u producenta, bo modele i ceny szybko się zmieniają.
Typowe błędy przy wyborze pliku
Najczęstszy błąd to wybór najmniejszego pliku, bo „na pewno się zmieści”. Model zadziała, ale odpowiedzi mogą być mniej trafne i łatwo uznać, że cała technologia jest słaba. Zacznij od średniego poziomu i dopiero potem schodź niżej, jeśli sprzęt tego wymaga.
Drugi błąd to założenie, że Q8 zawsze jest lepszy. Bywa dokładniejszy, ale jeśli nie mieści się z zapasem, zamienia wygodną pracę w ciągłe czekanie. Trzeci błąd to pobieranie plików z przypadkowych stron. Korzystaj z oficjalnych stron wydawców i znanych repozytoriów, a licencję sprawdzaj według osobnego poradnika o tym, skąd pobierać modele.
Ostatni błąd to ufanie wynikom bez sprawdzenia. Model lokalny też się myli i potrafi brzmieć bardzo przekonująco. Odpowiedzi trzeba weryfikować. Do modelu nie wpisuj haseł, numerów dokumentów ani cudzych danych osobowych, nawet jeśli działa u Ciebie offline.
Gdzie sprawdzić aktualne informacje
Schemat nazw opisany tutaj jest ogólny i może różnić się u poszczególnych wydawców. Najpewniejsze informacje znajdziesz w dokumentacji projektu llama.cpp oraz na stronach programów, których używasz, na przykład Ollama czy LM Studio. Na karcie modelu u wydawcy zwykle jest opis każdego pliku, a jeśli czegoś brakuje, to dobry sygnał, żeby poszukać innego źródła.
Po więcej praktycznych wskazówek zajrzyj do Centrum AI na allee.pl/ai, gdzie opisujemy kolejne kroki uruchamiania modeli u siebie.
Najczęstsze pytania
Co oznacza Q4_K_M w nazwie modelu AI?
Q oznacza, że wagi są skwantowane, czyli zapisane w mniejszej precyzji. Cyfra 4 to mniej więcej cztery bity na wagę, K oznacza metodę grupowania wag w bloki, a M oznacza średni wariant pod względem oszczędności. Całość to kompromis między rozmiarem pliku a jakością odpowiedzi.
Czy GGUF to program do uruchamiania AI?
Nie, GGUF to format pliku, czyli sposób zapisu modelu. Żeby z niego korzystać, potrzebujesz programu, który potrafi go wczytać, na przykład Ollama, LM Studio, Jan albo GPT4All. Format zawiera wagi i informacje potrzebne do uruchomienia modelu.
Który poziom kwantyzacji wybrać na początek?
Ogólna praktyka społeczności wskazuje Q4_K_M jako rozsądny punkt startowy, bo daje dobry kompromis między rozmiarem a jakością. To nie jest reguła. Sprawdź wybrany plik na własnych pytaniach i w razie potrzeby zmień wariant.
Czy Q8 zawsze daje lepsze odpowiedzi niż Q4?
Zwykle jest bliżej oryginału, ale zajmuje więcej pamięci i na tym samym sprzęcie często działa wolniej. Różnica zależy od zadania i od tego, czy model w ogóle mieści się w pamięci z zapasem. Porównanie na własnych przykładach da najlepszą odpowiedź.
Jak sprawdzić, czy model zmieści się w pamięci mojego komputera?
Pomnóż liczbę parametrów przez liczbę bitów i podziel przez 8, aby dostać rozmiar wag w gigabajtach. Następnie dolicz zapas na rozmowę, bo długi kontekst zajmuje dodatkowe miejsce. Wynik to szacunek, a rzeczywiste zużycie zależy od programu i ustawień.
Dlaczego ten sam model ma kilka plików do pobrania?
Każdy plik to inny wariant kwantyzacji, czyli inny kompromis między rozmiarem a dokładnością. Mniejsze pliki zmieszczą się w słabszym sprzęcie, większe zwykle dają dokładniejsze odpowiedzi. Wybierz ten, który pasuje do Twojej pamięci i zadań.