Przejdź do treści
Centrum AI · Modele AI na własnym komputerze

GGUF: co to za format i skąd te nazwy typu Q4_K_M

Kiedy pobierasz model AI na własny komputer, prawie zawsze widzisz nazwę pliku w stylu Q4_K_M, a obok rozszerzenie GGUF. Brzmi to jak szyfr, ale to prosty schemat: mówi, jak mocno model został skompresowany i w jakim formacie zapisano jego wagi. W tym poradniku rozkładamy każdy element na części i pokazujemy, od czego zacząć.

7 min czytania Dla średnio zaawansowanych Autor: Redakcja Allee

W skrócie

  • GGUF to format pliku, który w jednym pliku zawiera wagi modelu i informacje potrzebne do jego uruchomienia.
  • Liczba po literze Q, na przykład 4 w Q4, to mniej więcej liczba bitów zapisanych na jedną wagę modelu.
  • Litera K oznacza sprytniejszy sposób grupowania wag, a litery S, M i L mówią, jak oszczędny jest dany wariant.
  • Q4_K_M bywa w praktyce społeczności uznawany za rozsądny punkt startowy, ale to zwyczaj, nie reguła, więc testuj na własnych zadaniach.
  • Rozmiar pliku oszacujesz prostym wzorem: liczba parametrów razy bity, podzielone przez 8, a potem dolicz zapas na rozmowę.

Czym jest GGUF i po co ten format

GGUF to format pliku, w którym zapisuje się model językowy gotowy do uruchomienia na zwykłym komputerze. Jeden plik zawiera wagi, czyli liczby, z których składa się model, oraz opisy: jaka to architektura, jak dzielić tekst na części i jakie ustawienia przyjąć. Dzięki temu program nie musi zgadywać, co właśnie dostał.

Nazwa wiąże się z otwartym projektem llama.cpp, dzięki któremu wielu użytkowników uruchamia modele na procesorze i karcie graficznej. GGUF powstał jako następca starszego formatu GGML i stał się jednym z najczęściej spotykanych sposobów zapisu modeli do pobrania na własny komputer.

Porównaj to do pudełka z gotowym zestawem, w którym jest wszystko: składniki, instrukcja i narzędzia. Otwierasz, uruchamiasz i nie szukasz osobno części.

Skąd się bierze potrzeba zmniejszania modelu

Modele AI składają się z miliardów liczb, które nazywamy wagami. Zapisane w pełnej precyzji zajmują ogromnie dużo miejsca i wymagają mocnego sprzętu. Kwantyzacja to zapisanie tych liczb mniejszą liczbą bitów. Bit to najmniejsza jednostka informacji, czyli pojedyncze zero albo jedynka.

Weź zdjęcie z bardzo wysoką rozdzielczością. Zajmuje dużo miejsca w telefonie. Po zmniejszeniu do rozsądnego rozmiaru na ekranie wygląda niemal tak samo, a różnica widać dopiero przy dokładnym oglądaniu. Kwantyzacja działa podobnie, ale to, ile jakości tracisz, zależy od zadania, więc nie da się tego obiecać z góry.

Cyfra po literze Q: liczba bitów

W nazwie Q4_K_M litera Q oznacza, że wagi są skwantowane, czyli zmniejszone. Cyfra po Q to mniej więcej liczba bitów przypadających na jedną wagę. Q4 to średnio około czterech bitów, a Q8 około ośmiu. Im mniej bitów, tym mniejszy plik i zwykle większa utrata dokładności.

Spotkasz też poziomy Q2, Q3, Q5 i Q6. Są również wersje bez kwantyzacji, oznaczane F16 lub BF16. Są duże, więc zwykle zostawia się je do testów, dalszej obróbki lub specjalnych zastosowań. Nazwy bywają różne u różnych wydawców, dlatego zawsze czytaj opis przy pliku.

Przy dwóch skrajnych wariantach różnicę zrozumiesz od razu. Pliki Q8 są bliżej oryginału, ale zajmują więcej miejsca i na tym samym sprzęcie zwykle działają wolniej. Q4 jest mniejszy i lżejszy dla pamięci, kosztem pewnej utraty precyzji.

Litera K: sprytniejsze grupowanie wag

Litera K w nazwie oznacza metodę określaną jako k-quants. Zamiast kwantyzować wszystkie wagi jedną wspólną miarą, metoda dzieli je na małe bloki i dla każdego bloku zapisuje własne przeliczniki. Działa to trochę jak pakowanie walizki: każdy zestaw ubrań dostaje własną, lepiej dopasowaną sakiewkę zamiast jednego wielkiego worka na wszystko.

Efekt jest taki, że przy zbliżonej liczbie bitów zwykle zachowuje się więcej sensu modelu niż w prostszych wariantach. Starszy wariant bez K, na przykład Q4_0, jest prostszy w budowie. W praktyce pliki z literą K są częściej wybierane, ale zawsze sprawdź w opisie, co dokładnie oferuje dany plik.

Litery S, M i L: ile oszczędzamy

Końcowa litera mówi o wielkości wariantu. Nie każdy model ma wszystkie trzy, ale najczęściej spotkasz S i M. Oznaczają one, jak mocno kwantyzacja jest oszczędna w poszczególnych częściach modelu. Część warstw, zwykle tych najbardziej wrażliwych, może dostawać wyższą precyzję niż reszta.

S, czyli small, jest najbardziej oszczędny: najmniejszy plik i najmniejsze zużycie pamięci, ale z większym ryzykiem utraty jakości. M, czyli medium, to kompromis, nieco większy plik i zwykle lepsze zachowanie. L, czyli large, jest większy i bliżej oryginału, bo więcej warstw zostaje w wyższej precyzji.

Spotkasz też przedrostek IQ, na przykład w nazwie IQ4_XS. To inna rodzina metod. Na początek możesz ją pominąć i trzymać się wariantów z literą K, dopóki nie oswoisz się z podstawami.

Który poziom wybrać jako punkt wyjścia

Ogólna praktyka osób, które od dawna uruchamiają modele na zwykłym sprzęcie, wskazuje Q4_K_M jako rozsądny punkt startowy. To kompromis między rozmiarem pliku a zachowaniem modelu. Nie jest to reguła ani gwarancja. To dobry pierwszy wybór, gdy jeszcze nie wiesz, czego potrzebujesz.

Jeśli pamięci masz wyraźnie więcej i zależy Ci na dokładności, rozważ wariant wyższy, na przykład Q5_K_M, Q6_K albo Q8. Jeśli pamięci brakuje, sięgnij po mniejszy plik, ale pamiętaj, że w Q2 i Q3 jakość może spadać zauważalnie. Zamiast ślepo wybierać, pobierz jeden plik i sprawdź go na kilkunastu pytaniach z Twojej codziennej pracy.

Dobieraj pytania testowe do zadania: streszczenie maila, odpowiedź klientowi, poprawa tekstu po polsku. Zapisz odpowiedzi dla kilku wariantów i porównaj je obok siebie. Twój tekst i Twój sprzęt zdecydują więcej niż cudze opinie.

  • Wybierz model, który Cię interesuje, i sprawdź dostępne warianty na stronie wydawcy.
  • Pobierz wariant Q4_K_M albo najbliższy mu, który zmieści się w pamięci z zapasem.
  • Zadaj ten sam zestaw pytań dwóm wariantom i porównaj odpowiedzi.
  • Wyższy poziom zostaw dopiero wtedy, gdy różnica jest dla Ciebie odczuwalna, a sprzęt ją udźwignie.

Jak oszacować, czy plik zmieści się w Twoim sprzęcie

Prosty wzór pozwala oszacować wielkość samych wag: liczba parametrów razy liczba bitów, podzielona przez 8, daje rozmiar w gigabajtach. Dla przykładu model z 7 miliardami parametrów (7B) zapisany w około czterech bitach na wagę to 7 razy 4, podzielone przez 8, czyli około 3,5 GB. To liczba przykładowa. Prawdziwe pliki bywają większe, bo część warstw ma wyższą precyzję i dochodzą dane pomocnicze.

Do tego dolicz pamięć na rozmowę. Im dłuższy kontekst, czyli im więcej tekstu model trzyma naraz w pamięci, tym więcej miejsca zajmuje. Zostaw zapas i nie zapełniaj pamięci do ostatniego bajtu. Dokładna wartość zależy od programu, ustawień i sprzętu, więc sprawdź to na swoim komputerze.

Gdy model nie mieści się w pamięci karty, część pracy przechodzi na pamięć operacyjną i procesor, a wtedy działa wyraźnie wolniej. Więcej o pamięci przeczytasz w osobnym poradniku o VRAM, a o szybkości w tekście o tokenach na sekundę. Jeśli po tej analizie zobaczysz, że przyda się mocniejsza karta, porównaj oferty na allee.pl, ale najpierw sprawdź realne parametry u producenta, bo modele i ceny szybko się zmieniają.

Typowe błędy przy wyborze pliku

Najczęstszy błąd to wybór najmniejszego pliku, bo „na pewno się zmieści”. Model zadziała, ale odpowiedzi mogą być mniej trafne i łatwo uznać, że cała technologia jest słaba. Zacznij od średniego poziomu i dopiero potem schodź niżej, jeśli sprzęt tego wymaga.

Drugi błąd to założenie, że Q8 zawsze jest lepszy. Bywa dokładniejszy, ale jeśli nie mieści się z zapasem, zamienia wygodną pracę w ciągłe czekanie. Trzeci błąd to pobieranie plików z przypadkowych stron. Korzystaj z oficjalnych stron wydawców i znanych repozytoriów, a licencję sprawdzaj według osobnego poradnika o tym, skąd pobierać modele.

Ostatni błąd to ufanie wynikom bez sprawdzenia. Model lokalny też się myli i potrafi brzmieć bardzo przekonująco. Odpowiedzi trzeba weryfikować. Do modelu nie wpisuj haseł, numerów dokumentów ani cudzych danych osobowych, nawet jeśli działa u Ciebie offline.

Gdzie sprawdzić aktualne informacje

Schemat nazw opisany tutaj jest ogólny i może różnić się u poszczególnych wydawców. Najpewniejsze informacje znajdziesz w dokumentacji projektu llama.cpp oraz na stronach programów, których używasz, na przykład Ollama czy LM Studio. Na karcie modelu u wydawcy zwykle jest opis każdego pliku, a jeśli czegoś brakuje, to dobry sygnał, żeby poszukać innego źródła.

Po więcej praktycznych wskazówek zajrzyj do Centrum AI na allee.pl/ai, gdzie opisujemy kolejne kroki uruchamiania modeli u siebie.

Najczęstsze pytania

Co oznacza Q4_K_M w nazwie modelu AI?

Q oznacza, że wagi są skwantowane, czyli zapisane w mniejszej precyzji. Cyfra 4 to mniej więcej cztery bity na wagę, K oznacza metodę grupowania wag w bloki, a M oznacza średni wariant pod względem oszczędności. Całość to kompromis między rozmiarem pliku a jakością odpowiedzi.

Czy GGUF to program do uruchamiania AI?

Nie, GGUF to format pliku, czyli sposób zapisu modelu. Żeby z niego korzystać, potrzebujesz programu, który potrafi go wczytać, na przykład Ollama, LM Studio, Jan albo GPT4All. Format zawiera wagi i informacje potrzebne do uruchomienia modelu.

Który poziom kwantyzacji wybrać na początek?

Ogólna praktyka społeczności wskazuje Q4_K_M jako rozsądny punkt startowy, bo daje dobry kompromis między rozmiarem a jakością. To nie jest reguła. Sprawdź wybrany plik na własnych pytaniach i w razie potrzeby zmień wariant.

Czy Q8 zawsze daje lepsze odpowiedzi niż Q4?

Zwykle jest bliżej oryginału, ale zajmuje więcej pamięci i na tym samym sprzęcie często działa wolniej. Różnica zależy od zadania i od tego, czy model w ogóle mieści się w pamięci z zapasem. Porównanie na własnych przykładach da najlepszą odpowiedź.

Jak sprawdzić, czy model zmieści się w pamięci mojego komputera?

Pomnóż liczbę parametrów przez liczbę bitów i podziel przez 8, aby dostać rozmiar wag w gigabajtach. Następnie dolicz zapas na rozmowę, bo długi kontekst zajmuje dodatkowe miejsce. Wynik to szacunek, a rzeczywiste zużycie zależy od programu i ustawień.

Dlaczego ten sam model ma kilka plików do pobrania?

Każdy plik to inny wariant kwantyzacji, czyli inny kompromis między rozmiarem a dokładnością. Mniejsze pliki zmieszczą się w słabszym sprzęcie, większe zwykle dają dokładniejsze odpowiedzi. Wybierz ten, który pasuje do Twojej pamięci i zadań.

Udostępnij poradnik
Specjaliści AI

Potrzebujesz specjalisty od AI?

Skontaktuj się z najlepszymi — nasz zespół jest do Twojej dyspozycji. Wdrożenie AI w firmie, model AI na własnym serwerze, automatyzacja, grafika i wideo AI, opisy i sprzedaż z AI — opisz, czego potrzebujesz, a odezwiemy się z propozycją.

  • Doradzimy, od czego zacząć i co się opłaca
  • Modele lokalne, serwery i karty graficzne — dobór i uruchomienie
  • Automatyzacje, które oszczędzają godziny pracy
Przesuń, aby potwierdzić, że jesteś człowiekiem

Przeczytaj też

Modele AI na własnym komputerzeKwantyzacja: jak zmniejszyć model AI, żeby zmieścił się w karcieModel AI uruchamiany na własnym komputerze potrafi ważyć wiele gigabajtów, a pamięć karty graficznej jest ograniczona. Kwantyzacja to sposób, żeby ten model ścisnąć, trochę jak zmniejszasz zdjęcie przed wysłaniem mailem, a cenę płacisz w postaci mniejszej dokładności. Ten poradnik pokaże, jak czytać oznaczenia typu Q4 czy Q8 i jak wybrać poziom do swojego sprzętu. 8 min · podstawyModele AI na własnym komputerzeQ4 czy Q8: który poziom kwantyzacji wybrać do swojego sprzętuKiedy pobierasz model AI na własny komputer, często widzisz kilka wersji tego samego modelu, różniących się oznaczeniem typu Q4 albo Q8. Chodzi o kwantyzację, czyli sposób zmniejszenia pliku modelu kosztem drobnej utraty dokładności. W tym poradniku wyjaśniam, co te dwa poziomy zmieniają w rozmiarze, jakości i szybkości, podaję prostą regułę wyboru zależną od ilości pamięci i pokazuję test, który przeprowadzisz sam. 8 min · dla średnio zaawansowanychModele AI na własnym komputerzeIle pamięci potrzeba na model 7B, 13B i 70B: prosta ściągaPytanie o pamięć karty graficznej pojawia się zwykle na samym początku, zanim ktokolwiek pobierze pierwszy model. Dobra wiadomość jest taka, że da się ją oszacować na kartce, bez znajomości technicznych detali: wystarczy pomnożyć liczbę parametrów przez liczbę bajtów na parametr i dodać zapas. W tym poradniku przeliczymy to dla modeli 7B, 13B i 70B, a na końcu znajdziesz tabelkę orientacyjną. 8 min · podstawyModele AI na własnym komputerzeTokeny na sekundę: jak mierzyć szybkość modelu AI i co jest „szybko”Kiedy uruchamiasz model AI na własnym komputerze, pierwsze pytanie zwykle brzmi: czy on w ogóle nadąża? Odpowiedź daje wskaźnik tokeny na sekundę, czyli to, jak szybko program wypisuje tekst. Poniżej wyjaśniam, co ta liczba znaczy, jak ją zmierzyć u siebie i kiedy jest na tyle duża, żeby rozmowa była wygodna. 8 min · podstawyKarty graficzne do AIPamięć GDDR6X, GDDR7 i HBM: czym różnią się rodzaje pamięci kart graficznychJeśli szukasz informacji o pamięci karty graficznej, pewnie zastanawiasz się, czym różni się GDDR7 od HBM. Rodzaj pamięci wpływa na to, jak szybko karta przesyła dane do procesora, a to ma znaczenie przy lokalnym AI. W tym poradniku tłumaczę różnice prostym językiem, bez liczb, których nie da się bezpiecznie sprawdzić na dziś. 7 min · dla średnio zaawansowanychNVIDIA i nowe technologieInne firmy w wyścigu układów AI: AMD, Google TPU, Apple, Intel i nowi graczeGdy słyszysz o sztucznej inteligencji w komputerze, najczęściej myślisz o NVIDIA, bo jej karty graficzne stały się synonimem obliczeń AI. Nie są jednak jedynym rozwiązaniem. AMD, Google, Apple, Intel i kilka młodszych firm buduje własne układy, bo każda z nich ma inny problem do rozwiązania. W tym poradniku wyjaśniam, po co powstają te chipy, czym się różnią i na co zwrócić uwagę, gdy wybierasz sprzęt. 8 min · dla średnio zaawansowanych