W skrócie
- Modele AI bywają wyspecjalizowane: inne nadają się do kodu, inne do rozmowy, a jeszcze inne do pracy z obrazem.
- Zacznij od pytania, do czego model ma służyć, a dopiero potem patrz na nazwę i rozmiar.
- Rozmiar modelu i poziom kwantyzacji decydują o tym, czy zmieści się w pamięci Twojego komputera.
- Mniejszy model dopasowany do zadania często daje lepszy efekt niż duży model wybrany przypadkiem.
- Parametry, wersje i ceny zmieniają się szybko, więc sprawdzaj aktualne informacje u producenta.
- Odpowiedzi modelu zawsze sprawdzaj samodzielnie, zwłaszcza kod, liczby i daty.
Dlaczego jeden model nie załatwia wszystkiego
Wyobraź sobie kuchnię: jeden kucharz gotuje zupę, piecze ciasto i przygotowuje sushi. Da radę, ale wypiek nie wyjdzie mu tak dobrze jak cukiernikowi. Modele AI działają podobnie. Każdy powstaje z ogromnej porcji tekstu i innych danych, a to, czym go karmiono i jak go dopracowano, decyduje o tym, w czym jest mocny.
W świecie otwartych modeli, które możesz pobrać i uruchomić u siebie, spotkasz dwie grupy. Pierwsza to ogólne modele do rozmowy, radzące sobie z mailami, streszczeniami i pytaniami z różnych dziedzin. Druga to warianty dopracowane pod konkretne zadanie, na przykład programowanie. Nazwa wariantu często mówi, do czego jest przeznaczony.
Nie znaczy to, że model „do kodu” nie nadaje się do rozmowy ani że ogólny model nie napisze funkcji. Różnica dotyczy tego, jak dobrać kandydata: po dopasowaniu do zadania, a nie po samym rozmiarze.
Trzy typy zadań i trzy rodzaje modeli
Na co dzień najczęściej pytasz o jedno z trzech: kod, rozmowę albo obraz. Każde z nich wymaga trochę innego modelu, a pomylenie tych kategorii to jeden z najczęstszych błędów początkujących.
Model do kodu pomaga pisać skrypty, wyjaśniać błędy w programie, objaśniać cudzy kod albo proponować poprawki. Model do rozmowy, czyli ogólny asystent tekstowy, sprawdzi się przy mailach, streszczeniach, planowaniu i nauce. Model z obsługą obrazu potrafi opisać zdjęcie, odczytać tekst ze skanu albo wyjaśnić wykres.
Uwaga na jedną rzecz. Model, który rozumie obraz, to nie to samo co generator obrazów, który tworzy grafikę na podstawie opisu. Obie rzeczy działają inaczej i potrzebują innego sprzętu oraz innych programów. Tutaj mowa o modelach, które czytają i opisują obraz. Generowanie grafik to osobny temat.
- Kod: pisanie i poprawianie skryptów, wyjaśnianie błędów, objaśnianie cudzego kodu.
- Rozmowa: maile, streszczenia, planowanie, pomysły, nauka języka.
- Obraz (rozumienie): opis zdjęcia, odczyt tekstu ze skanu, objaśnienie wykresu.
Reguła wyboru: najpierw zadanie, potem sprzęt
Zanim otworzysz listę modeli, odpowiedz sobie na trzy pytania: do czego ma służyć, ile masz pamięci w komputerze i czy wolisz szybką odpowiedź, czy dokładniejszą, nawet jeśli przyjdzie wolniej. Dopiero wtedy wybierasz rodzinę modeli i rozmiar.
Dobra kolejność wygląda tak. Zaczynasz od zadania, bo ono wskazuje typ modelu. Potem patrzysz na rozmiar, bo od niego zależy, czy model się zmieści. Na końcu wybierasz poziom kwantyzacji, czyli stopień „ściśnięcia” modelu, który wpływa na zajmowaną pamięć i jakość odpowiedzi. Ostatni krok to test na Twoich własnych zadaniach, bo żadna opinia z internetu nie zastąpi sprawdzenia na Twoich przykładach.
Ta kolejność chroni przed pokusą pobrania największego modelu, jaki znajdziesz. Duży model, który nie mieści się w pamięci, będzie działał bardzo wolno albo wcale.
- Krok 1: opisz zadanie jednym zdaniem, na przykład „poprawiać skrypty w Pythonie” albo „pisać maile do klientów”.
- Krok 2: wybierz typ modelu: kod, rozmowa albo obraz.
- Krok 3: sprawdź rozmiar w opisie modelu i porównaj go z pamięcią swojego komputera.
- Krok 4: wybierz poziom kwantyzacji, zaczynając od środkowego, a nie od najmniejszego.
- Krok 5: zadaj modelowi kilka do kilkunastu swoich typowych pytań i oceń odpowiedzi.
Sprzęt: ile pamięci potrzebujesz
Modele opisuje się liczbą parametrów, na przykład 7B, czyli około 7 miliardów. Parametry to liczby, z których model się składa, a każda z nich zajmuje miejsce. Im więcej parametrów, tym zwykle więcej pamięci i mocy trzeba, żeby z modelem pracować.
Dla orientacji: przy mocnej kwantyzacji, do około 4 bitów na parametr, model 7B zajmuje w przybliżeniu 4 do 5 GB. Liczymy to tak: 7 miliardów razy pół bajta daje około 3,5 GB, a reszta to pamięć potrzebna programowi do pracy. To szacunek, a nie gwarancja. Wynik zależy od programu, ustawień, długości rozmowy i tego, czy model działa na karcie graficznej, czy na procesorze z pamięcią RAM, czyli pamięcią operacyjną komputera.
W praktyce patrz na dwie liczby: ile pamięci ma Twoja karta graficzna (VRAM) i ile masz RAM. Mały model dobrze działa w całości w pamięci karty. Większy trzeba dzielić między kartę a RAM, co zwykle spowalnia pracę. Szczegóły o VRAM znajdziesz w osobnym poradniku z tego działu.
- Sprawdź w systemie, ile masz pamięci RAM i jaka jest karta graficzna.
- Odczytaj w opisie modelu jego rozmiar i poziom kwantyzacji.
- Zostaw zapas pamięci na system i programy, nie zapełniaj jej w całości.
Krótka tabela decyzyjna
Poniżej prosta ściąga. Traktuj ją jako punkt wyjścia, a nie wyrok. Nazw konkretnych modeli nie podaję, bo wersje zmieniają się często. Rodziny takie jak Llama, Gemma, Mistral, Qwen czy DeepSeek znajdziesz w katalogu programu, którego używasz. Aktualne wersje sprawdź na stronach producentów.
Każdy wiersz ma trzy elementy: zadanie, czego szukać w nazwie lub opisie modelu i jaki sprzęt wystarczy na start. Ostatni wiersz dotyczy osób bez mocnej karty graficznej.
- Kod | Szukaj: wariantu oznaczonego jako do kodu | Sprzęt: zależy od rozmiaru; na start wystarczy mniejszy model dopasowany do kodu.
- Rozmowa i pisanie tekstu | Szukaj: ogólnego modelu instrukcyjnego (instruct, czyli dopracowanego do wydawania poleceń) | Sprzęt: mały lub średni model w środkowej kwantyzacji.
- Rozumienie obrazu | Szukaj: wersji z obsługą obrazu (vision) | Sprzęt: zwykle więcej pamięci niż dla samego tekstu; sprawdź opis modelu.
- Język polski | Szukaj: wyników testu na polskim tekście w swoim programie | Sprzęt: bez zmian; liczy się jakość odpowiedzi, a nie sam rozmiar.
- Laptop bez mocnej karty | Szukaj: małych modeli, mających kilka miliardów parametrów | Sprzęt: procesor i RAM; oczekuj wolniejszej pracy.
Mały sprzęt i małe modele: czy to ma sens
Nie każdy ma komputer do gier z mocną kartą i to nie przeszkadza, jeśli zadania są proste. Mały model do streszczania notatek albo poprawiania maila może w zupełności wystarczyć. Odpowiedzi przyjdą wolniej, ale przyjdą.
Trzeba jednak ustawić oczekiwania. Mniejszy model zwykle gorzej radzi sobie z trudnymi pytaniami, długimi tekstami i złożonym kodem, a także częściej myli fakty. Jeśli zadanie jest ważne, a sprzęt słaby, rozważ inne rozwiązanie zamiast liczyć na to, że mały model zrobi wszystko.
Jeśli myślisz o zakupie sprzętu, zacznij od tego, co chcesz uruchamiać, a dopiero potem porównuj oferty. Na allee.pl znajdziesz karty graficzne i komputery od różnych sprzedawców, a parametry sprawdzisz w opisie oferty i na stronie producenta. Nie kupuj jednak „na zapas” bez pewności, co faktycznie się zmieści.
Czego nie wpisywać do modelu i jak sprawdzać odpowiedzi
Model lokalny działa na Twoim komputerze, więc przy czystej pracy offline dane nie trafiają na zewnętrzny serwer. To duża zaleta, ale nie zwalnia z ostrożności. Program może zapisywać historię rozmów, a dane mogą przypadkiem trafić do pliku, który potem udostępnisz. Nie wpisuj haseł, numerów PESEL, numerów kart, danych medycznych ani danych klientów, których nie masz prawa przetwarzać.
Odpowiedzi modelu trzeba sprawdzać, niezależnie od rozmiaru i rodziny. Modele potrafią brzmieć przekonująco i się mylić. Szczególnie uważaj na daty, liczby, cytaty, przepisy i kod, który uruchamiasz na swoim komputerze. Kod najpierw przetestuj na kopii danych.
Pamiętaj też o licencji. Model otwarty ma warunki użycia, które różnią się między rodzinami i wersjami. Jak je sprawdzić, opisuje osobny poradnik z tego działu. W sprawach prawnych korzystaj z oficjalnych źródeł.
- Nie wpisuj haseł, PESEL-u, numerów kart i danych wrażliwych.
- Nie zakładaj, że model zna aktualne wydarzenia; sprawdzaj je w wiarygodnych źródłach.
- Kod uruchamiaj najpierw na kopii plików, a nie na oryginałach.
- Sprawdź licencję modelu, zanim użyjesz go w firmie.
Typowe błędy przy wyborze modelu
Pierwszy błąd to wybór po rozmiarze, a nie po zadaniu. Największy model nie zawsze będzie lepszy do Twojej pracy, a w słabym komputerze może być po prostu nieużyteczny.
Drugi błąd to pobranie wersji bez zrozumienia nazwy. Oznaczenia typu instruct, coder czy vision mówią o przeznaczeniu modelu, a zły wariant kończy się rozczarowaniem. Trzeci to brak testu: jedna ładna odpowiedź w demo nie pokazuje, jak model radzi sobie z Twoimi tekstami. Czwarty to zakładanie, że model wie wszystko. Jego wiedza pochodzi z treningu i nie aktualizuje się sama, więc bieżących informacji szukaj gdzie indziej.
Wygodnie bywa mieć dwa lub trzy modele pod różne zadania. Każdy zajmuje miejsce na dysku, więc pilnuj porządków i usuwaj to, czego już nie używasz.
Najczęstsze pytania
Jaki model AI wybrać do programowania na własnym komputerze?
Szukaj wariantu opisanego jako przeznaczony do kodu, w nazwie często pojawia się słowo code lub coder. Dobierz rozmiar do pamięci karty graficznej albo RAM-u i zacznij od mniejszego modelu. Potem sprawdź na swoich skryptach, czy odpowiedzi są poprawne.
Czy model do rozmowy nadaje się do pisania kodu?
Często tak, zwłaszcza do prostych skryptów i wyjaśniania błędów. Wyspecjalizowany wariant zwykle daje jednak pewniejsze wyniki w programowaniu. Kod, który zaproponuje model, zawsze przetestuj najpierw na kopii danych.
Czy mogę opisać zdjęcie lokalnym modelem bez wysyłania go w chmurę?
Tak, pod warunkiem że wybierzesz model z obsługą obrazu i program, który ją umożliwia. Takie modele zwykle potrzebują więcej pamięci niż zwykłe modele tekstowe. Nie wrzucaj do nich zdjęć z danymi osobowymi bez zastanowienia, nawet na własnym komputerze.
Jak sprawdzić, czy model zmieści się w moim komputerze?
Porównaj rozmiar modelu i poziom kwantyzacji z ilością pamięci karty graficznej i RAM-u. Zostaw zapas na system i programy. Traktuj to jako szacunek i sprawdź w praktyce, bo wynik zależy od programu i ustawień.
Czy większy model zawsze daje lepsze odpowiedzi?
Nie zawsze. Większy model zwykle lepiej radzi sobie z trudnymi pytaniami, ale działa wolniej i wymaga więcej pamięci. Dobrze dopasowany mniejszy model bywa lepszy w prostym, powtarzalnym zadaniu.