W skrócie
- Model działający na procesorze odpowiada wyraźnie wolniej niż model na karcie graficznej, ale w wielu zastosowaniach nadal jest użyteczny.
- O tym, czy model w ogóle się uruchomi, decyduje przede wszystkim ilość pamięci RAM, a o tempie odpowiedzi w dużej mierze szybkość tej pamięci.
- Kwantyzacja, czyli zapisanie wag modelu z mniejszą precyzją, zmniejsza plik i pozwala uruchomić większy model kosztem niewielkiej utraty jakości.
- Najlepiej sprawdzają się małe modele do streszczeń, poprawiania tekstu, tłumaczenia krótkich fragmentów i pracy na prywatnych notatkach.
- Zanim cokolwiek kupisz, uruchom mały model na swoim komputerze i zmierz, ile tokenów na sekundę naprawdę dostajesz.
Co znaczy model na samym procesorze
Każdy model AI to w praktyce ogromny zbiór liczb, nazywanych wagami. Podczas rozmowy program przelicza te liczby, żeby wybrać kolejne słowo odpowiedzi. Ten rachunek można wykonać na procesorze (CPU), który jest w każdym komputerze, albo na karcie graficznej (GPU), która robi to znacznie szybciej, bo ma tysiące małych rdzeni do pracy równoległej.
Procesor w laptopie ma zwykle kilka mocnych rdzeni, w bardziej wydajnych komputerach więcej. Jest uniwersalny i świetnie radzi sobie z codziennymi programami, ale przy rachunkach na wagach modelu jest wolniejszy od karty. Dlatego mały model na procesorze odpowiada wolniej, lecz nadal odpowiada.
Dlaczego procesor jest wolniejszy: analogia z kuchnią
Wyobraź sobie kuchnię. Karta graficzna to kuchnia, w której pracuje tysiąc kucharzy, każdy z własną małą częścią przepisu. Procesor to kilku doświadczonych kucharzy, którzy gotują samodzielnie i sprawnie, ale nie są w stanie obsłużyć takiej liczby zamówień naraz.
Model generuje tekst po jednym kawałku, czyli tokenie. Token to zwykle fragment słowa albo całe krótkie słowo. Przy każdym tokenie program musi sięgnąć po wagi modelu, więc wąskim gardłem bywa nie tylko moc obliczeniowa procesora, ale także to, jak szybko dane docierają z pamięci do procesora.
Wolniej nie oznacza gorzej w sensie błędów technicznych. Ten sam model z tymi samymi ustawieniami da podobny wynik, tylko dłużej go będziesz czekać.
Co naprawdę poprawia sytuację: pamięć, jej szybkość i kwantyzacja
Pierwsza sprawa to RAM, czyli pamięć operacyjna. Model musi się w niej zmieścić w całości, razem z systemem i innymi programami. Jeśli model nie mieści się w RAM, system zaczyna wykorzystywać dysk jako zapasową pamięć i wtedy odpowiedzi mogą przychodzić bardzo wolno. Przed uruchomieniem modelu zamknij przeglądarkę z dziesiątkami kart i inne ciężkie programy.
Druga sprawa to szybkość pamięci. Liczy się przepustowość, czyli ilość danych, jaką pamięć potrafi przesłać w ciągu sekundy. Dwa komputery z tym samym procesorem mogą różnić się tempem pracy modelu tylko dlatego, że mają inną pamięć. Parametry RAM znajdziesz w specyfikacji producenta, a przy zakupie porównuj konkretne modele komputerów, nie hasła reklamowe.
Trzecia sprawa to kwantyzacja. Wagi modelu zapisane są zwykle z dużą precyzją, a kwantyzacja zapisuje je mniej dokładnie, na przykład na 4 albo 8 bitach. Plik jest wtedy mniejszy, łatwiej mieści się w RAM i szybciej się wczytuje. Płacisz za to lekko gorszą jakością, zwykle niewielką w prostych zadaniach, a większą przy trudnych. Szczegóły opiszemy w osobnych poradnikach o kwantyzacji i formacie GGUF.
Liczba rdzeni i wątków procesora też ma znaczenie, choć mniejsze niż ilość i szybkość pamięci. W niektórych programach można ustawić liczbę wątków, ale zwykle wystarczy wartość domyślna.
Jak policzyć, czy model się zmieści i jak szybko będzie działał
Przybliżony sposób: plik modelu w kwantyzacji 4-bitowej zajmuje mniej więcej pół gigabajta na każdy miliard parametrów. Model z 7 miliardami parametrów to więc w przybliżeniu 3,5 do 4 GB samego pliku, a do tego dochodzi pamięć na rozmowę i na system. Przy 8 bitach plik jest mniej więcej dwa razy większy. To szacunek, nie dokładna wartość, bo rzeczywisty rozmiar zależy od wariantu kwantyzacji. Sprawdzisz go w opisie modelu.
Szybkość również da się oszacować. Załóżmy przykładowo, że Twoja pamięć przesyła w praktyce około 20 GB danych na sekundę (to liczba przykładowa, nie pomiar). Model zajmujący 4 GB musi przy każdym tokenie odczytać większość swoich wag, więc teoretyczny sufit to około 5 tokenów na sekundę. W rzeczywistości wynik bywa niższy, bo dochodzą inne obciążenia. Ten rachunek pokazuje jednak, dlaczego szybsza pamięć i mniejszy plik mają tak duże znaczenie.
Tokeny na sekundę to miara tempa generowania tekstu. Jeśli model wypisuje kilka tokenów na sekundę, czytasz odpowiedź mniej więcej w tempie, w jakim ona powstaje. Przy niższych wartościach czekanie na każde zdanie szybko zaczyna męczyć. Pamiętaj, że wynik zależy od sprzętu, programu i ustawień, więc najlepiej zmierzyć go samemu.
Do czego taki model się nadaje
Najlepiej sprawdzają się zadania krótkie i jasno opisane. Mały model na procesorze da radę streścić kilkustronicowy tekst, choć przy długich dokumentach lepiej dzielić go na części. Poprawi styl maila, uprości zdania w notatce, przetłumaczy krótki fragment i podsunie pomysły na opis produktu albo na wiadomość do klienta.
Dobrze radzi sobie także z prostą klasyfikacją. Możesz wkleić kilkadziesiąt opinii klientów i poprosić o oznaczenie, które są pozytywne, a które negatywne. Przy większej liczbie wpisów warto jednak przejrzeć wyniki ręcznie, bo małe modele mylą się częściej niż duże.
Prywatność to osobny powód, dla którego ludzie sięgają po lokalne modele. Notatki ze spotkania, dane klientów małego sklepu czy projekt umowy nie muszą opuszczać komputera. Lokalnie nie znaczy jednak automatycznie bezpiecznie. Przy przetwarzaniu danych osobowych obowiązują zasady RODO, a szczegóły warto sprawdzić w oficjalnych źródłach.
- Streszczenie notatek ze spotkania albo długiego maila.
- Poprawa tekstu w ogłoszeniach, mailach i opisach produktów.
- Tłumaczenie krótkich fragmentów, które potem sam sprawdzisz.
- Pomysły na nagłówki, plany lekcji albo listy zadań.
- Porządkowanie prywatnych notatek, po wcześniejszym przygotowaniu danych.
Czego się nie spodziewać
Model na procesorze nie będzie rozmawiał tak płynnie jak duże czaty w chmurze i nie będzie miał takiej wiedzy. Mniejsze modele częściej zmyślają fakty, gubią wątek w długiej rozmowie i gorzej radzą sobie z trudnym rozumowaniem. Przy złożonym kodzie, analizie dużych tabel czy tekstach w rzadkich językach wyniki mogą być wyraźnie słabsze.
Drugi błąd to oczekiwanie szybkości. Jeśli planujesz pisać długie teksty na bieżąco, na zwykłym laptopie możesz długo czekać na każdą stronę. Wtedy trzeba zdecydować, czy lepszy będzie mocniejszy sprzęt, czy praca z usługą w chmurze, z której korzystasz świadomie.
- Model nie zna dzisiejszych wydarzeń, jeśli nie ma dostępu do internetu. Zna tylko to, czego nauczono go podczas treningu.
- Odpowiedzi trzeba sprawdzać, zwłaszcza daty, liczby, nazwiska i przepisy.
- Nie wklejaj haseł, numerów kart ani danych, których nie chcesz trzymać na dysku.
Jak sprawdzić to na własnym komputerze: test w kilku krokach
Nie musisz nic kupować, żeby się przekonać. Wystarczy darmowy program do uruchamiania modeli lokalnie i jeden mały model. Przejdź przez poniższe kroki, a po kilkunastu minutach będziesz wiedzieć więcej niż z dziesiątek opinii w internecie.
Aktualną instrukcję instalacji i wymagania sprzętowe znajdziesz na stronach producentów programu i modelu. Tam też sprawdzisz, czy program wspiera Twój system operacyjny i czy działa na samym procesorze.
- Pobierz program do lokalnych modeli z oficjalnej strony jego producenta. Na początek możesz wybrać Ollamę albo LM Studio; oba programy opisujemy w osobnych poradnikach.
- Pobierz mały model, najlepiej w kwantyzacji 4-bitowej, często oznaczanej jako Q4. Sprawdź w opisie, ile zajmuje na dysku i na jakiej licencji jest udostępniony.
- Zamknij ciężkie programy i upewnij się, że zostaje co najmniej kilka gigabajtów wolnej RAM ponad rozmiar pliku modelu.
- Zadaj modelowi trzy takie same pytania: krótkie streszczenie akapitu, poprawę jednego maila i prostą listę pomysłów. Zanotuj, ile czasu zajmuje każda odpowiedź.
- Porównaj wynik z tym, co sam napisałbyś w kilka minut. Jeśli tempo i jakość Ci odpowiadają, masz odpowiedź na pytanie z tytułu. Jeśli nie, przejdź do kolejnej sekcji.
Kiedy warto dopłacić do sprzętu albo sięgnąć po chmurę
Jeśli test pokaże, że model jest za wolny, masz kilka możliwości. Możesz wybrać mniejszy model albo mocniejszą kwantyzację, o ile jakość nadal wystarcza. Możesz dołożyć pamięci RAM, jeśli Twój komputer na to pozwala. Możesz też rozważyć nowszy komputer z lepszą pamięcią albo z kartą graficzną, która przyspieszy pracę modeli.
Przy zakupie porównuj konkretne parametry w ofertach, a nie ogólne hasła. Na allee.pl znajdziesz oferty laptopów i podzespołów od różnych sprzedawców. Przed decyzją sprawdź w specyfikacji producenta typ i ilość pamięci RAM oraz to, czy można ją później rozszerzyć. Ceny zmieniają się często, więc porównuj aktualne oferty, a nie zapamiętane kwoty.
Dla wielu osób najwygodniejsza jest mieszanka obu podejść: lokalny mały model do prywatnych, prostych zadań i usługa w chmurze do trudniejszych rzeczy, po wcześniejszym sprawdzeniu, jakie dane wolno tam wysyłać.
- Ile GB RAM ma komputer i czy można ją rozbudować.
- Jaki typ i szybkość pamięci podaje producent.
- Czy laptop utrzyma wydajność przy długim obciążeniu, czyli czy ma sensowne chłodzenie.
- Czy wybrany program wspiera Twój system operacyjny.
- Czy sprzedawca oferuje zwrot, a jeśli tak, na jakich zasadach.
Najczęstsze pytania
Czy model AI działa bez karty graficznej?
Tak, małe modele uruchomisz na samym procesorze i pamięci RAM. Odpowiedzi będą wolniejsze, a przy większych modelach czas oczekiwania szybko rośnie. Najlepiej sprawdzić to testem na własnym komputerze.
Ile RAM potrzebuje model AI uruchamiany na procesorze?
Przybliżenie: plik modelu w kwantyzacji 4-bitowej waży około pół gigabajta na każdy miliard parametrów, a do tego dochodzi pamięć dla systemu i rozmowy. Wielu osobom wygodniej pracuje się z 16 GB RAM. Dokładną wartość sprawdź w opisie konkretnego modelu.
Co to jest kwantyzacja w prostych słowach?
To zapisanie wag modelu z mniejszą precyzją, na przykład na 4 lub 8 bitach zamiast na większej liczbie. Plik jest mniejszy i szybciej się wczytuje, ale jakość może być trochę niższa. Im mocniejsza kwantyzacja, tym większa szansa na zauważalne różnice.
Czy lokalny model AI jest bezpieczniejszy dla moich danych?
Dane nie muszą być wysyłane na zewnętrzny serwer, ale to nie zwalnia z ostrożności. Sprawdź ustawienia programu, zwłaszcza kwestię aktualizacji i połączeń sieciowych, i nie zapisuj w notatkach danych, których nie chcesz trzymać na dysku.
Ile tokenów na sekundę to dobry wynik?
Do czytania na bieżąco zwykle wystarcza kilka tokenów na sekundę, choć to zależy od Ciebie. Przy niższym tempie czekanie na dłuższe odpowiedzi szybko męczy. Wynik zależy od sprzętu, programu i modelu, więc zmierz go na swoim komputerze.
Czy model na procesorze nadaje się do pracy w małym sklepie?
Do prostych zadań, jak szkic opisu produktu czy poprawa wiadomości do klienta, tak. Przy rozliczeniach, decyzjach o cenach albo danych klientów potrzebna jest kontrola człowieka i znajomość zasad ochrony danych osobowych.