W skrócie
- Na starszym komputerze najlepiej sprawdzają się małe modele, rzędu kilku miliardów parametrów, w skompresowanej wersji, a nie duże modele znane z płatnych usług.
- Najważniejsza jest ilość pamięci RAM; gdy model się w niej nie mieści, system zaczyna korzystać z dysku i wszystko wyraźnie zwalnia.
- Dysk SSD zamiast starego dysku HDD skraca wczytywanie modeli i start programów, ale nie przyspiesza samego pisania odpowiedzi.
- Mniejsza kwantyzacja zmniejsza zużycie pamięci kosztem nieco mniej dokładnych odpowiedzi, i na słabszym sprzęcie to zwykle rozsądny kompromis.
- Odpowiedzi będą wolniejsze i mniej trafne niż w dużych usługach w chmurze, więc stary komputer traktuj jako miejsce do nauki i prostych zadań.
Co tak naprawdę decyduje, czy stary komputer udźwignie AI
Określenie „stary komputer” obejmuje bardzo różne sprzęty. Może to laptop z ośmioma gigabajtami pamięci i procesorem sprzed kilku lat, a może biurkowy zestaw z dobrą kartą graficzną, który nie był kupowany pod kątem sztucznej inteligencji. Dla lokalnych modeli liczą się cztery rzeczy: ilość pamięci RAM, pamięć karty graficznej (jeśli ją masz), szybkość procesora i szybkość dysku.
Najłatwiej wyobrazić to sobie w kuchni. Model AI to ogromna książka kucharska, a pamięć RAM to blat, na którym ją rozkładasz. Mały blat nie pomieści wszystkiego naraz, więc część przepisów zostaje w szafce, a przy każdym sięgnięciu tracisz czas. Dysk jest właśnie tą szafką: wszystko jest pod ręką, ale wyciąganie składników trwa znacznie dłużej niż praca na blacie.
Zanim zaplanujesz cokolwiek, sprawdź, co masz w środku. Nie musisz być informatykiem, żeby zebrać te dane w kilka minut. Jeśli zamierzasz później dokładać podzespoły, te informacje będą Ci potrzebne do wyboru części.
- Ilość RAM: w Windows w Menedżerze zadań, na karcie Wydajność; na Macu w menu z informacjami o komputerze.
- Model i wiek procesora: także w Menedżerze zadań lub na naklejce i w dokumentacji komputera.
- Typ dysku: SSD czy HDD, co też pokaże Menedżer zadań przy wybranym dysku.
- Karta graficzna i ile ma własnej pamięci: w Menedżerze zadań, na karcie GPU.
- Wolne miejsce na dysku, bo same modele zajmują od gigabajta do kilkudziesięciu gigabajtów.
Jakie modele zmieszczą się w starym sprzęcie
Modele językowe opisuje się liczbą parametrów, czyli wewnętrznych wartości, które program dopasowywał podczas nauki. Parametry podaje się w miliardach, zapisywanych jako B. Model 1B ma miliard parametrów, model 7B siedem miliardów. Im więcej parametrów, tym zwykle lepsze odpowiedzi, ale też więcej pamięci potrzeba, żeby model w ogóle ruszył.
Przybliżony rozmiar modelu w pamięci można oszacować prostym rachunkiem: liczba parametrów razy liczba bitów na parametr, podzielona przez osiem, daje wynik w gigabajtach. Do tego dolicz od półtora do dwóch gigabajtów zapasu na system, program i treść rozmowy. To szacunek, a nie ścisła reguła, bo wynik zależy od programu, ustawień i tego, co akurat działa w tle.
Na komputerze z 8 GB RAM realnie najlepiej sprawdzają się modele rzędu 1–4 miliardów parametrów. Model 7B w wersji 4-bitowej da się uruchomić, ale tylko wtedy, gdy nic innego nie zajmuje dużo pamięci. Na 4 GB RAM mówimy praktycznie tylko o najmniejszych modelach, a i one będą mocno ograniczone.
- Model 3B w wersji 4-bitowej: 3 × 4 ÷ 8 = około 1,5 GB wag, z zapasem około 3–4 GB RAM.
- Model 7B w wersji 4-bitowej: 7 × 4 ÷ 8 = około 3,5 GB wag, z zapasem około 5–6 GB RAM.
- Model 7B w wersji 8-bitowej: 7 × 8 ÷ 8 = około 7 GB wag, z zapasem ponad 8 GB, czyli na komputerze z 8 GB RAM zwykle nie zmieści się bez problemów.
- Rozmiar pliku podaje strona, z której pobierasz model. Sprawdź go przed pobraniem, zanim zajmiesz połowę dysku.
Kwantyzacja: jak odchudzić model bez wymiany sprzętu
Kwantyzacja to zmniejszanie precyzji zapisu wartości w modelu. Porównanie z codziennym życiem: zdjęcie zapisane w bardzo wysokiej jakości zajmuje dużo miejsca, a po zapisaniu w niższej jakości na ekranie telefonu wygląda prawie tak samo, a plik jest wyraźnie mniejszy. Model zachowuje się podobnie. Mniejszy zapis oznacza mniej pamięci i zwykle szybsze działanie, ale odpowiedzi bywają trochę mniej dokładne.
W nazwach plików zobaczysz oznaczenia typu Q8 albo Q4, czyli zwykle liczbę bitów na wartość. Wersje 8-bitowe są bliższe oryginałowi, ale większe. Wersje 4-bitowe są wyraźnie mniejsze i na słabszym sprzęcie stanowią zwykle rozsądny kompromis. Jeszcze niższe wersje zajmują jeszcze mniej miejsca, ale jakość odpowiedzi w nich spada na tyle, że na początek nie schodź poniżej 4 bitów.
Format plików, który często spotkasz przy uruchamianiu modeli na zwykłym procesorze, to GGUF. Nazwa formatu nie mówi jednak nic o jakości, więc czytaj opis wersji i porównuj ją z innymi.
- Zacznij od wersji 4-bitowej tego samego modelu, która mieści się w pamięci z zapasem.
- Jeśli zostaje dużo wolnej pamięci, porównaj wersję 8-bitową mniejszego modelu z 4-bitową większego.
- Nie wybieraj wersji, która zajmuje tyle, ile masz wolnej RAM. System i program też potrzebują miejsca.
- Przetestuj jedno zadanie, które naprawdę wykonujesz, na przykład streszczenie maila albo poprawienie akapitu, i oceń wynik własnym okiem.
Więcej RAM: najskuteczniejsza poprawa
Jeśli model nie mieści się w pamięci RAM, system zaczyna przerzucać dane na dysk, co nazywa się plikiem stronicowania lub wymianą pamięci. Dysk jest wielokrotnie wolniejszy od pamięci, więc odpowiedzi przychodzą ślamazarnie, a komputer staje się mało reagujący. Dlatego kilka dodatkowych gigabajtów RAM daje często większą różnicę niż wszystkie inne zmiany razem wzięte.
Zanim cokolwiek kupisz, sprawdź w dokumentacji producenta, ile pamięci obsługuje Twój komputer i ile ma wolnych gniazd. W wielu lekkich laptopach pamięć jest wlutowana na stałe albo jest jeden moduł, więc rozbudowa bywa ograniczona. Mini PC i część komputerów stacjonarnych mają moduły, które wymienisz samodzielnie. Nie każdy moduł pasuje do każdej płyty, dlatego najpierw ustal typ pamięci, który obsługuje sprzęt.
Gotowe moduły pamięci porównasz w ofertach na allee.pl, ale zawsze czytaj opis i sprawdzaj typ, pojemność oraz liczbę sztuk w zestawie.
- Ustal, jaki typ pamięci i ile modułów ma komputer, korzystając z programu informacyjnego o systemie albo dokumentacji.
- Sprawdź maksymalną obsługiwaną pojemność u producenta, zanim kupisz.
- Jeśli to możliwe, dokładaj moduły tego samego typu i pojemności, bo mieszanie różnych kości bywa kłopotliwe.
- Po montażu sprawdź w systemie, czy widać pełną ilość pamięci.
SSD zamiast starego dysku: szybsze ładowanie i miejsce na modele
Modele trzymane na starym dysku mechanicznym, czyli HDD, wczytują się do pamięci długo. Dysk SSD, czyli dysk bez ruchomych części, pracuje wyraźnie szybciej. Pamiętaj jednak, że szybszy dysk nie przyspieszy samego pisania odpowiedzi, które zależy głównie od pamięci i procesora. SSD pomaga przy starcie programu, przy zmianie modelu i wtedy, gdy system często przerzuca dane z RAM.
Na starszym laptopie często jest tylko jedno złącze na dysk. Wymiana HDD na SSD to zwykle prosta zmiana, którą odczujesz w całym systemie, a nie tylko w AI. Przed wymianą zrób kopię danych, bo proces przenoszenia systemu i plików wymaga uwagi.
Dysk ma też drugie znaczenie: miejsce. Modele, pliki tymczasowe i kolejne wersje programu zajmują dużo więcej niż sam jeden model, więc zostaw sobie wyraźny zapas.
- Zostaw co najmniej kilkanaście gigabajtów wolnego miejsca, a najlepiej więcej.
- Trzymaj aktywnie używane modele na szybkim dysku, a stare archiwa przenieś na HDD.
- Przed wymianą sprawdź typ złącza i wymiary dysku w dokumentacji laptopa lub płyty.
- Zapisz wszystkie klucze licencyjne i hasła, zanim zaczniesz przenosić system.
Ustawienia i nawyki, które odzyskują wydajność
Zanim uznasz, że komputer jest za słaby, sprawdź, co zabiera pamięć. Przeglądarka z kilkudziesięcioma kartami, komunikator, edytor zdjęć i aktualizacje w tle potrafią zjeść kilka gigabajtów. Przed uruchomieniem modelu zamknij to, czego nie używasz, i wyłącz programy startujące razem z systemem.
Drugą grupą są ustawienia samego programu do AI. Długość kontekstu, czyli tego, ile wcześniejszej rozmowy model pamięta naraz, zużywa dodatkową pamięć. Krótsza rozmowa oznacza mniejsze zużycie i zwykle szybsze odpowiedzi. Jeśli program pozwala ustawić liczbę wątków procesora, zacznij od wartości zbliżonej do liczby rdzeni fizycznych i sprawdzaj, co działa lepiej. Zmieniaj jedno ustawienie naraz, bo inaczej nie dowiesz się, co pomogło.
Sprzęt też potrzebuje opieki. Zakurzony komputer z zatkanymi wlotami powietrza przegrzewa się i zwalnia, a laptopy na baterii często ograniczają wydajność.
- Zamknij nieużywane karty przeglądarki i ciężkie programy przed uruchomieniem modelu.
- Podłącz laptop do zasilania podczas pracy z AI.
- Sprawdź, czy wentylatory działają i czy wloty powietrza nie są zakurzone.
- Zaktualizuj sterowniki karty graficznej i system wyłącznie z oficjalnych stron producentów.
- Notuj, która zmiana dała efekt, i nie zmieniaj wszystkiego naraz.
Realistyczne oczekiwania: co dostaniesz, a czego nie
Stary komputer z małym modelem nie jest tym samym co płatna usługa AI w chmurze, tylko działającą wolniej wersją. Mały model, nawet dobrze skompresowany, ma mniej wiedzy i gorzej radzi sobie z trudnymi zadaniami, długimi tekstami i zagadkami logicznymi. Częściej się myli, a jego błędne odpowiedzi mogą brzmieć bardzo pewnie. Dobrze to porównać do małej, zwinnej ciężarówki do dostaw po mieście. Świetnie nadaje się na drobne kursy, ale nie przewiezie całej przeprowadzki.
Szybkość też trzeba przyjąć ze spokojem. Na procesorze bez dodatkowego wsparcia dla AI odpowiedzi pojawiają się słowo po słowie, czasem wolniej, niż czytasz. Do krótkich tekstów to wystarcza, ale przy długich dokumentach bywa męcząco. Konkretnych liczb nie podam, bo zależą od procesora, pamięci i programu. Najuczciwiej zmierzysz je stoperem na własnym sprzęcie.
Są też zadania, których na słabszym sprzęcie nie warto próbować. Generowanie obrazów i wideo zwykle wymaga mocnej karty graficznej, a analiza bardzo długich dokumentów szybko zderza się z limitem pamięci. Dobrze sprawdzą się streszczenia, poprawianie stylu, tłumaczenia prostych zdań, pomysły na prezent, nauka pojęć i ćwiczenia z pisania kodu w małych krokach. Jeśli chcesz regularnie pracować na większych modelach albo liczyć na szybkie odpowiedzi, rozważ usługę w chmurze. Więcej o tym w osobnym poradniku o komputerze AI w chmurze.
- Nie wpisuj do modelu haseł, numerów PESEL, danych bankowych ani danych medycznych innych osób.
- Sprawdzaj odpowiedzi przed użyciem, szczególnie daty, liczby, nazwy i cytaty, bo model może je wymyślić.
- Porad medycznych i prawnych nie traktuj jako ostatecznych. W sprawach zdrowia skonsultuj się z lekarzem, a w sprawach prawnych z właściwą instytucją lub prawnikiem.
- Ustawienia prywatności i działanie w pełni lokalnym sprawdzaj w dokumentacji programu, a nie zakładaj tego na słowo.
Prosty test: sprawdź, czy Twój komputer daje radę
Najlepszy sposób, by ocenić sprzęt, to krótki test na własnych warunkach. Zainstaluj program do lokalnych modeli, pobierając go z oficjalnej strony producenta. Po uruchomieniu wybierz z listy najmniejszy model, na przykład rzędu 1–3 miliardów parametrów, w wersji 4-bitowej. Aktualną instrukcję znajdziesz na stronie programu, bo interfejsy zmieniają się wraz z kolejnymi wersjami.
Następnie zadaj modelowi to samo pytanie i stoperem zmierz, ile trwa oczekiwanie na pierwsze słowo i jak długo pisze się całość. Równolegle obserwuj w Menedżerze zadań zużycie RAM i aktywność dysku. Jeśli pamięć jest prawie pełna, a dysk pracuje non-stop, wąskim gardłem jest RAM i kolejna rozbudowa ma największy sens. Jeśli pamięci zostaje zapas, a odpowiedzi i tak pojawiają się wolno, ograniczeniem jest procesor, a wtedy zwykle pomaga dopiero mniejszy model albo nowszy sprzęt.
Test warto powtórzyć po każdej zmianie, na przykład po dołożeniu pamięci czy wymianie dysku. Dzięki temu nie zgadujesz, tylko porównujesz wyniki.
- Wybierz najmniejszy model i zapisz jego nazwę oraz wersję kwantyzacji.
- Zamknij wszystkie niepotrzebne programy przed testem.
- Zadaj to samo pytanie trzy razy i zapisz czasy odpowiedzi.
- Zapisz zużycie RAM w trakcie generowania odpowiedzi.
- Oceń, czy takie tempo i jakość wystarczają do Twojej pracy, zanim cokolwiek dokupisz.
Najczęstsze pytania
Czy stary komputer z 8 GB RAM uruchomi lokalne AI?
Tak, ale tylko małe modele, najlepiej w wersjach 4-bitowych, i odpowiedzi będą wolne. Przed startem zamknij inne programy i zacznij od modelu rzędu 1–3 miliardów parametrów. Jeśli pamięć okazuje się za mała, rozbudowa RAM zwykle daje największą poprawę.
Czy karta graficzna jest potrzebna, żeby uruchomić AI na starym komputerze?
Nie. Małe modele działają na samym procesorze, choć wolniej. Karta graficzna z własną pamięcią przyspiesza pracę, jeśli ją masz i program ją obsługuje. Sprawdź w dokumentacji programu, czy wykorzystuje Twoją kartę.
Czy wymiana dysku HDD na SSD przyspieszy odpowiedzi AI?
Przyspieszy wczytywanie modeli i start programu, ale nie samo pisanie odpowiedzi, które zależy głównie od pamięci i procesora. Największą różnicę zrobi szybki dysk wtedy, gdy system często przerzuca dane z RAM na dysk.
Jaka kwantyzacja jest najlepsza na słaby komputer?
Dla większości słabszych komputerów rozsądnym punktem wyjścia jest wersja 4-bitowa. Jest mniejsza i szybsza, a odpowiedzi zwykle nadal nadają się do prostych zadań. Jeśli zostaje dużo pamięci, porównaj wersję 8-bitową mniejszego modelu z 4-bitową większego.
Czy dane wpisane do lokalnego modelu zostają na moim komputerze?
Przy programie działającym w pełni lokalnie dane zostają na komputerze, ale sprawdź w dokumentacji i ustawieniach, czy nic nie jest wysyłane na zewnątrz. Nawet lokalnie nie wpisuj haseł, numerów PESEL ani danych bankowych.