Praca offline: jak przygotować model, żeby działał bez internetu

Dlaczego model offline wymaga przygotowania

Lokalny model AI przypomina encyklopedię na półce: masz ją u siebie i nikogo nie musisz pytać, ale najpierw trzeba ją kupić i wnieść do domu. Model to plik z zapisanymi wagami, czyli ustawieniami, których nauczył się podczas treningu. Program, na przykład Ollama, LM Studio, Jan albo GPT4All, czyta ten plik i prowadzi z nim rozmowę. Sama rozmowa odbywa się na Twoim sprzęcie.

Przygotowanie składa się więc z trzech rzeczy. Program musi być zainstalowany, model musi być pobrany, a całość musi działać bez sieci. Najlepiej zrobić pierwsze dwa kroki w domu, przy stabilnym łączu, a nie w hotelowej sieci o niepewnej przepustowości.

Jeśli dopiero zaczynasz, zajrzyj do osobnych poradników w tym dziale o programach do lokalnych modeli i o tym, skąd pobierać modele. Tutaj skupiamy się na tym, co zrobić, żeby wyjazd nie zakończył się pustym ekranem.

Co pobrać z wyprzedzeniem

Zacznij od listy. Potrzebujesz programu do czatu z modelem, samego modelu (lub kilku, jeśli chcesz mieć wybór) i ewentualnie plików, które chcesz analizować. Zapisz wszystko w jednym folderze, żeby po przyjeździe nie szukać po całym dysku.

Przy wyborze modelu patrz na to, do czego go użyjesz. Do prostych pytań, streszczeń i poprawiania tekstów zwykle wystarczy mniejszy model. Do bardziej złożonych zadań potrzebny jest większy, a większy oznacza dłuższe pobieranie i więcej miejsca. Nie podajemy tu konkretnych rozmiarów plików, bo zmieniają się wraz z nowymi wersjami. Sprawdź je na stronie źródła przed pobraniem.

Zwróć uwagę na licencję. Model otwarty nie zawsze oznacza, że wolno go użyć w każdym celu, także zarobkowym. Najpewniejsze informacje znajdziesz na stronie producenta modelu. Jeśli planujesz zakup karty graficznej do domowego modelu, porównaj oferty na allee.pl, ale parametry zawsze sprawdź u producenta.

• Zainstaluj program i sprawdź, czy się uruchamia.
• Pobierz wybrany model w wersji, którą Twój sprzęt udźwignie. Osobny poradnik wyjaśnia poziomy kwantyzacji.
• Zadaj kilka pytań i zobacz, czy odpowiedzi są czytelne.
• Zapisz instalator programu i pliki modelu w jednym folderze z czytelną nazwą.

Test w trybie samolotowym krok po kroku

Najważniejszy krok to sprawdzenie, czy wszystko działa bez sieci. Zrób to w domu, zanim będziesz tego potrzebować. Tryb samolotowy wyłącza Wi-Fi i dane komórkowe. W laptopie możesz go często włączyć z klawiatury albo z centrum powiadomień, a na komputerze stacjonarnym odłącz kabel sieciowy i wyłącz Wi-Fi.

Test nie polega na tym, że wyłączasz router i liczysz na szczęście. Działaj w określonej kolejności: uruchom komputer, wyłącz sieć, otwórz program, wybierz model i zadaj kilka pytań. Jeśli odpowiedzi przychodzą, masz pewność, że model czyta się z dysku.

Jeśli program zgłasza błąd po wyłączeniu sieci, najczęściej przyczyną jest niepełne pobranie modelu albo ustawienie wymagające połączenia przy starcie. Szukaj wtedy instrukcji w dokumentacji programu, zamiast zakładać, że model jest uszkodzony.

• Upewnij się, że model jest już pobrany i widoczny w programie.
• Włącz tryb samolotowy albo odłącz sieć.
• Uruchom program i wybierz model, niczego po drodze nie pobieraj.
• Zadaj co najmniej trzy pytania różnego typu: krótkie, o tekst po polsku i o zadanie do wykonania.
• Zanotuj, czy program zgłasza próbę połączenia z siecią i jak długo trwa odpowiedź.
• Wyłącz tryb samolotowy i sprawdź, czy wszystko nadal działa.

Zapas na dysku zewnętrznym

Pliki modelu to zwykłe pliki, więc można je skopiować. Dysk zewnętrzny albo pendrive o pojemności, która pomieści wszystkie modele, daje zapas na wypadek awarii dysku w laptopie, reinstalacji systemu albo zgubienia komputera.

Kopia ma sens także wtedy, gdy masz dwa komputery, na przykład domowy i służbowy. Plik modelu możesz przenieść z jednego na drugi. Pamiętaj jednak, że sam plik to nie wszystko. Program też trzeba zainstalować, a jego wersja powinna pasować do systemu. Dlatego zapisz obok także instalator i notatkę, skąd został pobrany.

Przy kopiowaniu nie zmieniaj nazw plików. Pobrany model często ma długą nazwę z oznaczeniem wersji i poziomu kwantyzacji, a zmiana nazwy może sprawić, że program go nie rozpozna. Zrób też krótką listę tego, co jest na dysku i do czego służy.

• Oznacz dysk i zapisz, które modele i programy się na nim znajdują.
• Skopiuj obok notatkę z adresem strony producenta i datą pobrania.
• Sprawdź po skopiowaniu, czy pliki się otwierają. Najlepiej powtórz test w trybie samolotowym na drugim komputerze.
• Raz na kilka miesięcy sprawdź, czy kopia jest aktualna.

Gdzie to się przydaje: podróż i miejsca bez zasięgu

Offline AI najczęściej przydaje się w podróży. W pociągu ze słabym zasięgiem, na kempingu, w samolocie czy w górskiej chacie sieci może nie być, a pytania nie czekają. Lokalny model pomoże przetłumaczyć krótki tekst, przypomnieć przepis z tego, co masz w lodówce, albo streścić dokument, który zabrałeś ze sobą.

Drugie zastosowanie to miejsca bez zasięgu na stałe: gospodarstwo na wsi, łódź, praca w terenie czy magazyn z grubymi ścianami. Mały sklep albo rzemieślnik może mieć na komputerze model do szkicowania krótkich opisów produktów albo odpowiedzi na powtarzające się pytania, bez wysyłania treści do chmury. To przykład, a nie gotowe rozwiązanie, które trzeba dopasować do własnej pracy.

Trzecia sytuacja to ochrona prywatności. Jeśli nie chcesz, żeby treść pytań trafiała na zewnętrzne serwery, a połączenie jest zbędne, model offline daje spokój. Więcej o tym piszemy w osobnym poradniku o prywatności modeli lokalnych.

• Podróż pociągiem lub samolotem bez pewnego internetu.
• Wyjazd za miasto, na działkę albo w góry.
• Praca w miejscu o słabym zasięgu.
• Nauka i pisanie bez dostępu do sieci.

Czego model offline nie wie i nie zrobi

Model zapisany na dysku zna tylko to, czego uczono go podczas treningu. Nie wie, co wydarzyło się po jego dacie, nie sprawdzi cen, pogody ani rozkładu jazdy. Przy pytaniu o aktualne sprawy może odpowiedzieć pewnym tonem, ale to będzie zgadywanie. Do bieżących informacji używaj źródeł, które masz pod ręką, a model traktuj jako pomocnika do pisania, porządkowania i myślenia.

Drugie ograniczenie to jakość. Mniejsze modele, zwłaszcza mocno skompresowane, mogą gorzej radzić sobie z trudnymi zadaniami i z językiem polskim niż większe. Im bardziej skomplikowane pytanie, tym ważniejsze jest sprawdzenie odpowiedzi. Osobny poradnik pokazuje, jak samodzielnie przetestować model do polskiego tekstu.

Trzecie to szybkość. Na słabszym sprzęcie odpowiedzi mogą przychodzić powoli, więc w podróży zaplanuj dłuższe oczekiwanie. Tempo zależy od sprzętu, programu i ustawień, więc nie traktuj żadnej liczby jako obietnicy. Czwarte: model nie przeszukuje sieci, nie wyśle wiadomości i nie zrobi zakupów. Do takich zadań potrzebne są inne narzędzia.

Lista kontrolna przed wyjazdem

Zanim zamkniesz walizkę, przejdź przez tę listę. Każdy punkt zajmuje chwilę, a pominięty może oznaczać, że w połowie drogi zostaniesz bez działającego modelu.

• Program do lokalnych modeli jest zainstalowany i się uruchamia.
• Wybrany model jest pobrany w całości, a nie w połowie.
• Test w trybie samolotowym został wykonany i zapisany w notatce.
• Kopia modelu i programu leży na dysku zewnętrznym, a jej zawartość została sprawdzona.
• Komputer jest naładowany, a zasilacz w torbie. Praca modelu mocno obciąża komputer, więc bateria może zużywać się szybciej.
• Wiesz, do czego model się nadaje, a do czego nie.

Bezpieczeństwo danych w podróży

Offline nie znaczy bezpiecznie w każdych warunkach. Laptop z zapisanymi rozmowami i plikami może zostać zgubiony albo ukradziony, więc zabezpiecz konto systemowe hasłem i włącz szyfrowanie dysku, jeśli system je oferuje. Instrukcję znajdziesz w dokumentacji systemu.

Nie wpisuj do modelu danych, których nie chcesz zostawić na dysku: haseł, numerów dokumentów, danych medycznych czy danych klientów. Lokalny model nie wysyła ich do chmury, ale rozmowy zostają w historii programu, a ktoś z dostępem do komputera może je przeczytać.

Odpowiedzi modelu zawsze sprawdzaj. Model może pomylić fakty, zmyślić szczegół przepisu albo źle zrozumieć pytanie, a w podróży nie masz pod ręką wyszukiwarki, żeby to szybko zweryfikować. Decyzje dotyczące zdrowia, pieniędzy czy bezpieczeństwa konsultuj z lekarzem, bankiem albo oficjalnym źródłem. AI nie zastępuje lekarza.