Parametry modelu AI: co znaczy „model 7B” i „70B”

Co znaczy litera B w nazwie modelu

Kiedy zobaczysz nazwę modelu, na przykład 7B albo 70B, litera B to skrót od angielskiego słowa billion. Uwaga: w języku angielskim billion to miliard, czyli tysiąc milionów, a nie polski bilion. Dlatego „7B” czytamy jako siedem miliardów parametrów, a „70B” jako siedemdziesiąt miliardów.

Parametry to liczby, które sieć neuronowa ma w środku. Model ma ich tak wiele, bo opisanie języka, obrazów czy dźwięku wymaga ogromnej liczby drobnych ustawień. Sama liczba mówi więc o rozmiarze modelu, a nie o tym, jak dobrze odpowiada.

Parametry jako pokrętła w wielkim mikserze

Wyobraź sobie wielki pulpit miksera dźwięku w studiu nagrań. Każdy suwak ustawia trochę inną rzecz: głośność basów, pogłos, jasność. Pojedynczy suwak nic nie znaczy, ale razem decydują o brzmieniu całego utworu. Parametry modelu działają podobnie: każde z nich lekko zmienia sposób, w jaki sieć przetwarza tekst, a razem tworzą to, co model „wie” i jak potrafi to wyrazić.

Nikt tych pokręteł nie ustawia ręcznie. Podczas treningu model dostaje ogromne ilości przykładów, a za każdym razem, gdy się myli, jego parametry są lekko korygowane. Po milionach takich poprawek ustawienia układają się tak, że model zaczyna przewidywać sensowne ciągi słów. Więcej o samym procesie znajdziesz w osobnym poradniku o treningu i działaniu modelu.

Kiedy korzystasz z gotowego modelu, parametry już się nie zmieniają. Ich wartości są zapisane w pliku, a komputer tylko z nich korzysta, żeby policzyć odpowiedź. Ten etap nazywa się inferencją.

Czy większy zawsze znaczy lepszy?

Nie zawsze. Większy model zwykle ma szerszą wiedzę i lepiej radzi sobie z trudniejszymi zadaniami, takimi jak rozumowanie w wielu krokach czy pisanie długich tekstów o złożonej strukturze. W prostych czynnościach, jak streszczenie krótkiego maila czy poprawa literówek, mniejszy model potrafi wypaść równie dobrze.

Pomyśl o kucharzu. Zawodowiec z dużą wiedzą poradzi sobie z każdym daniem, ale jeśli potrzebujesz tylko kanapki, nie musisz zatrudniać szefa kuchni. Mały model dobrze dobrany do zadania bywa rozsądniejszym wyborem: szybciej odpowiada, mniej obciąża sprzęt i łatwiej go uruchomić.

Liczba parametrów nie mówi też nic o tym, jak model był trenowany ani na jakich danych. Dwa modele o tej samej wielkości mogą różnić się jakością bardzo mocno.

• Duży model: lepszy w trudnych, wieloetapowych zadaniach, ale wymaga więcej pamięci i zwykle działa wolniej na tym samym sprzęcie.
• Mały model: szybszy i lżejszy, dobry do prostych czynności, streszczeń i krótkich odpowiedzi.
• Oba mogą się mylić, dlatego odpowiedzi zawsze warto sprawdzić.

Co, poza liczbą, decyduje o jakości

Często pomijana jest jakość danych. Model uczony na starannie przygotowanych tekstach może dać lepsze odpowiedzi niż większy model uczony na chaotycznym materiale. Działa to podobnie jak z nauką: dobry podręcznik bywa ważniejszy niż liczba stron.

Duże znaczenie ma także dopracowanie modelu po treningu podstawowym, czyli to, jak został nauczony pomagać użytkownikom i czy przygotowano go dodatkowo do konkretnego zadania. Szczegóły opisujemy w osobnych poradnikach o dopracowaniu i dostrajaniu modeli.

Nie zapominaj o zasadzie, którą powtarzamy w całym Centrum AI: model może mówić pewnym tonem i się mylić. Liczba parametrów nie gwarantuje prawdziwości odpowiedzi, więc przy ważnych sprawach weryfikuj wynik w innym źródle.

Dlaczego duży model potrzebuje dużo pamięci

Każdy parametr musi być w pamięci w chwili, gdy model liczy odpowiedź. Im więcej parametrów, tym większy plik z modelem i tym więcej pamięci potrzebuje komputer. Najczęściej chodzi o pamięć karty graficznej, zwaną VRAM. Gdy jej brakuje, część pracy może przejść na zwykłą pamięć RAM, a to zwykle spowalnia odpowiedzi.

Prosty sposób na oszacowanie: mnożysz liczbę parametrów przez liczbę bajtów zapisu jednego parametru. Załóżmy model z 7 miliardami parametrów zapisany tak, że każdy parametr zajmuje 2 bajty. Wychodzi 14 miliardów bajtów, czyli około 14 GB samych wag, bez miejsca na dane robocze. To tylko przybliżenie, bo dokładny wynik zależy od formatu, programu i ustawień.

Porównaj to do książki i półki. Większa książka wymaga większej półki, a nawet jeśli ją zmieścisz, trudniej do niej sięgnąć, gdy półka jest zatłoczona.

Dlatego wymagania sprzętowe rosną razem z liczbą parametrów. Nie podajemy tu konkretnych wartości dla poszczególnych modeli, bo zmieniają się szybko. Sprawdzaj je w dokumentacji producenta modelu lub w opisie projektu, z którego chcesz skorzystać.

Kwantyzacja: jak zmniejszyć model bez nowego sprzętu

Kwantyzacja to zmniejszanie precyzji zapisu liczb w modelu. Przykład: zapis liczby 3,14159265 można uprościć do 3,14. Zapis jest krótszy, a w wielu zastosowaniach wynik jest prawie taki sam. Podobnie model zapisany w niższej precyzji zajmuje mniej miejsca i ma szansę zmieścić się w pamięci słabszej karty.

Trzeba jednak pamiętać o kompromisie. Im mocniej zaokrąglasz, tym większa szansa, że jakość odpowiedzi spadnie, zwłaszcza w trudnych zadaniach i przy długim tekście. Programy do uruchamiania modeli zwykle pokazują różne warianty zapisu, a ich opisy warto przeczytać przed pobraniem.

W praktyce masz więc wybór: mniejszy model w wyższej precyzji albo większy model w mocno uproszczonym zapisie. Przy zwykłych pytaniach i pisaniu maili często lepiej sprawdza się pierwszy wariant, a przy skomplikowanych analizach warto przetestować oba.

Jak dobrać model do swojego sprzętu i potrzeb

Zanim kupisz kartę graficzną albo zaczniesz pobierać model, zrób prostą listę kontrolną. Nie musisz być informatykiem. Wystarczy kilka pytań o to, do czego naprawdę potrzebujesz AI.

• Do czego będę używać modelu: pisanie, tłumaczenia, streszczenia, programowanie, a może analiza dokumentów?
• Czy mogę korzystać z modelu w chmurze, czy muszę uruchomić go lokalnie, na przykład ze względu na prywatność danych?
• Ile pamięci ma karta graficzna i ile RAM w moim komputerze? Sprawdzisz to w ustawieniach systemu i w specyfikacji sprzętu.
• Czy producent modelu podaje minimalne wymagania i w jakim formacie udostępnia plik?
• Czy mogę najpierw przetestować mniejszą wersję, zanim zainwestuję w większy sprzęt?
• Jeśli rozważasz zakup karty graficznej, porównaj aktualne oferty na allee.pl i sprawdź parametry u producenta, zanim wybierzesz model.

Typowe błędy przy czytaniu nazw modeli

Kilka pomyłek pojawia się regularnie. Warto je znać, zanim podejmiesz decyzję o zakupie albo instalacji.

• Mylenie parametrów z jakością: model 70B nie musi być lepszy w każdym zadaniu od mniejszego modelu nowszej generacji.
• Zakładanie, że wymagania są stałe: ta sama liczba parametrów może wymagać różnej pamięci w zależności od formatu zapisu.
• Pomijanie pamięci: sam fakt, że model da się pobrać, nie oznacza, że uruchomi się płynnie na Twoim komputerze.
• Ufanie każdej odpowiedzi: duży model też halucynuje, czyli podaje zmyślone fakty tonem pewnej wiedzy.
• Wpisywanie danych wrażliwych: do modeli, zwłaszcza zewnętrznych, nie wpisuj numerów PESEL, haseł ani cudzych danych medycznych.