W skrócie
- Token to kawałek tekstu, z którym pracuje model: może być całym słowem, częścią słowa, znakiem interpunkcyjnym albo spacją.
- Polski zwykle zajmuje więcej tokenów niż angielski, bo słowniki modeli uczono w dużej mierze na angielskich tekstach, a polska odmiana dzieli słowa na więcej kawałków.
- Limit okna kontekstu, a często także opłaty, liczy się w tokenach, więc ten sam tekst po polsku może szybciej zapełnić limit.
- Konkretne ceny i limity sprawdzaj w aktualnej ofercie i dokumentacji producenta, bo zmieniają się i różnią między dostawcami.
- Liczbę tokenów zmierzysz licznikiem podanym przez dostawcę, a przed dużą serią zadań zawsze zrób test na kilku przykładach.
Token to kawałek tekstu, a nie słowo
Token to najmniejsza porcja tekstu, z jaką pracuje model językowy. Może być całym słowem, jego częścią, pojedynczą literą, znakiem interpunkcyjnym albo spacją przed słowem. Nie ma jednej uniwersalnej reguły, bo każdy model ma własny słownik tokenów, ułożony podczas przygotowania modelu.
Dobrym porównaniem są klocki Lego. Zdanie można zbudować z dużych klocków, czyli całych popularnych słów, ale często wygodniej użyć mniejszych, czyli sylab i końcówek. Model nie zna znaczenia słowa „ogród” jak Ty, z zielenią i altaną. Widzi jednak, jak kawałki tekstu układają się obok siebie w ogromnej liczbie przykładów, i na tej podstawie przewiduje, co może pojawić się dalej.
Każdy token dostaje swój numer w słowniku. Dla człowieka to tylko liczby, ale to na nich model wykonuje obliczenia. Kiedy piszesz zdanie, nie trafia ono do modelu jako litery, tylko jako ciąg numerów tokenów.
Jak wygląda podział zdania na tokeny
Weźmy zdanie: „Nie wiedziałem, że przyjedziesz.” Poniższy podział jest ilustracją, a nie wynikiem jednego konkretnego programu. Różne modele dzielą tekst inaczej, więc Twoje wyniki mogą wyjść inne.
Przykładowo mogłoby to wyglądać tak: „Nie”, „wiedzia”, „łem”, „,”, „ że”, „ przyje”, „dziesz”, „.”. Osiem tokenów dla czterech słów i dwóch znaków interpunkcyjnych. Zwróć uwagę na spacje: w wielu słownikach spacja jest doklejona do początku słowa, dlatego „ że” bywa jednym tokenem, a nie dwoma.
Ten sam sens po angielsku, „I didn't know you were coming.”, w podobnym słowniku może wyglądać tak: „I”, „ didn't”, „ know”, „ you”, „ were”, „ coming”, „.”. To siedem tokenów dla sześciu słów i kropki. Różnica nie wynika z tego, że polska myśl jest dłuższa, tylko z tego, jakie kawałki słownik zna dobrze, a jakie musi składać z mniejszych części.
Dlaczego polski zużywa więcej tokenów
Słownik tokenów powstaje z bardzo dużej ilości tekstu. Im więcej angielskiego w tych danych, tym częściej angielskie słowa i ich końcówki dostają własne, całe tokeny. Polskich tekstów w takich zbiorach bywa mniej, więc polskie słowa częściej trzeba składać z kawałków.
Drugi powód leży w samej polszczyźnie. Mamy odmianę przez siedem przypadków, liczne końcówki i przedrostki. Słowa „domu”, „domowi”, „domem” i „domach” mają ten sam rdzeń, ale każda forma może wymagać osobnego podziału. Do tego dochodzą znaki diakrytyczne, czyli ą, ę, ł, ś, ż. W niektórych słownikach dzielą się one gorzej niż zwykłe litery.
Trzeba to powiedzieć uczciwie: to zjawisko, a nie wyrok. Sam fakt, że polski tekst ma więcej tokenów, nie oznacza, że model gorzej go rozumie. Oznacza tylko, że ten sam tekst zajmuje więcej miejsca w limicie i może kosztować więcej, jeśli opłaty liczą się od tokenów.
Dokładnej różnicy nie podam, bo zależy od modelu i od konkretnego tekstu. Prosty test zrobisz sam: wklej ten sam akapit po polsku i po angielsku do licznika tokenów u dostawcy i porównaj wyniki.
Dlaczego liczba tokenów ma znaczenie w praktyce
Modele mają tak zwane okno kontekstu, czyli ilość tekstu, którą mogą trzymać w uwadze naraz. Ten limit mierzy się w tokenach. Rozmowa, wklejony dokument, wcześniejsze wiadomości i odpowiedź modelu mieszczą się w tym samym oknie. Gdy zabraknie miejsca, model zaczyna gubić początek rozmowy. Szczegóły znajdziesz w osobnym poradniku o oknie kontekstu.
Opłaty u wielu dostawców też liczy się w tokenach. Zwykle płacisz za to, co wysyłasz do modelu, czyli wejście, i za to, co model odpowiada, czyli wyjście. Te dwie pozycje bywają wyceniane osobno. Konkretnych stawek tutaj nie podam, bo się zmieniają i różnią między dostawcami. Aktualne informacje znajdziesz w cenniku na stronie producenta i przed wdrożeniem warto je sprawdzić ponownie.
Załóżmy, wyłącznie dla przykładu, że jedno zapytanie z opisem produktu zużywa 500 tokenów. Sto takich zapytań to 50 000 tokenów. Jeśli Twój polski opis jest dłuższy niż angielski, różnica w rachunku może być odczuwalna. Jeśli sprzedajesz na allee.pl i chcesz przygotować opisy ofert z pomocą AI, zacznij od kilku produktów, a dopiero potem licz na całym katalogu.
Jak sprawdzić, ile tokenów ma Twój tekst
Najprostsza droga to licznik tokenów podany przez producenta modelu. Wiele firm udostępnia go w dokumentacji albo w panelu dla klientów. Wklejasz tekst, a narzędzie pokazuje liczbę i często także podział na kawałki.
Jeśli jesteś bardziej techniczny, istnieją otwarte biblioteki do liczenia tokenów, ale to narzędzia dla osób programujących. Zwykły użytkownik zwykle nie musi ich znać.
Bardzo orientacyjnie: w języku angielskim jedno słowo to często mniej więcej jeden token. W polskim bywa tego więcej. Traktuj to jako wstępne oszacowanie, a nie regułę.
- Skopiuj fragment, który chcesz sprawdzić, bez reszty rozmowy.
- Wklej go do licznika tokenów wybranego modelu i zapisz wynik.
- Porównaj wersję polską z angielską, jeśli masz obie.
- Sprawdź, czy wynik nie przekracza limitu okna kontekstu tego modelu.
- Powtórz pomiar po zmianie modelu, bo słowniki tokenów się różnią.
Typowe błędy i jak ich uniknąć
Najczęstsze pomyłki są proste. Ludzie zakładają, że token to słowo, więc szacują długość na palcach. Próbują przeliczać limity znaków na słowa jeden do jednego. Albo wklejają cały dokument, nie sprawdzając, czy zmieści się w oknie.
Drugi błąd dotyczy długości odpowiedzi. Prosisz o „dokładny raport” bez żadnego ograniczenia, a model odpisuje na kilka stron. Jeśli opłaty liczą się także za wyjście, rachunek rośnie. Zapisuj w poleceniu, jak długa ma być odpowiedź, na przykład „w pięciu punktach”.
- Nie zakładaj, że token to słowo ani znak.
- Przed wklejeniem długiego dokumentu sprawdź jego długość w tokenach.
- Dla polskich tekstów zostawiaj w limicie więcej miejsca niż dla angielskich.
- Określaj długość odpowiedzi już w poleceniu.
- Sprawdzaj cennik u dostawcy, a nie w starszych materiałach, także w tym poradniku.
Tokeny a bezpieczeństwo Twoich danych
Każdy wklejony tekst trafia do systemu dostawcy, więc nie wklejaj tam danych, których nie chciałbyś pokazać obcym. Dotyczy to numerów PESEL, haseł, numerów kart płatniczych, dokumentacji medycznej klientów i poufnych umów. Zanim użyjesz narzędzia do dokumentów firmowych, sprawdź politykę prywatności i ustawienia dostawcy.
Liczba tokenów nie mówi nic o tym, czy odpowiedź jest prawdziwa. Dłuższy, lepiej przygotowany tekst też nie czyni odpowiedzi pewną. Odpowiedzi AI zawsze sprawdzaj, zwłaszcza liczby, daty, nazwy i cytaty.
Mały słowniczek pojęć z tego poradnika
Poniższe pojęcia wracają w wielu tekstach o AI, dlatego warto mieć je pod ręką. Każde z nich można rozwinąć w osobnym poradniku z działu AI od podstaw.
Traktuj tę listę jako punkt wyjścia. Gdy w materiałach od dostawcy pojawi się nieznane słowo, wróć do definicji i sprawdź, czy dotyczy limitu, czy opłaty.
- Token: kawałek tekstu, najczęściej słowo, jego część albo znak, z którym pracuje model.
- Tokenizacja: dzielenie tekstu na tokeny według słownika konkretnego modelu.
- Słownik tokenów: lista kawałków, które model zna, a każdy ma własny numer.
- Okno kontekstu: maksymalna liczba tokenów, którą model widzi naraz.
- Tokeny wejściowe i wyjściowe: to, co wysyłasz, i to, co model odpowiada; często liczone osobno.
Najczęstsze pytania
Ile tokenów ma jedno słowo po polsku?
Nie ma jednej odpowiedzi. Krótkie, częste słowa często mieszczą się w jednym tokenie, a długie, odmienione formy dzielą się na kilka części. Dokładna liczba zależy od modelu, dlatego najlepiej zmierzyć ją licznikiem podanym przez dostawcę.
Czy token to to samo co znak?
Nie. Token może być pojedynczym znakiem, ale często jest dłuższy, na przykład całą sylabą albo całym słowem. Jedna litera nie zawsze równa się jednemu tokenowi, a spacja przed słowem zwykle jest jego częścią.
Dlaczego AI liczy tokeny, a nie słowa?
Model przetwarza tekst jako ciąg numerów z własnego słownika. Słowa są wygodne dla człowieka, ale dla modelu bywają zbyt różne, a jedno słowo ma wiele form. Tokeny pozwalają też sprawnie obsłużyć liczby, symbole i języki o bogatej odmianie.
Czy polski tekst jest gorszy dla AI, bo zużywa więcej tokenów?
Nie. Więcej tokenów oznacza większe zajęcie limitu i potencjalnie wyższy koszt, a nie gorsze rozumienie. Jakość odpowiedzi zależy od modelu, jakości polecenia i tego, czy sprawdzisz wynik.
Gdzie sprawdzić, ile kosztuje korzystanie z AI w tokenach?
Aktualne informacje podaje producent narzędzia, zwykle w cenniku albo w dokumentacji. Nie opieraj się na przykładowych liczbach z tego poradnika, bo ceny się zmieniają. Zwróć uwagę, czy stawki dotyczą wejścia, wyjścia, czy obu.
Czy mogę wkleić cały długi dokument?
Tylko wtedy, gdy mieści się w oknie kontekstu wybranego modelu i nie zawiera danych wrażliwych. Jeśli nie, podziel go na części albo wybierz fragmenty potrzebne do konkretnego zadania.