Przejdź do treści

Słownik technologii allee

Co to jest Tokenizer BPE?

Narzędzie dzielące tekst na krótkie jednostki, tokeny. Kodowanie BPE łączy najczęstsze fragmenty w jednostki słownika.

Artykuły, w których pada to pojęcie

Pojęcia z tych samych artykułów

Cały słownik