Słownik technologii allee

Co to jest Cache KV?

Pamięć podręczna, w której model przechowuje informacje z wcześniejszej części rozmowy, aby nie liczyć ich od nowa.

Artykuły, w których pada to pojęcie

Quantization: jak zmieścić model AI w zwykłym laptopie

Sztuczna inteligencjaŚwiatQuantization: jak zmieścić model AI w zwykłym laptopieDuże modele językowe wymagają dużo pamięci, a to ogranicza ich uruchamianie na domowym sprzęcie. Kwantyzacja zmniejsza wagi modelu przez zapisanie ich z mniejszą liczbą bitów. Dzięki temu model zajmuje mniej miejsca i da się go uruchomić na sprzęcie, który nie został zaprojektowany pod AI. 15 listopada 2026 7 min

Pojęcia z tych samych artykułów