Słownik technologii allee
Co to jest Mixture-of-experts?
Architektura, w której przy każdym tokenie aktywna jest tylko część parametrów modelu. Obniża koszt obliczeń, ale nie zmniejsza wymaganej pamięci.
Słownik technologii allee
Architektura, w której przy każdym tokenie aktywna jest tylko część parametrów modelu. Obniża koszt obliczeń, ale nie zmniejsza wymaganej pamięci.