Słownik technologii allee
Co to jest Mieszanka ekspertów (MoE)?
Architektura, w której model ma wiele wyspecjalizowanych podsieci, a przy każdym tokenie uruchamia się tylko część z nich. Dzięki temu koszt obliczeń jest niższy niż w modelu gęstym o tej samej liczbie parametrów.
