Przejdź do treści

Słownik technologii allee

Co to jest Mieszanka ekspertów (MoE)?

Architektura, w której model ma wiele wyspecjalizowanych podsieci, a przy każdym tokenie uruchamia się tylko część z nich. Dzięki temu koszt obliczeń jest niższy niż w modelu gęstym o tej samej liczbie parametrów.

Artykuły, w których pada to pojęcie

Pojęcia z tych samych artykułów

Cały słownik