Słownik technologii allee

Co to jest W4A4?

Kwantyzacja, w której wagi i aktywacje zapisuje się w 4 bitach zamiast w 16. Zmniejsza zapotrzebowanie na pamięć i przyspiesza wnioskowanie kosztem precyzji.

Artykuły, w których pada to pojęcie

Sztuczna inteligencjaChinyMeituan otwiera wagi modelu LongCat-2.5 z 1,6 bln parametrów na licencji MITMeituan opublikował na Hugging Face wagi modelu LongCat-2.5, natywnie multimodalnego modelu dla zadań agentowych, na licencji MIT. Według firmy model ma 1,6 bln parametrów, z czego ok. 48 mld jest aktywnych na jeden token, i został wytrenowany oraz uruchamiany na chińskich akceleratorach AI. Wyniki testów podaje sama firma, a niezależnych pomiarów na dziś brak. 7 min

Pojęcia z tych samych artykułów

Cały słownik