BitNet od zera39 odcinków i bonus

Odcinek 02 · obliczenia w Twojej przeglądarce

Kwantyzator: co tracimy, gdy waga ma tylko trzy wartości

Skala absmax dla aktywacji, absmean dla wag, próg ±β/2 i przycinanie wag za darmo.

Objaśnienie. Komputer przechowuje wagi jako liczby ułamkowe. Kwantyzacja to zaokrąglanie liczb do najbliższej dozwolonej wartości: zamiast miliardów możliwych wartości zostawiamy 256 (int8) albo tylko trzy (−1, 0 i +1). Ta strona pokazuje, co dokładnie tracimy przy takim zaokrągleniu. Wpisz własne liczby albo wylosuj wektor i zobacz, jak zmieniają się histogram i błąd. Najważniejsza obserwacja: przy trzech wartościach wagi bliższe zera niż połowa średniej |W| (średniej wartości bezwzględnej wag) stają się zerami. Model sam się przycina.

1. Wektor wag → trzy wartości

β = mean|W| (średnia wartość bezwzględna wag)- próg ±β/2- Ŵ (wagi po kwantyzacji)- udział −1 / 0 / +1- błąd: średni (L1) / średniokwadratowy (MSE) / największy-

liczba wag o danej wartościpróg ±β/2: wagi bliższe zera stają się zerami±β: wagi −1 i +1 po pomnożeniu przez skalę

−10+1

2. Ten sam wektor jako int8 (absmax)

γ = max|W| (największa wartość bezwzględna wag)- skala 127/γ- x̂ (pierwsze 16 wag w int8)- błąd: średni (L1) / średniokwadratowy (MSE)-

Przy tej samej liczbie wag int8 zajmuje 4 razy więcej bajtów niż zapis ternarny, a daje wielokrotnie mniejszy błąd (dla wektora wzorcowego średni błąd L1 jest ok. 67 razy mniejszy). Nie chodzi o to, co jest lepsze, tylko o to, ile pamięci kosztuje dana dokładność. Przy treningu z kwantyzacją (QAT, odcinek 05) sieć sama uczy się kompensować ten błąd.

3. Jedna skala na cały tensor czy osobna na każdy token

Macierz aktywacji 8 × 16, w której pierwszy wiersz zawiera wartość odstającą (outlier), czyli liczbę wielokrotnie większą od pozostałych. Przełącz sposób skalowania i zobacz, co zostaje z innych wierszy.

przed kwantyzacją

po kwantyzacji i odtworzeniu

kolor: od najmniejszej wartości (niebieski) do największej (czerwony)

Każdy kwadrat to jedna liczba macierzy: wiersz to token, kolumna to kanał (jedna współrzędna wektora tokena). Obie mapy mają tę samą skalę kolorów, więc różnica między nimi to dokładnie to, co zniszczyła kwantyzacja. Gdy w macierzy jest wartość odstająca, prawie cała skala kolorów przypada na tę jedną liczbę (czerwony kwadrat), więc pozostałe są niemal jednakowo niebieskie. Przy skali na tensor tak samo dzieje się z poziomami int8: wartość odstająca zabiera prawie cały zakres i na resztę zostaje kilka poziomów (ich liczbę widać niżej).

błąd średniokwadratowy (MSE)-liczba różnych poziomów int8 w wierszu bez wartości odstającej-
? autotest jeszcze się nie odbył