1. Wektor wag → trzy wartości
liczba wag o danej wartościpróg ±β/2: wagi bliższe zera stają się zerami±β: wagi −1 i +1 po pomnożeniu przez skalę
−10+1
2. Ten sam wektor jako int8 (absmax)
Przy tej samej liczbie wag int8 zajmuje 4 razy więcej bajtów niż zapis ternarny, a daje wielokrotnie mniejszy błąd (dla wektora wzorcowego średni błąd L1 jest ok. 67 razy mniejszy). Nie chodzi o to, co jest lepsze, tylko o to, ile pamięci kosztuje dana dokładność. Przy treningu z kwantyzacją (QAT, odcinek 05) sieć sama uczy się kompensować ten błąd.
3. Jedna skala na cały tensor czy osobna na każdy token
Macierz aktywacji 8 × 16, w której pierwszy wiersz zawiera wartość odstającą (outlier), czyli liczbę wielokrotnie większą od pozostałych. Przełącz sposób skalowania i zobacz, co zostaje z innych wierszy.
przed kwantyzacją
po kwantyzacji i odtworzeniu
kolor: od najmniejszej wartości (niebieski) do największej (czerwony)
Każdy kwadrat to jedna liczba macierzy: wiersz to token, kolumna to kanał (jedna współrzędna wektora tokena). Obie mapy mają tę samą skalę kolorów, więc różnica między nimi to dokładnie to, co zniszczyła kwantyzacja. Gdy w macierzy jest wartość odstająca, prawie cała skala kolorów przypada na tę jedną liczbę (czerwony kwadrat), więc pozostałe są niemal jednakowo niebieskie. Przy skali na tensor tak samo dzieje się z poziomami int8: wartość odstająca zabiera prawie cały zakres i na resztę zostaje kilka poziomów (ich liczbę widać niżej).