W poprzednim odcinku policzyłem, ile się oszczędza. Teraz sprawdźmy, co się przy tym traci i dlaczego akurat te dwa wzory, a nie jakieś inne.
Objaśnienie. Kwantyzacja to zaokrąglanie liczb do najbliższej dozwolonej wartości. Zamiast trzymać liczbę 0,31 z pełną dokładnością, zapisujesz najbliższą z dozwolonych wartości. Przy 256 wartościach (int8) to prawie to samo, przy trzech (−1, 0, +1) już wyraźnie co innego. Całe pytanie brzmi: jak rozmieścić te wartości, żeby stracić jak najmniej? BitNet odpowiada na nie na dwa sposoby: inaczej dla wag, inaczej dla danych, które przepływają przez sieć. W tym odcinku pokazuję oba, a na stronie policzysz błąd na własnych liczbach.
Strona projektu: Kwantyzator: co tracimy, gdy waga ma tylko trzy wartości
1. Skala to jest cała kwantyzacja
Każda kwantyzacja symetryczna sprowadza się do trzech kroków: podziel przez skalę, zaokrąglij, przytnij do zakresu. Metody różnią się wyłącznie tym, skąd bierze się skala.
Aktywacje: absmax, skala na token
γ = max |h| (po wymiarze cech, dla każdego tokena osobno)
x̂ = clip(round(h · 127 / γ), −127, 127) → int8
Skalą jest największa wartość bezwzględna. Czemu? Bo w aktywacjach zdarzają się wartości odstające (outliers), czyli liczby wielokrotnie większe od pozostałych, a obcięta wartość odstająca to informacja stracona na dobre. Skalowanie do maksimum gwarantuje, że nic nie zostanie obcięte.
A czemu osobna skala dla każdego tokena, a nie jedna na całą macierz? Bo jeden token z dużą wartością odstającą sprowadziłby wszystkie pozostałe do zera. Na stronie widać to na macierzy 8 × 16: wstaw wartość odstającą (×20) i przełączaj między „skala na token” a „skala na tensor”. Przy skali na tensor w sąsiednim wierszu zostaje ledwie kilka poziomów.
Wagi: absmean, skala na tensor
β = mean |W| (średnia z wartości bezwzględnych całego tensora)
Ŵ = clip(round(W / β), −1, 1) → −1, 0, +1
Tu skalą jest średnia, a nie maksimum. To nie jest niedopatrzenie, tylko sedno metody absmean z pracy BitNet b1.58. Z maksimum prawie wszystkie wagi zaokrągliłyby się do zera (bo typowa waga jest dużo mniejsza od największej). Średnia ustawia próg tak, że rozkład wag dzieli się na trzy sensowne części.
Próg wynika wprost ze wzoru: waga zaokrągla się do 0 wtedy i tylko wtedy, gdy |W| < β/2. Dla naszego wektora wzorcowego (golden vector) β = 0,2675, więc próg to ±0,1338. Dlatego waga −0,04 staje się zerem, a 0,27 staje się +1.
To jest przycinanie (pruning) za darmo. Nikt nie kazał sieci przycinać wag, wynika to po prostu ze wzoru. W wytrenowanym bitGPT-nano z odcinka 11 zerem jest ok. 31% wag, a w modelach BitNeta opisanych w publikacjach udział zer bywa wyższy.
2. Epsilon w mianowniku – drobiazg, który zmienia wynik
W kodzie referencyjnym (Training Tips, Code & FAQ do BitNet b1.58) epsilon pojawia się jako ograniczenie dolne skali, a nie jako składnik do niej dodawany. Największa wartość bezwzględna w wierszu przechodzi przez clamp_(min=1e-5), zanim podzieli się przez nią 127. Kod strony robi to samo quantizeActPerToken):
export const QUANT_EPS = 1e-5;
…
const quantScale = 127 / Math.max(tokenMaxAbs, QUANT_EPS);
Wygląda to na kosmetykę, ale policzmy wektor wzorcowy oboma sposobami dla γ = 2,0:
| wariant | skala | round(1,0 · skala) |
|---|---|---|
127 / max(γ, 1e-5) (poprawnie) |
63,5 | 64 |
127 / (γ + 1e-5) (naiwnie) |
63,4997 | 63 |
Różnica o jedną jednostkę w x̂ daje acc = 79 zamiast 80 i cały łańcuch wektorów wzorcowych w serii przestaje się zgadzać.
Uczciwie dopowiem: publikacja i kod się tu różnią. Praca o b1.58 (arXiv:2402.17764, wzór 1) zapisuje ε addytywnie, W/(γ + ε). Dopiero w kodzie z „Training Tips” jest clamp_(min=1e-5). Trzymam się kodu, bo to z niego powstały oficjalne wagi, ale zdanie „tak jest w BitNecie” bez tego dopisku byłoby półprawdą.
3. 127 czy 128?
W pracy o BitNecie (arXiv:2310.11453, §2) skala aktywacji jest zapisana jako Qb = 2^(b−1) = 128, a przycięcie jako Clip(x·Qb/γ, −Qb + ε, Qb − ε), czyli symetryczny zakres [−128, 128] z małym marginesem ε po obu stronach. Zapisu „Qb − 1” w tej pracy nie ma (poprawione – poprzednia wersja przypisywała pracy [−128, 127]). Asymetrię wprowadza dopiero kod referencyjny: skala 127, przycięcie clamp_(−128, 127).
Ja używam wariantu z kodu (skala 127) i domyślnie przycinam symetrycznie do [−127, 127], bo wtedy +1 i −1 są traktowane tak samo. Dla wektora wzorcowego oba warianty dają identyczny wynik (−2,0 · 63,5 = −127 dokładnie), ale przy innych danych mogą się różnić o jedną jednostkę. Jak porównujesz swoją implementację z cudzą i wyniki rozjeżdżają się o 1, to tu zaglądasz najpierw.
4. Ile kosztuje zaokrąglenie
Dla wektora wzorcowego W = [0,31; −0,04; 0,27; −0,45] (zmierzone na stronie 02):
| metoda | bity na wagę | błąd L1 | MSE |
|---|---|---|---|
| int8 (absmax, skala na tensor) | 8 | 0,00099 | 1,4 · 10⁻⁶ |
| ternarna (absmean) | 2 | 0,0669 | 0,00918 |
Kwantyzacja ternarna daje błąd L1 ok. 67 razy większy. To uczciwa liczba i nie ma sensu jej ukrywać. Cała sztuczka BitNeta polega na tym, że sieć trenowana z tym błędem uczy się go kompensować. Nie chodzi o to, żeby pojedyncza waga była dokładna, tylko żeby całość dawała dobre przewidywania. O tym będzie odcinek 05.
5. Skala na tensor czy na token – raz jeszcze
Ściąga, którą dobrze mieć przed oczami przy czytaniu cudzego kodu:
| wagi | aktywacje | |
|---|---|---|
| skala | mean \|W\| (absmean) |
max \|h\| (absmax) |
| zasięg skali | cały tensor | jeden token (wiersz) |
| kiedy liczona | raz, po treningu / w każdym kroku QAT | w locie, przy każdym przejściu |
| gdzie zapisana | w pliku modelu (jedna liczba f32 na tensor) | nigdzie – istnieje przez mikrosekundy |
| wynik | −1, 0, +1 | int8 |
Ta asymetria jest celowa. Wagi są stałe, więc da się dla nich policzyć jedną dobrą skalę. Aktywacje zmieniają się przy każdym tokenie i trafiają się w nich wartości odstające, więc dostają skalę „świeżą” i lokalną.
Ćwiczenie na stronie
Zasada „przewidź → sprawdź”: przy każdym punkcie niżej, zanim klikniesz, zapisz jednym zdaniem, co się stanie i dlaczego. Dopiero potem sprawdź na stronie. Trafne przewidywanie niczego nie uczy, a rozjazd tak.
- Wczytaj wektor wzorcowy („wzorzec 001”) i przekonaj się, że
β = 0,2675, a próg to±0,1338. - Zmień
−0,04na−0,14. Czy waga dalej staje się zerem? A przy−0,13? - Wylosuj 64 wagi i popatrz na histogram: ile procent staje się zerami? Zmieniaj ziarno losowania („nowe ziarno”) i zobacz, jak stabilny jest ten udział.
- W sekcji 3 wstaw wartość odstającą (×20) i przełączaj „skala na token” / „skala na tensor”. Porównaj MSE i liczbę poziomów w sąsiednim wierszu.
- Porównaj błąd int8 i ternarny na tym samym wektorze. Ile razy gorzej? Czy ten stosunek zależy od rozkładu wag?
Sprawdź się
Bez zaglądania w tekst i bez strony. Zapisz odpowiedź, dopiero potem rozwiń. To, czym Twoja odpowiedź różni się od tej pod spodem, to najcenniejsza rzecz z tego odcinka – zapisz to w dzienniku.
- Dla
W = [0,2; −0,5; 0,1; 0,4]policz β i Ŵ.
odpowiedź
β = (0,2+0,5+0,1+0,4)/4 = **0,3**; W/β = [0,67; −1,67; 0,33; 1,33] → round+clip → **[1, −1, 0, 1]**.- Dlaczego ε jest ograniczeniem dolnym skali, a nie składnikiem? Co by się stało dla γ = 2 przy
127/(γ+ε)?
odpowiedź
Skala 63,4997 zamiast 63,5; `round(1,0·skala)` = 63 zamiast 64; `acc` = 79 zamiast 80. Praca o b1.58 zapisuje ε addytywnie, kod referencyjny jako `clamp(min=1e-5)`, a seria trzyma się kodu.- Skala na token czy na tensor: który wariant skalowania aktywacji lepiej znosi pojedynczą wartość odstającą i dlaczego?
odpowiedź
Skala na token: wartość odstająca zużywa zakres tylko własnego wiersza, a nie całej macierzy. Skala na tensor przy jednej wartości ×20 spłaszcza wszystkie inne wiersze do kilku poziomów.- Skąd się bierze próg β/2 dla zera?
odpowiedź
Z samego `round`: `round(w/β) = 0` wtedy i tylko wtedy, gdy |w/β| < 0,5, czyli |w| < β/2. Nikt nic nie „przycina” – to przycinanie za darmo.Czego się nauczyłeś
- Kwantyzacja to: podziel przez skalę, zaokrąglij, przytnij. Cała różnica między metodami siedzi w skali.
- Aktywacje: absmax ze skalą na token (bo wartości odstające). Wagi: absmean ze skalą na tensor (bo inaczej wszystko byłoby zerem).
- Próg zerowania wagi to dokładnie
β/2, stąd „przycinanie za darmo”. - Epsilon jest ograniczeniem dolnym skali, a nie składnikiem do niej dodawanym. Pomyłka kosztuje jedną jednostkę w x̂ i psuje zgodność z wektorem wzorcowym.
- Kwantyzacja ternarna daje dużo większy błąd niż int8 i dlatego model trzeba trenować z jej uwzględnieniem.
W następnym odcinku rozbieram cudzy model: czytam nagłówek pliku GGUF i liczę, czy zmieści się w pamięci razem z cache’em KV. CDN…
Źródła
- arXiv:2310.11453 – BitNet: Scaling 1-bit Transformers for Large Language Models, §2 (absmax,
Qb = 2^(b−1)). - arXiv:2402.17764 – The Era of 1-bit LLMs (absmean dla wag).
- microsoft/unilm – BitNet b1.58 Training Tips, Code & FAQ (funkcje
weight_quant,activation_quant,clamp_(min=1e-5)).
0 komentarzy