BitNet od zera39 odcinków i bonus

Odcinek 06 · obliczenia w Twojej przeglądarce

BitLinear158 na czterech liczbach

SubLN → γ → int8 → β → Ŵ → acc (int32) → y = acc·βγ/127.

Objaśnienie. To jest serce BitNeta: jedna warstwa i siedem kroków. Najpierw normalizujemy wejście (sprowadzamy jego liczby do wspólnej skali) i zamieniamy je na liczby całkowite od −127 do 127. Wagi zaokrąglamy do −1, 0 lub +1. Potem liczymy sumę iloczynów, czyli tylko dodajemy i odejmujemy (mnożeń w ogóle nie ma). Na końcu wracamy do liczb ułamkowych, mnożąc wynik przez dwie skale. Wpisz własne liczby i prześledź każdy etap. Domyślne dane to wektor wzorcowy całej serii, ten sam w każdym odcinku: suma iloczynów wynosi dla nich 80.

1. Kalkulator

? autotest jeszcze się nie odbył

2. Dlaczego dwie skale

β opisuje wagi (jedna liczba na cały tensor), γ opisuje aktywacje (jedna liczba na token). Akumulator acc to zwykła liczba całkowita, bez żadnej skali. Dopiero mnożenie przez β·γ/127 przywraca właściwą skalę. Gdyby była jedna wspólna skala, każda warstwa musiałaby znać zakres danych z góry.

elementco to jestgdzie się go przechowujeformat
Ŵwagi po zaokrągleniuplik modelu (2 bity na wagę)ternarna
βmean|W| (średnia wartość bezwzględna wag), jedna na tensornagłówek tensoraf32
x̂aktywacje po kwantyzacjitylko w pamięci, na chwilęint8
γmax|h| (największa wartość bezwzględna wejścia), jedna na tokentylko w pamięcif32
embedding, głowa, normy, softmaxreszta modeluplik modeluf16/f32 - bez kwantyzacji

3. Macierz: 4 tokeny × 8 wymiarów

Każdy wiersz (token) ma własne γ. Porównaj dane z wartością odstającą (outlier, czyli jedną liczbą wielokrotnie większą od pozostałych) i bez niej. Wartość odstająca psuje tylko swój wiersz, a nie całą macierz. Na tym polega różnica między skalą na token a jedną skalą na cały tensor.

Ŵ (8 wyjść × 8 wejść)

−10+1

tokenγx̂ (pierwsze 4 wartości)acc[0]y[0]