Objaśnienie. To jest serce BitNeta: jedna warstwa i siedem kroków. Najpierw normalizujemy wejście (sprowadzamy jego liczby do wspólnej skali) i zamieniamy je na liczby całkowite od −127 do 127. Wagi zaokrąglamy do −1, 0 lub +1. Potem liczymy sumę iloczynów, czyli tylko dodajemy i odejmujemy (mnożeń w ogóle nie ma). Na końcu wracamy do liczb ułamkowych, mnożąc wynik przez dwie skale. Wpisz własne liczby i prześledź każdy etap. Domyślne dane to wektor wzorcowy całej serii, ten sam w każdym odcinku: suma iloczynów wynosi dla nich 80.
1. Kalkulator
? autotest jeszcze się nie odbył
2. Dlaczego dwie skale
β opisuje wagi (jedna liczba na cały tensor), γ opisuje aktywacje (jedna liczba na token).
Akumulator acc to zwykła liczba całkowita, bez żadnej skali. Dopiero mnożenie przez β·γ/127 przywraca właściwą skalę.
Gdyby była jedna wspólna skala, każda warstwa musiałaby znać zakres danych z góry.
| element | co to jest | gdzie się go przechowuje | format |
|---|---|---|---|
| Ŵ | wagi po zaokrągleniu | plik modelu (2 bity na wagę) | ternarna |
| β | mean|W| (średnia wartość bezwzględna wag), jedna na tensor | nagłówek tensora | f32 |
| x̂ | aktywacje po kwantyzacji | tylko w pamięci, na chwilę | int8 |
| γ | max|h| (największa wartość bezwzględna wejścia), jedna na token | tylko w pamięci | f32 |
| embedding, głowa, normy, softmax | reszta modelu | plik modelu | f16/f32 - bez kwantyzacji |
3. Macierz: 4 tokeny × 8 wymiarów
Każdy wiersz (token) ma własne γ. Porównaj dane z wartością odstającą (outlier, czyli jedną liczbą wielokrotnie większą od pozostałych) i bez niej. Wartość odstająca psuje tylko swój wiersz, a nie całą macierz. Na tym polega różnica między skalą na token a jedną skalą na cały tensor.
Ŵ (8 wyjść × 8 wejść)
−10+1
| token | γ | x̂ (pierwsze 4 wartości) | acc[0] | y[0] |
|---|