1. Dwa treningi z tym samym ziarnem losowania
Strata (loss) mówi, jak bardzo przewidywania sieci rozmijają się z prawidłowymi odpowiedziami. Uczenie polega na jej zmniejszaniu. Trafność (accuracy) to odsetek punktów przypisanych do właściwej klasy. Bliźniak FP to ta sama sieć bez zaokrąglania wag (FP, czyli na zwykłych liczbach zmiennoprzecinkowych). Służy jako punkt odniesienia dla modelu ternarnego. Kody to wagi pierwszej warstwy ternarnej po zaokrągleniu (−1, 0 lub +1), β to jej skala, czyli średnia wartość bezwzględna wag-cieni, a udział zer to odsetek wag zaokrąglonych do 0.
strata obu modeli w kolejnych krokach: niebieska linia - bliźniak FP, czerwona - model ternarny
ile kodów (−1, 0, +1) zmieniło wartość w każdym kolejnym bloku 50 kroków
2. Wagi-cienie i ich zaokrąglenie
liczba wag-cieni o danej wartościpróg ±β/2: wagi między kreskami zaokrąglamy do 0
udział kodów po zaokrągleniu
−10+1
3. Prawdziwe cyfry: MNIST w przeglądarce
MNIST to 70 000 odręcznie pisanych cyfr, czyli obrazków 28 × 28 pikseli w odcieniach szarości: 60 000 do uczenia i 10 000 do sprawdzania. Strona pobiera cztery oryginalne pliki (11,6 MB) z ich kopii w serwisie GitHub, sprawdza sumy kontrolne SHA-256 i zapamiętuje dane w przeglądarce na następną wizytę. Sieć ma 784 wejścia (po jednym na piksel), dwie warstwy ukryte (256 i 128 neuronów) i 10 wyjść - po jednym na cyfrę. Uczy się algorytmem Adam (współczynnik uczenia 0,001) na paczkach po 128 obrazów. Jedna epoka to jedno przejście przez cały zbiór uczący (468 kroków).
Uczymy naraz dwie sieci o tych samych wagach początkowych i na tych samych paczkach obrazów: bliźniaka FP i model, którego środkowa warstwa (256 → 128) to BitLinear z tego odcinka - z normalizacją SubLN, aktywacjami int8 i wagami −1, 0, +1. Pierwsza i ostatnia warstwa zostają zmiennoprzecinkowe, jak osadzenia i głowica w modelu językowym.
Dane nie są jeszcze pobrane.
średnia strata z 20 kroków: niebieska linia - bliźniak FP, czerwona - model ternarny
pierwsze 16 cyfr zbioru testowego i odpowiedź modelu ternarnego: zielona - trafna, czerwona - błędna
4. Obie sieci od środka
Ta sama cyfra przechodzi przez bliźniaka FP i przez model ternarny. Każdy kwadracik to jeden neuron: im ciemniejszy, tym silniej reaguje, a puste pole znaczy zero po ReLU. Linie prowadzą do odpowiedzi sieci: dziesięć neuronów drugiej warstwy, które najmocniej ją podpierają, i po cztery najmocniejsze wejścia każdego z nich. W modelu ternarnym warstwa środkowa liczy na liczbach całkowitych: jej wejście po normalizacji SubLN zamienia się na kody int8 (od −127 do 127), wagi na −1, 0 i +1, a skale β i γ wracają dopiero w wyniku. Przed treningiem obie sieci mają te same losowe wagi. Po każdej epoce w sekcji wyżej rysunek pokazuje wagi wytrenowane.
Rysunek pojawi się po pobraniu danych w sekcji wyżej.
Bliźniak FP:
Model ternarny:
po prawej prawdopodobieństwo każdej cyfry: zielony pasek - odpowiedź trafna, czerwony - błędna; w kolumnie int8 jasność kwadracika to wartość kodu
wagi warstwy środkowej bliźniaka FP (128 wierszy-neuronów × 256 wejść, f32): dodatnieujemneim jaśniej, tym bliżej zera
ta sama warstwa modelu ternarnego, kody:+1 0−1
5. Co z tego wynika
- STE działa: przy włączonym STE β rośnie, a kody się zmieniają. Sieć naprawdę przestawia wagi między −1, 0 i +1.
- Bez STE warstwa ternarna zamiera: żaden kod się nie zmienia, a β pozostaje bez zmian. W tym małym przykładzie resztę pracy przejmują warstwy zmiennoprzecinkowe (pierwsza i ostatnia), więc trafność nie spada. W prawdziwym BitNecie, gdzie ternarne są wszystkie projekcje, oznacza to jednak, że trening stoi w miejscu.
- Zanik wag ściąga wagi do zera: przesuń suwak zaniku wag na 0,1 i obserwuj, jak rośnie udział zer. Dlatego przepis na trening BitNeta (dokument „Training Tips”) każe w drugim etapie zmniejszyć zanik wag do zera.