BitNet od zera39 odcinków i bonus

Odcinek 05 · obliczenia w Twojej przeglądarce

STE i bliźniak FP: jak uczy się sieć z zaokrąglonymi wagami

Wagi-cienie, estymator przelotowy (STE), zmiany kodów i wagi, które utknęły na zerze.

Objaśnienie. Zaokrąglanie nie ma pochodnej: jeśli minimalnie zmienisz wagę, wynik zaokrąglenia pozostanie taki sam. Formalnie sieć nie ma się więc z czego uczyć. BitNet obchodzi to sztuczką: przy liczeniu wyniku (przebieg w przód) używa wag zaokrąglonych do −1, 0 lub +1, a przy liczeniu gradientu (przebieg w tył) przepuszcza go tak, jakby zaokrąglenia nie było (to właśnie jest STE). Prawdziwe, ułamkowe wagi sieć przechowuje obok jako „wagi-cienie”. Z nich po każdym kroku uczenia na nowo powstaje model ternarny. Na tej stronie widać obok siebie dwa treningi (sieci zwykłej i sieci ternarnej) oraz to, co się dzieje po wyłączeniu sztuczki. Potem oba modele uczą się rozpoznawać prawdziwe, odręcznie pisane cyfry ze zbioru MNIST, na karcie graficznej albo na procesorze (do wyboru). Na koniec możesz zajrzeć do obu sieci i zobaczyć, którędy sygnał płynie od pikseli do odpowiedzi.

1. Dwa treningi z tym samym ziarnem losowania

krok0 trafność bliźniaka FP- trafność modelu ternarnego- różnica strat- β (na starcie → teraz)- zmiany kodów (łącznie)- udział zer-

Strata (loss) mówi, jak bardzo przewidywania sieci rozmijają się z prawidłowymi odpowiedziami. Uczenie polega na jej zmniejszaniu. Trafność (accuracy) to odsetek punktów przypisanych do właściwej klasy. Bliźniak FP to ta sama sieć bez zaokrąglania wag (FP, czyli na zwykłych liczbach zmiennoprzecinkowych). Służy jako punkt odniesienia dla modelu ternarnego. Kody to wagi pierwszej warstwy ternarnej po zaokrągleniu (−1, 0 lub +1), β to jej skala, czyli średnia wartość bezwzględna wag-cieni, a udział zer to odsetek wag zaokrąglonych do 0.

strata obu modeli w kolejnych krokach: niebieska linia - bliźniak FP, czerwona - model ternarny

ile kodów (−1, 0, +1) zmieniło wartość w każdym kolejnym bloku 50 kroków

2. Wagi-cienie i ich zaokrąglenie

liczba wag-cieni o danej wartościpróg ±β/2: wagi między kreskami zaokrąglamy do 0

udział kodów po zaokrągleniu

−10+1

3. Prawdziwe cyfry: MNIST w przeglądarce

MNIST to 70 000 odręcznie pisanych cyfr, czyli obrazków 28 × 28 pikseli w odcieniach szarości: 60 000 do uczenia i 10 000 do sprawdzania. Strona pobiera cztery oryginalne pliki (11,6 MB) z ich kopii w serwisie GitHub, sprawdza sumy kontrolne SHA-256 i zapamiętuje dane w przeglądarce na następną wizytę. Sieć ma 784 wejścia (po jednym na piksel), dwie warstwy ukryte (256 i 128 neuronów) i 10 wyjść - po jednym na cyfrę. Uczy się algorytmem Adam (współczynnik uczenia 0,001) na paczkach po 128 obrazów. Jedna epoka to jedno przejście przez cały zbiór uczący (468 kroków).

Uczymy naraz dwie sieci o tych samych wagach początkowych i na tych samych paczkach obrazów: bliźniaka FP i model, którego środkowa warstwa (256 → 128) to BitLinear z tego odcinka - z normalizacją SubLN, aktywacjami int8 i wagami −1, 0, +1. Pierwsza i ostatnia warstwa zostają zmiennoprzecinkowe, jak osadzenia i głowica w modelu językowym.

Dane nie są jeszcze pobrane.

epoka0 krok0 strata- trafność bliźniaka FP-trafność modelu ternarnego-udział zer w warstwie ternarnej-zmiany kodów w ostatniej epoce- ms na krok-

średnia strata z 20 kroków: niebieska linia - bliźniak FP, czerwona - model ternarny

pierwsze 16 cyfr zbioru testowego i odpowiedź modelu ternarnego: zielona - trafna, czerwona - błędna

4. Obie sieci od środka

Ta sama cyfra przechodzi przez bliźniaka FP i przez model ternarny. Każdy kwadracik to jeden neuron: im ciemniejszy, tym silniej reaguje, a puste pole znaczy zero po ReLU. Linie prowadzą do odpowiedzi sieci: dziesięć neuronów drugiej warstwy, które najmocniej ją podpierają, i po cztery najmocniejsze wejścia każdego z nich. W modelu ternarnym warstwa środkowa liczy na liczbach całkowitych: jej wejście po normalizacji SubLN zamienia się na kody int8 (od −127 do 127), wagi na −1, 0 i +1, a skale β i γ wracają dopiero w wyniku. Przed treningiem obie sieci mają te same losowe wagi. Po każdej epoce w sekcji wyżej rysunek pokazuje wagi wytrenowane.

Rysunek pojawi się po pobraniu danych w sekcji wyżej.

Bliźniak FP:

Model ternarny:

po prawej prawdopodobieństwo każdej cyfry: zielony pasek - odpowiedź trafna, czerwony - błędna; w kolumnie int8 jasność kwadracika to wartość kodu

wagi warstwy środkowej bliźniaka FP (128 wierszy-neuronów × 256 wejść, f32): dodatnieujemneim jaśniej, tym bliżej zera

ta sama warstwa modelu ternarnego, kody:+1 0−1

warstwa środkowa w f32- w kodach po 2 bity- zera w kodach- β modelu ternarnego-

5. Co z tego wynika

? autotest jeszcze się nie odbył