BitNet od zera39 odcinków i bonus

Odcinek 04 · obliczenia w Twojej przeglądarce

Mikroautograd: skąd sieć wie, w którą stronę się poprawić

Graf obliczeń, reguła łańcuchowa, sprawdzanie gradientu - i sieć, która na Twoich oczach uczy się rozpoznawać kształty.

Objaśnienie. Uczenie sieci to poprawianie się małymi krokami we właściwą stronę. Sieć liczy wynik, porównuje go z prawidłową odpowiedzią i pyta: „gdybym tę jedną liczbę odrobinę zwiększyła, byłoby lepiej czy gorzej?”. Odpowiedź na to pytanie dla wszystkich wag naraz to gradient. Oblicza się go, przechodząc graf obliczeń od końca do początku. Najpierw zobaczysz to na trzech liczbach i na sieci z trzech neuronów, a potem podczas prawdziwego treningu. Kolorowe punkty to dane, kolor tła to odpowiedź sieci w każdym miejscu planszy, a podgląd neuronów pokazuje, na co reaguje każdy z nich. Na końcu ta sama metoda uczy większą sieć rozpoznawać prawdziwe, odręcznie pisane cyfry ze zbioru MNIST, na karcie graficznej albo na procesorze (do wyboru).

1. Graf obliczeń krok po kroku

Każda operacja pamięta, z czego powstała, i wie, jak przekazać gradient dalej. Poniżej pełny przebieg obliczeń wyrażenia L = (a·b + c)²: w przód liczymy wartości (białe), a potem wstecz, od L do liści, gradienty ∂L/∂(węzeł) (pomarańczowe). Na tej samej zasadzie działa wszystko w dalszych odcinkach serii, tylko na tysiącach liczb.

Ta sama zasada w małej sieci

Dwa wejścia, dwa neurony ukryte z funkcją ReLU i jedno wyjście. Strata (loss) to kwadrat różnicy między wyjściem a celem, L = (y − t)². Każdy krok uczenia odejmuje od każdej wagi jej gradient pomnożony przez współczynnik uczenia: w ← w − 0,1 · ∂L/∂w.

waga dodatniawaga ujemna grubość linii: wielkość wagi; pod wagą pomarańczowy gradient ∂L/∂w przerywana obwódka: ReLU daje 0, więc przez ten neuron nie przepływa gradient

krok0wyjście y / cel t-strata L-

2. Sieć uczy się rozróżniać dwa zbiory punktów

krok0 strata (loss)- trafność (accuracy)- kroki na sekundę- liczba parametrów-

Strata mierzy, jak bardzo przewidywania sieci odbiegają od prawidłowych odpowiedzi (tu: entropia krzyżowa). Wartość 0 to ideał, a ln 2 ≈ 0,69 to zgadywanie na ślepo przy dwóch klasach. Uczenie to właśnie zmniejszanie straty. Trafność to odsetek punktów, które sieć przypisuje do właściwej klasy.

punkty klasy 0punkty klasy 1tło: klasa, którą sieć przypisuje temu miejscu (im mocniejszy kolor, tym większa pewność sieci)

niebieska linia: strata (im niżej, tym lepiej); zielona: trafność (im wyżej, tym lepiej)

Stan sieci: co widzi każdy neuron

kwadrat to neuron, a obrazek w nim pokazuje, jak mocno reaguje na każde miejsce planszy (jaśniej = silniej); pierwsza kolumna to wejścia x i y, ostatnia - pewność sieci co do klasy 0 (niebieski) i klasy 1 (czerwony) waga dodatniawaga ujemna wyraźniejsza linia: większa waga

3. Sprawdzanie gradientu: wzór kontra różnica centralna

Dla losowo wybranych wag liczymy pochodną dwa razy: przejściem wstecz (backward) i numerycznie, (L(w+ε) − L(w−ε)) / 2ε. Błąd względny poniżej 10⁻³ oznacza, że przejście wstecz liczy poprawnie. W praktyce wychodzi około 10⁻⁵.

kliknij „sprawdź gradient”

4. Prawdziwe cyfry: MNIST w przeglądarce

MNIST to 70 000 odręcznie pisanych cyfr, czyli obrazków 28 × 28 pikseli w odcieniach szarości: 60 000 do uczenia i 10 000 do sprawdzania. Strona pobiera cztery oryginalne pliki (11,6 MB) z ich kopii w serwisie GitHub, sprawdza sumy kontrolne SHA-256 i zapamiętuje dane w przeglądarce na następną wizytę. Sieć ma 784 wejścia (po jednym na piksel), dwie warstwy ukryte (256 i 128 neuronów) i 10 wyjść - po jednym na cyfrę. Uczy się algorytmem Adam (współczynnik uczenia 0,001) na paczkach po 128 obrazów. Jedna epoka to jedno przejście przez cały zbiór uczący (468 kroków).

Dane nie są jeszcze pobrane.

epoka0 krok0 strata- trafność na zbiorze testowym- ms na krok-

średnia strata z kolejnych 20 kroków

pierwsze 16 cyfr zbioru testowego i odpowiedź sieci: zielona - trafna, czerwona - błędna

? autotest jeszcze się nie odbył