1. Graf obliczeń krok po kroku
Każda operacja pamięta, z czego powstała, i wie, jak przekazać gradient dalej. Poniżej pełny przebieg obliczeń wyrażenia
L = (a·b + c)²: w przód liczymy wartości (białe), a potem wstecz, od L do liści, gradienty
∂L/∂(węzeł) (pomarańczowe). Na tej samej zasadzie działa wszystko w dalszych odcinkach serii, tylko na tysiącach liczb.
Ta sama zasada w małej sieci
Dwa wejścia, dwa neurony ukryte z funkcją ReLU i jedno wyjście. Strata (loss) to kwadrat różnicy między wyjściem
a celem, L = (y − t)². Każdy krok uczenia odejmuje od każdej wagi jej gradient pomnożony przez
współczynnik uczenia: w ← w − 0,1 · ∂L/∂w.
waga dodatniawaga ujemna grubość linii: wielkość wagi; pod wagą pomarańczowy gradient ∂L/∂w przerywana obwódka: ReLU daje 0, więc przez ten neuron nie przepływa gradient
2. Sieć uczy się rozróżniać dwa zbiory punktów
Strata mierzy, jak bardzo przewidywania sieci odbiegają od prawidłowych odpowiedzi (tu: entropia krzyżowa). Wartość 0 to ideał, a ln 2 ≈ 0,69 to zgadywanie na ślepo przy dwóch klasach. Uczenie to właśnie zmniejszanie straty. Trafność to odsetek punktów, które sieć przypisuje do właściwej klasy.
punkty klasy 0punkty klasy 1tło: klasa, którą sieć przypisuje temu miejscu (im mocniejszy kolor, tym większa pewność sieci)
niebieska linia: strata (im niżej, tym lepiej); zielona: trafność (im wyżej, tym lepiej)
Stan sieci: co widzi każdy neuron
kwadrat to neuron, a obrazek w nim pokazuje, jak mocno reaguje na każde miejsce planszy (jaśniej = silniej); pierwsza kolumna to wejścia x i y, ostatnia - pewność sieci co do klasy 0 (niebieski) i klasy 1 (czerwony) waga dodatniawaga ujemna wyraźniejsza linia: większa waga
3. Sprawdzanie gradientu: wzór kontra różnica centralna
Dla losowo wybranych wag liczymy pochodną dwa razy: przejściem wstecz (backward) i numerycznie,
(L(w+ε) − L(w−ε)) / 2ε. Błąd względny poniżej 10⁻³ oznacza, że przejście wstecz liczy poprawnie. W praktyce wychodzi około 10⁻⁵.
kliknij „sprawdź gradient”
4. Prawdziwe cyfry: MNIST w przeglądarce
MNIST to 70 000 odręcznie pisanych cyfr, czyli obrazków 28 × 28 pikseli w odcieniach szarości: 60 000 do uczenia i 10 000 do sprawdzania. Strona pobiera cztery oryginalne pliki (11,6 MB) z ich kopii w serwisie GitHub, sprawdza sumy kontrolne SHA-256 i zapamiętuje dane w przeglądarce na następną wizytę. Sieć ma 784 wejścia (po jednym na piksel), dwie warstwy ukryte (256 i 128 neuronów) i 10 wyjść - po jednym na cyfrę. Uczy się algorytmem Adam (współczynnik uczenia 0,001) na paczkach po 128 obrazów. Jedna epoka to jedno przejście przez cały zbiór uczący (468 kroków).
Dane nie są jeszcze pobrane.
średnia strata z kolejnych 20 kroków
pierwsze 16 cyfr zbioru testowego i odpowiedź sieci: zielona - trafna, czerwona - błędna