Tak na szybko, na start: to jest spis całej serii o sieciach neuronowych, w których każda waga to -1, 0 albo +1. Zaczynam od jednej liczby i własnego autogradu, przez trening i uruchomienie małego modelu językowego, oficjalny BitNet b1.58 2B4T od Microsoftu i generowanie obrazków, a kończę na tym, jak wcisnąć duży model w mały komputer.
Każdy odcinek to dwie rzeczy: artykuł i strona, którą otwierasz w przeglądarce. Artykuł tłumaczy pomysł, a strona liczy go u Ciebie – trenuje, mierzy i pokazuje wynik. Nic nie instalujesz. Tam, gdzie przydaje się karta graficzna, strony korzystają z WebGPU, a jak go nie masz, liczą na procesorze (wolniej) albo mówią wprost, czego się u Ciebie nie da sprawdzić.
Jak to czytać
Nie musisz znać się na uczeniu maszynowym. Odcinki idą po kolei i każdy opiera się na tym, co wyjaśniły poprzednie (kilka razy zaglądam do przodu, np. odcinek 10 rysuje mapy uwagi na modelu wytrenowanym w 11 – wtedy piszę to wprost).
Na razie to sam spis – linki do artykułów i stron będę dopisywał w miarę publikacji kolejnych odcinków.
Liczby w opisach pochodzą z artykułów i mają dwie etykiety:
- zmierzone – wynik policzony kodem strony odcinka, dokładny sprzęt jest w artykule,
- szacunek – rachunek na kartce, a nie pomiar.
A jak nie wiesz, od czego zacząć, otwórz odcinek 00 – sprawdzi, czy Twoja przeglądarka w ogóle pociągnie resztę.
Część I – Podstawy: od liczby do działającego modelu
Trzynaście odcinków, po których masz własny model językowy z wagami ternarnymi, wytrenowany w przeglądarce i liczony na samych liczbach całkowitych.
00 · Test: czy Twoja przeglądarka uruchomi BitNet?
Strona sprawdza, czy masz WebGPU, i daje karcie graficznej najprostsze zadanie w całej serii: cztery wagi razy cztery liczby. Każdy silnik, procesor i karta, ma dać dokładnie 80, a nie „coś koło 80”. Obok dostajesz do skopiowania raport z cechami i limitami Twojej karty. W artykule tłumaczę, czym jest WebGPU i kernel oraz skąd się wzięły liczby wektora wzorcowego, które będą wracać przez całą serię. Bez WebGPU nic się nie sypie – wszystko policzy procesor, tylko wolniej.
01 · Po co sieć z wagami -1, 0, +1?
Strona to kalkulator rozmiaru. Wybierasz model i liczbę bitów na wagę, a ona pokazuje, ile miejsca zajmie model i ile słów na sekundę może najwyżej wygenerować (przepustowość pamięci podzielona przez rozmiar modelu) na sześciu maszynach. Na liście są też największe modele otwarte i komercyjne razem z budową: warstwy, głowy uwagi, eksperci, słownik. W artykule odpowiadam, dlaczego mniej bajtów na wagę to szybsze odpowiedzi i dlaczego uczciwy rozmiar zawsze liczy embedding, który w BitNecie zostaje w wysokiej precyzji. I dlaczego gotowego modelu nie da się po prostu zaokrąglić: sieć od spirali po naiwnym zaokrągleniu wag spada z 99,6 % do 74,2 % trafności, a ta sama sieć trenowana od początku z kwantyzacją trzyma 99,6 % (zmierzone).
02 · Liczby w sieci: fp32, bf16, int8 i błąd kwantyzacji
Strona to kwantyzator. Wpisujesz albo losujesz wagi i aktywacje i widzisz skalę, próg zerowania, kody po zaokrągleniu, histogram i błąd. Możesz wrzucić wartość odstającą i przełączać skalę między „na token” a „na tensor”, żeby zobaczyć, ile poziomów zostaje reszcie liczb. W artykule pokazuję, że cała kwantyzacja to tak naprawdę wybór skali: aktywacje dostają absmax ze skalą na token, wagi absmean ze skalą na tensor, a waga robi się zerem poniżej połowy skali. Jest też drobiazg, który potrafi rozwalić zgodność z wektorem wzorcowym (epsilon dodany do skali zamiast użyty jako jej dolna granica), i wyjaśnienie, czemu zapis ternarny daje dużo większy błąd niż int8 – i dlatego model trzeba trenować z kwantyzacją.
03 · Rozbieramy cudzy model: czy zmieści się w mojej pamięci?
Strona to kalkulator „czy się zmieści”. Z liczby warstw, głów i długości kontekstu liczy pamięć na wagi, embedding i cache KV, z listą przykładowych modeli, wyborem formatu cache’u i rodzaju uwagi. Drugie narzędzie, inspektor nagłówka GGUF (siedzi na stronie odcinka 16), czyta Twój plik modelu lokalnie i nic nigdzie nie wysyła. W artykule uczę czytać nagłówek pliku jak spis treści i przeliczać go na „zmieści się” albo „nie zmieści się”, zanim ściągniesz kilka gigabajtów. Najważniejszy wniosek: cache KV rośnie z długością kontekstu, a wagi nie. Dla 2B4T przy 131 072 tokenach cache to 90 % sumy wag i cache’u, a format q4_0 zmniejsza go z 10,07 GB do 2,83 GB (szacunek, policzony na stronie).
04 · Sieć od zera: mikroautograd
Strona na Twoich oczach uczy małą sieć rozdzielać dwie przeplecione spirale, a potem sieć 784-256-128-10 rozpoznawać ręcznie pisane cyfry MNIST – na karcie albo na procesorze. Autotest porównuje kartę z procesorem: każdą operację osobno, pierwsze kroki treningu i odpowiedzi na 500 obrazkach. W artykule pokazuję, że backward() to graf obliczeń, sortowanie topologiczne i reguła łańcuchowa, opisuję trzy typowe pułapki i gradcheck, czyli jedyny sprawdzian przejścia wstecz, któremu można ufać. Spirala dochodzi do 99,6 % trafności po 1500 krokach, MNIST do 97,99 % po 10 epokach, przy 0,27 ms na krok na karcie – jakieś 200 razy szybciej niż na procesorze (zmierzone).
05 · STE: trening z zaokrągleniem, wagi-cienie i bliźniak FP
Strona trenuje naraz dwie identyczne sieci – z kwantyzacją ternarną i bez niej (to jest bliźniak FP, będzie wracał w każdym odcinku) – najpierw na spirali, potem na MNIST. STE możesz wyłączyć. Widać skalę β, zmiany kodów -1, 0, +1, udział zer, macierze wag obu sieci i to, co każda robi z jedną cyfrą, a przycisk sam wyszukuje cyfry, przy których sieci się nie zgadzają. W artykule tłumaczę, jak uczyć sieć mimo zaokrąglania, którego pochodna to zero: w przód liczysz na wagach zaokrąglonych, a gradient trafia do ułamkowych wag-cieni. Bez STE warstwa ternarna po prostu zamarza (dokładnie zero zmian kodów), histogram wag-cieni ma dwa garby na progu ±β/2, a nie trzy, a na MNIST warstwa ternarna kosztuje 0,08 punktu procentowego: 97,91 % wobec 97,99 % (zmierzone).
06 · BitLinear158 na czterech liczbach
Strona prowadzi przez siedem kroków jednej warstwy BitLinear na Twoich liczbach i pokazuje wartości pośrednie każdego z nich: normalizację, skalę aktywacji, kody int8, skalę wag, wagi ternarne, sumę całkowitą i powrót do zwykłej liczby. Przełącznik SubLN i macierz z wartością odstającą pokazują, czemu normalizacja przed kwantyzacją chroni pozostałe wiersze. W artykule wyjaśniam, po co dwie skale, czemu dzieli się przez 127, a nie przez 128, i co w modelu zostaje w wysokiej precyzji. Na wektorze wzorcowym suma całkowita to dokładnie 80, a wynik warstwy 0,337008 – i tę samą liczbę musi dać każda implementacja w serii.
07 · Pakowanie po 2 bity: .bitpack kontra I2_S
Strona to inspektor: ten sam tensor wag w trzech układach obok siebie – nasz .bitpack i I2_S z bitnet.cpp w wersji na x86 i na ARM – w zrzucie szesnastkowym, z ręcznym odkodowaniem bajtu. W artykule pokazuję, że „dwa bity na wagę” staje się formatem dopiero wtedy, gdy ustalisz, który kod oznacza -1, gdzie w bajcie leży pierwsza waga i gdzie siedzi skala. Ten sam model daje inny plik na x86 i na ARM: 160 wag to 64 B w jednym układzie i 48 B w drugim (zmierzone). To prawdopodobna (choć niepotwierdzona) przyczyna bełkotu, który bitnet.cpp wypisuje na Apple Silicon. Liczę też uczciwie, ile naprawdę zajmuje 1,58 bita, razem z embeddingiem.
08 · Kernel ternarny: naiwny → LUT → WebGPU → NEON
Strona odpala cztery wersje tego samego mnożenia macierzy wag ternarnych przez wektor – naiwną i tablicową w JavaScripcie oraz dwie na karcie w WGSL – porównuje czasy i sprawdza, że wszystkie dają identyczne liczby całkowite. W artykule tłumaczę, czemu miarą szybkości jest liczba gigabajtów wag przeczytanych w sekundę, a nie liczba operacji, i jak tablica gotowych sum częściowych zastępuje rozgałęzienia. Wersja tablicowa jest jakieś 14 razy szybsza od naiwnej, a przewaga karty rośnie z rozmiarem macierzy (zmierzone). Prawdziwym bohaterem odcinka jest jednak test zgodności co do bitu – łapie błędy, których pomiar szybkości w ogóle nie widzi.
09 · Tokenizer: od znaków do BPE
Strona trenuje tokenizer na żywo: najpierw tnie tekst na znaki, potem metodą BPE krok po kroku skleja najczęstszą parę i pokazuje każde sklejenie z liczbą wystąpień, a Twoje zdanie dzieli na kolorowe tokeny. Do wyboru jest korpus zdań z prostej gramatyki i kilka innych, od logów serwera po teksty w wielu językach. W artykule wyjaśniam, czemu model widzi liczby, a nie litery, i czemu korpus serii jest syntetyczny: licencje, rozmiar modelu i powtarzalność co do bajtu. Fajna rzecz: tokenizer, który nie ma pojęcia o polszczyźnie, sam odkrywa dwuznak „cz” i końcówki przymiotników. Po 120 sklejeniach ma słownik 145 tokenów i skraca korpus 4,07 raza bez utraty ani jednego znaku (zmierzone).
10 · Transformer w 200 linijkach
Strona wczytuje wytrenowany bitGPT-nano (trenujemy go w odcinku 11) i rysuje mapy uwagi dla Twojego promptu: wiersz to litera, która patrzy, kolumna to litera, na którą patrzy, po jednej mapie na każdą głowę w każdej warstwie. Jest też kalkulator parametrów, w którym kręcisz wymiarami modelu, liczbą głów i głów KV, oraz wykres obrotów RoPE. W artykule składam transformer z klocków z poprzednich odcinków i pokazuję, gdzie dokładnie siedzą warstwy BitLinear: wszystkie siedem projekcji w bloku jest ternarnych. Tłumaczę uwagę przyczynową, GQA, RoPE jako obrót, RMSNorm i dwie wersje FFN. I drobny zgrzyt: publikacja o 2B4T podaje ReLU², a kod bitnet.cpp buduje SiLU z bramką.
11 · bitGPT: trening ternarnego modelu językowego
Strona trenuje bitGPT-nano, model językowy o 84 224 parametrach, z których 97,3 % to wagi ternarne, razem z bliźniakiem FP. Na karcie albo na procesorze, z przełączaniem silnika w trakcie, zapisem treningu w przeglądarce i próbkami tekstu. Możesz też wybrać większe modele (na karcie do 27,3 mln parametrów) i inne korpusy, a autotest pilnuje, żeby karta liczyła to samo co procesor. W artykule daję pełną recepturę QAT – AdamW, rozgrzewka, dwa etapy zaniku wag – i tłumaczę, czemu luka do bliźniaka FP z jednego ziarna losowania to liczba tego konkretnego przykładu, a nie własność metody. Po 800 krokach strata modelu ternarnego to 0,3425 wobec 0,3349 u bliźniaka (luka 2,3 %). Te 800 kroków dla pary trwa na karcie 2,8 s (zmierzone), na procesorze około 4 minut (szacunek).
12 · Inferencja na liczbach całkowitych: działający BitNet
Strona generuje tekst modelem z odcinka 11, licząc każde mnożenie całkowitoliczbowymi kernelami z odcinka 08, na procesorze albo na karcie. Jednym przyciskiem sprawdzasz, czy wszystkie silniki dają identyczne akumulatory. Możesz kliknąć znak, przy którym model się wahał, i zobaczyć, na które litery patrzą wtedy głowy uwagi, albo wczytać własny model z odcinka 11. W artykule idę ścieżką jednego tokenu, od embeddingu przez kody int8 i sumy całkowite po uwagę, i rozdzielam dwa pytania: czy silniki liczą to samo (to jest wymóg) i czy ścieżka całkowitoliczbowa daje te same tokeny co zmiennoprzecinkowa (to jest wynik). Na bitGPT-nano cztery silniki zgadzają się co do bitu na 10 368 akumulatorach, 48 z 48 tokenów zgadza się ze ścieżką zmiennoprzecinkową, a procesor generuje około 2400 tokenów na sekundę (zmierzone). Karta jest tu wolniejsza – przy tak małych macierzach rządzi koszt samego wywołania.
Część II – Prawdziwe modele, GPU i ekosystem
Kernele z cudzych repozytoriów przeniesione na WebGPU, eksport własnego modelu do GGUF, oficjalny BitNet b1.58 2B4T liczony moim kodem i czat w przeglądarce.
13 · GPU po raz pierwszy: W2A8 w Tritonie
Strona przenosi na WebGPU kernel mnożenia wag ternarnych przez wektor napisany w Tritonie (język kerneli od OpenAI, w praktyce pod karty NVIDII i AMD) i odpala go na Twojej karcie. Suwakami sprawdzasz, ile wątków warpa pracuje na końcu wiersza i ile kosztuje rozgałęzienie, przechodzisz kernel krok po kroku, mierzysz warianty na prawdziwych kształtach macierzy i puszczasz automatyczny dobór parametrów (autotune). W artykule tłumaczę, jak liczy karta graficzna i czemu szybkość tego mnożenia zależy od czytania pamięci, a nie od liczenia. Port zachowuje strukturę kernela, ale nie wydajność: dosłowny port daje 21,5 GB/s na macierzy 13824 × 2560, odczyt po 16 wag naraz z autotune 65,6 GB/s, a prosty kernel z odcinka 08… aż 101,2 GB/s (zmierzone).
14 · Czytamy kernel Microsoftu
Strona rozbiera kernel CUDA, którym Microsoft mnoży wagi BitNeta b1.58 2B4T, i odpala jego port w WGSL na Twojej karcie. Rysunek pokazuje, gdzie po permutacji leży 16 wag wybranego wątku, a dekodowanie wag przechodzisz krok po kroku. Port zachowuje układ bloku, wzór adresu, dekodowanie i redukcję, a jego sumy są co do bitu równe mnożeniu w JavaScripcie. Artykuł to recenzja cudzego kodu: przy każdym fragmencie pytam „po co to tu jest?” i dzielę techniki na warte przeniesienia, za drogie i takie, których sam nie rozumiem. Port robi 67,0-83,8 GB/s na ośmiu kształtach z repozytorium Microsoftu, a wariant z instrukcją dot4I8Packed (odpowiednik dp4a) zmienia szybkość od -24 do +34 % zależnie od kształtu. Czyli trzeba mierzyć, a nie zakładać zysk (zmierzone).
15 · Czyste CUDA: dogonić Microsoft
Strona odpala na Twojej karcie port WGSL mojego kernela CUDA w dwóch wersjach – v1 z redukcją w warpie i v2 z kafelkiem aktywacji w pamięci współdzielonej – i pozwala włączyć z powrotem dwa błędy z pierwszej wersji, M7 i M8. Wybierasz kształt macierzy, zgadujesz, które wiersze się wysypią, a potem mierzysz wszystkie warianty i porównujesz z portem kernela Microsoftu. Artykuł to dziennik optymalizacji razem z porażkami (hipoteza, zmiana, pomiar, werdykt) i pokazuje, czemu test na jednym „ładnym” kształcie niczego nie dowodzi. Kafelek w pamięci współdzielonej spowalnia kernel o 7-19 %, a najwięcej kosztuje sposób czytania wag: waga po wadze daje 40-48 % szybkości portu Microsoftu, słowo z 16 wagami 83-86 % (zmierzone).
16 · Eksport do GGUF: nasz model w formacie bitnet.cpp
Strona zapisuje nasz model (wbudowany bitGPT-nano albo Twój z odcinka 11) do GGUF z wagami I2_S dla x86 albo ARM, czyta plik z powrotem i porównuje każdą wagę z plikiem .bitpack, z którego powstał. Cztery pułapki eksportu wywołasz osobno i zobaczysz ich skutki, inspektor nagłówka GGUF przeczyta lokalnie dowolny plik modelu z Twojego dysku, a spis części I podsuwa sześć ścieżek czytania. W artykule opisuję oficjalny plik 2B4T, stan narzędzi (na Apple Silicon bitnet.cpp wypisuje bełkot (zmierzone)) i dwie drogi eksportu własnego modelu. Eksport nano ma 32 768 B i zero różnych wag na obu platformach, a mały plik wzorcowy zgadza się bajt w bajt z niezależnym modułem zapisu (zmierzone).
17 · Cudzy model 2B w przeglądarce: nasz kernel, te same tokeny
Strona ściąga oficjalnego BitNeta b1.58 2B4T z Hugging Face (albo bierze go z Twojego dysku) w kawałkach sprawdzanych SHA-256, przepakowuje jego 210 macierzy ternarnych do .bitpack i liczy je kernelem z odcinka 13 na karcie. Generujesz tekst i widzisz każdy token z marginesem i czasem, a dla promptu wzorcowego strona porównuje wynik token po tokenie z niezależną implementacją wzorcową. W artykule pokazuję, że dowodem nie jest „sensowny tekst”, tylko identyczne tokeny, i wyliczam cztery pułapki odtwarzania cudzej architektury. Prompt „The capital of France is” daje 12 z 12 tokenów identycznych z implementacją wzorcową, przy 19,9 tok/s na karcie i 1,5 tok/s na procesorze. Większość czasu tokenu zjada 120 wywołań z czekaniem na wynik (zmierzone).
18 · Czat w przeglądarce: cały model na karcie, tekst na żywo
Strona przenosi na kartę całe przejście w przód modelu 2B4T – normalizacje, kwantyzację, RoPE, uwagę i wybór tokenu – w jednym zleceniu na token i robi z tego czat: odpowiedź leci słowo po słowie, a rozmowa pamięta poprzednie tury. Wybierasz szablon rozmowy, temperaturę, top-k i ziarno, porównujesz silniki i widzisz, ile pamięci kluczy i wartości zajmuje rozmowa. W artykule wyjaśniam, gdzie odcinek 17 tracił czas, co zostaje z dowodu, kiedy karta liczy we float32 zamiast float64, i czemu szablon rozmowy zapisany w oficjalnym pliku modelu prowadzi na manowce. Model generuje 66,7 tok/s zamiast 19,9, czyli ponad trzy razy szybciej, ale w części promptów tokeny z float32 rozjeżdżają się z wersją float64 (zmierzone).
Część III – Obrazy i wideo
Wagi ternarne w generatorach obrazów i wideo: flow matching, transformery obrazu (DiT), sploty, autoenkoder, dyfuzja latentna, obraz z podpisu i ruchome figury – wszystko uczone na karcie w przeglądarce.
19 · Dyfuzja bez całek: flow matching na MNIST
Strona zaczyna od chmury punktów na płaszczyźnie: uczysz model przewidywać kierunek od szumu do danych i patrzysz na pole strzałek i trajektorie. Potem uczy na karcie dwa małe transformery obrazu (DiT), ternarny i bliźniaka FP, na cyfrach MNIST, generuje cyfry każdej klasy ze sterowaniem CFG i ocenia je dwiema miarami: sędzią-klasyfikatorem i FID z siecią Inception v3 liczoną w WGSL. W artykule pokazuję, że generowanie obrazów mieści się w trzech linijkach: zmieszaj szum z obrazem, przewiduj kierunek, idź pod prąd. Trening obu modeli trwa 48 s, a FID to 128,8 dla modelu ternarnego i 60,6 dla bliźniaka FP (zmierzone, 1000 obrazów). Tyle że obie miary nie zgadzają się co do najlepszej siły CFG, a FID z tak małego zbioru jest zawyżony.
20 · Ternarny DiT na CIFAR
Strona ściąga CIFAR-10 z Hugging Face i sama, bez bibliotek, rozpakowuje Parqueta i PNG-i, a potem uczy na karcie trzy generatory na tych samych zdjęciach: bliźniaka FP, model ternarny i model ternarny z poprawką z literatury (RMSNorm po modulacji AdaLN). Pokazuje siatki obrazów z tego samego szumu, statystyki kwantyzacji int8 w każdym bloku i liczy FID z werdyktem wobec progu: 1,5 raza FID bliźniaka. To odcinek-bramka – jego wynik decydował o kształcie odcinków 21-25. I hipoteza upada: przy FID z 10 000 obrazów model ternarny ma FID 1,64 raza wyższy niż bliźniak, poprawka nic nie zmienia, a 8-bitowe wagi w samej uwadze dają 1,35 raza przy średnio 4 bitach na wagę (zmierzone).
21 · BitConv2d = im2col + GEMM, który już mamy
Strona rysuje, jak każde okno obrazu staje się wierszem macierzy (im2col) – klikasz wiersz i widzisz jego okno, klikasz piksel i widzisz jego kopie – a potem uczy na CIFAR-10 cztery sieci splotowe na tych samych zdjęciach. W artykule pokazuję, że splot to mnożenie macierzy, które silnik już ma, więc wystarczą dwa nowe kernele: im2col i jego gradient. Bliźniak FP rozpoznaje 68,75 % zdjęć testowych, sieci ternarne ze skalą na tensor i na kanał 64,39 % i 64,65 %, a sieć ternarna z pierwszą i ostatnią warstwą w 8 bitach 67,35 % (zmierzone). Powtórka z innymi ziarnami pokazuje, że zysk z 8-bitowych warstw brzegowych (0,82 % parametrów!) powtarza się w każdym treningu, a przewaga skali na kanał to szum.
22 · bitVAE: zdjęcie w latencie, sploty na liczbach całkowitych
Strona uczy na karcie trzy autoenkodery, które ściskają zdjęcie CIFAR-10 32 × 32 × 3 do siatki 8 × 8 × 4 i odtwarzają je z niej: bliźniaka FP, sieć ternarną i sieć z ternarnym enkoderem i 8-bitowym dekoderem. Pokazuje odtworzone zdjęcia i kanały latentu, liczy PSNR, LPIPS (z VGG16 na karcie) i rFID, a na koniec przelicza każdy splot sieci skwantowanej od nowa na liczbach całkowitych. W artykule tłumaczę, po co generatorowi latent – mniej liczb i dużo tańsza uwaga – i czemu miara L1 nagradza rozmycie, a LPIPS je karze. Wagi ternarne kosztują autoenkoder niewiele: z LPIPS w stracie rFID sieci ternarnej to 41,2 wobec 38,1 u bliźniaka FP (1,08 raza), a sploty na liczbach całkowitych zgadzają się z kartą do 5,1·10⁻⁷ (zmierzone).
23 · Dyfuzja latentna: DiT uczy się latentów bitVAE
Strona koduje 50 000 zdjęć treningowych ternarnym autoenkoderem z odcinka 22, zapisuje latenty w przeglądarce pod kluczem z odciskiem SHA-256 autoenkodera i uczy na nich naraz trzy generatory: bliźniaka FP, model ternarny i model ternarny z 8-bitowymi wagami w uwadze. Generuje siatki obrazów, liczy FID wobec granicy autoenkodera i porównuje go z generatorami uczonymi na pikselach w odcinku 20. W artykule wyjaśniam, że zysk z latentu bierze się z mniejszej liczby tokenów, a autoenkoder wyznacza granicę jakości, poniżej której generator nie zejdzie. Na latentach model w pełni ternarny mieści się w progu: FID 84,9 wobec 76,1 u bliźniaka, czyli 1,12 raza zamiast 1,64 na pikselach, a 5000 kroków trwa 125 s zamiast 554 s (zmierzone).
24 · Obraz z podpisu: uwaga krzyżowa i 2B4T zamiast CLIP-a
Strona rysuje własny świat figur z podpisami, np. „czerwony kwadrat nad niebieskim kołem”, a sędzia z reguł sprawdza każdy obraz bez żadnej sieci. Uczy generator z odcinka 23 czytać podpis uwagą krzyżową z jednym z dwóch enkoderów tekstu: słownikiem słów uczonym od zera albo zamrożonym BitNetem b1.58 2B4T z odcinka 17. Widać mapy uwagi każdego tokenu podpisu. W artykule pytam, czy model językowy, który nigdy nie widział obrazka, pomoże narysować coś, czego w treningu nie było. Po angielsku tak: z nowymi słowami kolorów generator czytający 2B4T rysuje poprawnie 35-51 % obrazów, a z nowymi słowami relacji 79-98 %, podczas gdy słownik słów stoi na 2-4 % i 3-26 %. Po polsku przeniesienie prawie znika (zmierzone, jedno ziarno treningu).
25 · Wideo-DiT: czas jako trzeci wymiar
Strona robi klipy z ruchomymi figurami – osiem klatek 32 × 32, w których kwadrat, koło albo trójkąt jedzie i odbija się od brzegów. Karta uczy na nich pięć modeli: z uwagą pełną i z czynnikowaną (najpierw w obrębie klatki, potem przez czas), każdy jako bliźniak FP i jako model ternarny, plus model bez uwagi w czasie. Mapa tokenów pokazuje, na co patrzy kliknięty token w każdym rodzaju uwagi, a sędzia z reguł i małej sieci ocenia, czy figura w klipie rusza się tak jak w danych. W artykule mierzę, ile oszczędza uwaga czynnikowana i czy coś przy tym ginie. Wychodzi tańsza i lepsza: 20,0 % poprawnych klipów wobec 6,8 % przy uwadze pełnej, a sama uwaga liczy się przy 2048 tokenach 24 razy szybciej. Wagi ternarne zostawiają jednak tylko 3,3 % poprawnych klipów (zmierzone).
Część IV – Duży model na małym komputerze (Strata)
Jak odpalić model wielokrotnie większy niż pamięć karty: mieszanina ekspertów (MoE), pamięć podręczna ekspertów, dekodowanie spekulatywne, długi kontekst, kwantyzacja i destylacja. Większość odcinków opiera się na projekcie Strata, a liczy na małych modelach uczonych w przeglądarce, na śladach ich pracy albo w modelach kosztów.
26 · Dlaczego 125 miliardów mieści się w 12 gigabajtach
Strona to kalkulator bajtów. Z liczby warstw, ekspertów, ekspertów wybieranych na token, wymiarów i bitów na wagę liczy, ile bajtów model zajmuje, a ile naprawdę czyta przy jednym tokenie i z którego poziomu pamięci: karty, RAM-u, łącza PCIe albo dysku SSD. Dla każdego poziomu podaje górny limit tokenów na sekundę na kilku maszynach, z gotowymi przykładami od dużego MoE po BitNet 2B4T i bitGPT-nano. W artykule tłumaczę, czemu o prędkości decyduje liczba bajtów czytanych na token, a nie zapisanych w pliku, i czemu rządzi najwolniejszy poziom pamięci.
27 · MoE: router, eksperci i nierówny podział tokenów
Strona uczy w przeglądarce malutki model z mieszaniną ekspertów, w którym router wybiera dla każdego tokenu kilku ekspertów z wielu. Wpisujesz zdanie i widzisz mapę ciepła: którzy eksperci i z jakimi wagami obsłużyli każdy token w każdej warstwie, a histogram pokazuje, ile tokenów dostał każdy ekspert na tekście odłożonym. W artykule wyjaśniam router, wybór k najlepszych ekspertów i stratę równoważącą obciążenie, a do tego czemu tokeny rozkładają się na ekspertów nierówno – i czemu na tej nierówności stoi cała część IV.
28 · Wstępne ładowanie: cache ekspertów z profilu i jego adaptacja
Strona symuluje pamięć podręczną ekspertów na prawdziwym śladzie wyborów routera małego MoE z odcinka 27. Suwakiem ustawiasz liczbę miejsc w pamięci karty i porównujesz trzy zasady: start od pustej pamięci z wyrzucaniem najdawniej używanych, stały zestaw najczęstszych ekspertów z profilu zebranego na innych tekstach oraz taki profil z wymianą ekspertów w trakcie pracy. Wykres pokazuje odsetek trafień (jak często potrzebny ekspert już czeka na karcie) w zależności od rozmiaru pamięci, a oś czasu – trafienia i chybienia token po tokenie. W artykule tłumaczę wstępne ładowanie ekspertów z profilu (preload), jego adaptację i to, czemu miejsca w pamięci liczy się w bajtach, a nie w sztukach ekspertów.
29 · Jedna warstwa, trzech pracowników
Strona to model kosztów jednej warstwy dużego MoE, którą liczy trzech „pracowników”: karta liczy ekspertów, których ma w pamięci, kopiarka (DMA) dowozi brakujących z RAM-u, a procesor liczy resztę na miejscu. Suwakami zmieniasz pamięć i przepustowość karty, RAM-u i PCIe oraz odsetek trafień, a pasek czasu pokazuje, kto kończy ostatni i ile tokenów na sekundę z tego wychodzi. W artykule wyjaśniam, czemu czas całej rundy wyznacza najwolniejszy pracownik i czemu przyspieszenie jednego rzadko podwaja prędkość całości. Opisuję też, które pomysły z projektu Strata nie zadziałały, a które tak, i wyraźnie oddzielam liczby zmierzone przez autora Straty od moich oszacowań.
30 · Zgaduj i sprawdzaj: dekodowanie spekulatywne
Strona generuje tekst bitGPT-nano z części I po kilka tokenów naraz: tani model trigramowy z korpusu proponuje kilka kolejnych tokenów, a pełny model jednym przejściem sprawdza, które sam by wybrał. Kolory odróżniają propozycje przyjęte, odrzucone i token wybrany przez pełny model, suwak progu pewności zmienia odsetek przyjętych, a przycisk „wymuś złe propozycje” pokazuje, że tekst się od tego nie zmienia. W artykule tłumaczę, czemu sprawdzenie kilku tokenów naraz kosztuje niewiele więcej niż jednego (czytanie wag kosztuje więcej niż liczenie) i czemu wynik jest dokładnie taki sam jak przy dekodowaniu zachłannym. I czemu w MoE zysk jest mniejszy, niż obiecuje literatura.
31 · Prompt w kawałkach i długi kontekst
Strona to kalkulator długiego kontekstu: ustawiasz długość kontekstu, format pamięci kluczy i wartości oraz pamięć karty, a ona liczy, ile zajmuje cache KV, ilu ekspertów jeszcze się zmieści i co to znaczy dla tokenów na sekundę. Drugi symulator tnie długi prompt na kawałki i porównuje czas przesyłania ekspertów przez PCIe z czasem liczenia na karcie. W artykule wyjaśniam, czemu przetworzenie promptu to co innego niż generowanie odpowiedzi (przy tysiącach tokenów naraz każdy ekspert jest potrzebny wiele razy) i jak rosnący kontekst wypycha ekspertów z pamięci karty. Pomiary autora Straty służą tu do sprawdzenia, czy mój rachunek trzyma się kupy.
32 · Trzy kwantyzacje jednego modelu: siatka kontra kodebook
Strona kwantyzuje prawdziwą macierz wag nauczyciela FP (trenujemy go w odcinku 34) czterema sposobami: siatką Q2_0 (wartości -1, 0, 1 i 2 razy skala bloku), wagami ternarnymi z części I, int8 i książką kodową, w której grupę ośmiu wag zastępuje numer gotowego wzorca z tablicy. Tabela porównuje bity na wagę, błąd, bajty i liczbę operacji potrzebnych do odkodowania jednej wagi, a zrzut szesnastkowy pokazuje blok Q2_0. W artykule tłumaczę, czemu siatka pasuje do instrukcji iloczynu skalarnego, a książka kodowa wymaga zaglądania do tablicy – i czemu przez to zapis o większym pliku bywa szybszy. Uczciwie zaznaczam, że moja książka kodowa jest uproszczona.
33 · Tablica n-gramowa na SSD
Strona buduje zabawkową tablicę n-gramową, do której model zagląda nie po obliczeniach, tylko wprost po trzech ostatnich tokenach, i przepuszcza przez nią strumień tekstu z małego modelu. Liczy wiersze czytane na token, symuluje pamięć podręczną stron systemu (suwak rozmiaru, odsetek trafień) i pokazuje na osi czasu, kiedy adres jest znany, kiedy odczyt idzie w świat, a kiedy wiersz jest użyty. W artykule wyjaśniam, czemu tak adresowaną tablicę można trzymać na dysku: adres znasz, zanim wiersz będzie potrzebny, więc odczyt zlecasz z wyprzedzeniem. I że na dysku liczy się liczba losowych odczytów na sekundę, a nie gigabajty na sekundę.
34 · Destylacja: kiedy nauczyciel pomaga ternarnemu uczniowi
Strona ściąga opowiadania TinyStories i uczy na karcie dwóch nauczycieli FP, słabego i silnego, a potem ternarnych uczniów z nauczycielem i bez, czytających tekst znak po znaku. Widać rozkład następnego znaku przy różnych temperaturach, krzywe straty względem kroków i względem czasu oraz pięć najbardziej prawdopodobnych znaków każdego modelu w klikniętym miejscu tekstu. W artykule tłumaczę stratę destylacji z temperaturą τ i mnożnikiem τ² i porównuję uczniów uczciwie, przy równej liczbie kroków i przy równym czasie, bo krok z nauczycielem trwa dłużej. Wynik zależy od ilości tekstu. Na całym pliku silny nauczyciel przy równym czasie obniża stratę ledwie o 0,010 nata na znak, niewiele ponad rozrzut ziaren, a słaby przegrywa z nauką bez nauczyciela. Ale gdy uczeń ma tylko pół miliona znaków, nauczyciel obniża stratę o 0,13 nata i uczeń dochodzi prawie do poziomu tego, który widział cały plik (zmierzone).
35 · Destylacja II: cache top-k, chirurgia i gojenie
Strona bierze nauczyciela FP z odcinka 34 i robi z niego model ternarny w trzech krokach: chirurgia (wymiana zwykłych warstw na BitLinear158, sprawdzona co do bitu przed włączeniem zaokrąglania), skok straty po włączeniu kwantyzacji i gojenie, czyli dalszy trening z wykresem straty. Suwak k porównuje destylację z zapisanych k najbardziej prawdopodobnych tokenów nauczyciela z destylacją z pełnego rozkładu, a kalkulator liczy, ile miejsca zajmuje taki zapis. W artykule wyjaśniam, czemu przy dużym słowniku zapisuje się tylko najlepsze podpowiedzi nauczyciela, ile jakości kosztuje ten skrót i ile utraconej jakości odzyskuje gojenie.
36 · Transfer sposobu działania: wektor sterujący
Strona wyznacza kierunek w aktywacjach bitGPT-nano z różnicy między reakcją modelu na zdania o kotach i o psach, a potem dodaje go do sygnału albo go z niego usuwa w wybranej warstwie, z siłą na suwaku. Porównuje teksty oryginału i modelu sterowanego, liczy słowa „kot” i „pies” i mierzy, jak bardzo przesunęły się odpowiedzi: dywergencję Kullbacka-Leiblera (KL) i zgodność najbardziej prawdopodobnego tokenu na tekście odłożonym. W artykule tłumaczę, czemu to nie jest uczenie – nie zmienia się ani jedna waga, a dodatkowy koszt to ułamek procenta – i gdzie ta metoda zaczyna psuć model.
37 · Przycinanie ekspertów: „Coder” na zabawkowym modelu
Strona bierze mały MoE uczony na dwóch rodzajach tekstu, bajkach i „liczbach”, i wycina ekspertów, z których wybrana dziedzina prawie nie korzysta. Suwakiem ustawiasz, ile ekspertów zostaje i według której dziedziny powstaje ranking. Tabela pokazuje stratę na tekstach obu dziedzin przed i po przycięciu oraz rozmiar modelu w bajtach, histogram zaznacza wyciętych ekspertów, a obok są teksty wygenerowane w obu dziedzinach. W artykule wyjaśniam, jak wybrać ekspertów po ich użyciu na tekstach dziedziny i jak działa router po przycięciu. Sprawdzam hipotezę, że mniejszy model zachowa wiedzę potrzebną w wybranej dziedzinie – przy czym to nie destylacja ani transfer, tylko zwykła selekcja.
Finał
38 · Od zera do BitNet-minera: retrospektywa
Rozliczenie serii z harmonogramu, kosztów i własnych założeń: zamierzenia kontra rzeczywistość i jedna tabela z lukami między modelami ternarnymi a ich bliźniakami FP ze wszystkich części. Pytam, czy luka rośnie ze skalą modelu i trudnością zadania, czy zasada zgodności co do bitu i bliźniak FP były warte swojej ceny i czego bym drugi raz nie zrobił. Listę pytań ułożyłem z góry, żeby retrospektywa nie zamieniła się w laurkę. Obejmuje części I-III.
Odcinek dodatkowy
B1 · 1,58 bita na 16 bitach: BitNet na Amidze
No i musiało się tak skończyć… bitGPT-nano na Amidze z Motorolą 68020, bez koprocesora zmiennoprzecinkowego i z 2 MB pamięci. Da się, bo inferencja ternarna to samo dodawanie liczb całkowitych, a dekodowanie zachłanne potrzebuje tylko wyboru największego wyniku, bez softmaksu. W artykule pokazuję, jak zastąpić to, co zostaje ułamkowe – RMSNorm, skale i RoPE – arytmetyką stałoprzecinkową Q16.16, metodą Newtona dla odwrotności pierwiastka i tablicami policzonymi zawczasu. Do tego czemu procesor zapisujący liczby od najstarszego bajtu (big-endian) wymaga osobnego wariantu pliku, .bitpack-lite, i czemu tablica sum częściowych z odcinka 08 opłaca się tym bardziej, im wolniejszy jest procesor względem pamięci.
Pozdrowienia z Distriktu, Jarku.