BitNet od zera

Strony odcinków serii. Każda liczy w Twojej przeglądarce: trenuje, mierzy i pokazuje wynik. Tam, gdzie przydaje się karta graficzna, korzysta z WebGPU, a bez niego liczy na procesorze.

00Test przeglądarkiJeden przycisk, jeden kernel, jedna liczba: 80. 01Kalkulator rozmiaruIle miejsca zajmuje model i jak szybko może odpowiadać. 02KwantyzatorCo tracimy, gdy waga ma tylko trzy wartości. 03Budżet pamięciCzy ten model zmieści się w Twojej pamięci? 04Autograd: spiralaSkąd sieć wie, w którą stronę się poprawić. 05STE i bliźniak FPJak uczy się sieć z zaokrąglonymi wagami. 06BitLinearCała warstwa na czterech liczbach. 07Inspektor .bitpackNasz .bitpack kontra I2_S z bitnet.cpp. 08Pomiar kerneliNaiwny → tablicowy → WebGPU. 09Tokenizer BPEOd znaków do BPE. 10TransformerGdzie dokładnie są warstwy BitLinear. 11Trening bitGPTTrening ternarnego modelu w przeglądarce. 12Czat z bitGPTDziałający BitNet i dowód zgodności co do bitu. 13Triton na WebGPUKernel z odcinka 13 w przeglądarce, z autotune. 14Kernel MicrosoftuUkład wag, dekodowanie i port kernela oficjalnego. 15CUDA na WebGPUNasz kernel v1 i v2 w przeglądarce, z błędami M7 i M8. 16Eksport do GGUFNasz model jako GGUF, cztery pułapki, inspektor i spis części I. 172B4T w przeglądarceOficjalny model 2B na kernelu z odcinka 13, dowód przez identyczne tokeny. 18Czat w przeglądarceRozmowa z 2B4T, całe przejście na karcie, tekst na żywo; bitGPT-nano bez pobierania. 19Flow matchingChmura punktów, DiT-nano na MNIST i CFG, trening na karcie. 20Ternarny DiT na CIFARTrzy modele na zdjęciach, aktywacje po AdaLN i FID z werdyktem. 21BitConv2dSplot jako mnożenie macierzy: im2col, cztery sieci na CIFAR i skala na kanał. 22bitVAEZdjęcie 32 × 32 w latencie 8 × 8 × 4: trzy autoenkodery, LPIPS, rFID i sploty na liczbach całkowitych. 23Dyfuzja latentnaTrzy generatory na latentach 8 × 8 × 4: pamięć latentów, droga od szumu i FID wobec pikseli. 24Obraz z podpisuUwaga krzyżowa, słownik słów i zamrożony 2B4T: czy generator rysuje nowe połączenia i nowe słowa. 25Wideo-DiTRuchome figury: łatka 3D, uwaga pełna, czynnikowana i bez czasu, sędzia ruchu; dlaczego nie cyfry z MNIST. 26Licznik bajtówIle bajtów model zapisuje, a ile czyta na token, z której pamięci i jaki sufit prędkości z tego wynika. 27Router MoENano-MoE uczony na karcie: których ekspertów wybiera router, jak nierówno i ślad routingu do pobrania. 28Pamięć podręczna ekspertówŚlad routingu z odcinka 27 w pamięci 0-64 slotów: zimny LRU, profil statyczny i profil z adaptacją, sloty w bajtach i ekstrapolacja na skalę Straty. 29Trzech pracownikówModel kosztów rundy Straty: karta, procesor i kopiarka PCIe przy każdej warstwie; tabela 5 jako kalibracja, tabele 3, 4 i 6 jako sprawdzian. 30Zgaduj i sprawdzajTinyStories znak po znaku: n-gram zgaduje, model FP sprawdza całe okno jednym przejściem, a tekst jest ten sam co przy dekodowaniu zachłannym. 31Prompt i kontekstCache KV, stan DeltaNet i eksperci w 12 GB od 1K do 512K, kawałki promptu, a na karcie prefill wobec dekodowania. 32Siatka i książka kodowaWagi modelu z odcinka 34 w int8, ternarnie, w Q2_0 i w książce kodowej: błąd, strata po kwantyzacji i koszt dekodowania. 33Tablica n-gramowaWiersze adresowane ostatnimi tokenami: pamięć podręczna stron, okna spekulatywne i odczyty z dysku w przeglądarce. 34DestylacjaTinyStories znak po znaku: ternarny uczeń z nauczycielem FP i bez, przy równych krokach i równym czasie. 35Chirurgia i gojenieNauczyciel FP z odcinka 34 obcięty do k najlepszych znaków, potem przeszczepiony do modelu ternarnego i gojony dalszą nauką. 36Wektor sterującyKot zamiast psa bez zmiany wag: kierunek z aktywacji, projekcja i dodanie, KL i zgodność top-1 wobec modelu bez sterowania. 37Przycinanie ekspertówNano-MoE uczony na opowiadaniach i liczbach: eksperci wybrani według użycia w jednej dziedzinie, strata obu dziedzin przed przycięciem i po nim, parametry i bajty. 38Zestawienie seriiPomiary wszystkich odcinków w jednym miejscu: kluczowe liczby, hipotezy potwierdzone i obalone, luki wobec bliźniaków FP, czasy i autotest wobec plików pomiarów. B1BitNet na AmidzeSymulacja Motoroli 68000: plik .bitpack-lite bajt po bajcie, mnożenie przez wagi ternarne samym dodawaniem na 16 bitach, cykle z tabel Motoroli i czas tokenu na Amidze 500.