BitNet od zera
Strony odcinków serii. Każda liczy w Twojej przeglądarce: trenuje, mierzy i pokazuje wynik. Tam, gdzie przydaje się karta graficzna, korzysta z WebGPU, a bez niego liczy na procesorze.
00Test przeglądarkiJeden przycisk, jeden kernel, jedna liczba: 80.
01Kalkulator rozmiaruIle miejsca zajmuje model i jak szybko może odpowiadać.
02KwantyzatorCo tracimy, gdy waga ma tylko trzy wartości.
03Budżet pamięciCzy ten model zmieści się w Twojej pamięci?
04Autograd: spiralaSkąd sieć wie, w którą stronę się poprawić.
05STE i bliźniak FPJak uczy się sieć z zaokrąglonymi wagami.
06BitLinearCała warstwa na czterech liczbach.
07Inspektor .bitpackNasz .bitpack kontra I2_S z bitnet.cpp.
08Pomiar kerneliNaiwny → tablicowy → WebGPU.
09Tokenizer BPEOd znaków do BPE.
10TransformerGdzie dokładnie są warstwy BitLinear.
11Trening bitGPTTrening ternarnego modelu w przeglądarce.
12Czat z bitGPTDziałający BitNet i dowód zgodności co do bitu.
13Triton na WebGPUKernel z odcinka 13 w przeglądarce, z autotune.
14Kernel MicrosoftuUkład wag, dekodowanie i port kernela oficjalnego.
15CUDA na WebGPUNasz kernel v1 i v2 w przeglądarce, z błędami M7 i M8.
16Eksport do GGUFNasz model jako GGUF, cztery pułapki, inspektor i spis części I.
172B4T w przeglądarceOficjalny model 2B na kernelu z odcinka 13, dowód przez identyczne tokeny.
18Czat w przeglądarceRozmowa z 2B4T, całe przejście na karcie, tekst na żywo; bitGPT-nano bez pobierania.
19Flow matchingChmura punktów, DiT-nano na MNIST i CFG, trening na karcie.
20Ternarny DiT na CIFARTrzy modele na zdjęciach, aktywacje po AdaLN i FID z werdyktem.
21BitConv2dSplot jako mnożenie macierzy: im2col, cztery sieci na CIFAR i skala na kanał.
22bitVAEZdjęcie 32 × 32 w latencie 8 × 8 × 4: trzy autoenkodery, LPIPS, rFID i sploty na liczbach całkowitych.
23Dyfuzja latentnaTrzy generatory na latentach 8 × 8 × 4: pamięć latentów, droga od szumu i FID wobec pikseli.
24Obraz z podpisuUwaga krzyżowa, słownik słów i zamrożony 2B4T: czy generator rysuje nowe połączenia i nowe słowa.
25Wideo-DiTRuchome figury: łatka 3D, uwaga pełna, czynnikowana i bez czasu, sędzia ruchu; dlaczego nie cyfry z MNIST.
26Licznik bajtówIle bajtów model zapisuje, a ile czyta na token, z której pamięci i jaki sufit prędkości z tego wynika.
27Router MoENano-MoE uczony na karcie: których ekspertów wybiera router, jak nierówno i ślad routingu do pobrania.
28Pamięć podręczna ekspertówŚlad routingu z odcinka 27 w pamięci 0-64 slotów: zimny LRU, profil statyczny i profil z adaptacją, sloty w bajtach i ekstrapolacja na skalę Straty.
29Trzech pracownikówModel kosztów rundy Straty: karta, procesor i kopiarka PCIe przy każdej warstwie; tabela 5 jako kalibracja, tabele 3, 4 i 6 jako sprawdzian.
30Zgaduj i sprawdzajTinyStories znak po znaku: n-gram zgaduje, model FP sprawdza całe okno jednym przejściem, a tekst jest ten sam co przy dekodowaniu zachłannym.
31Prompt i kontekstCache KV, stan DeltaNet i eksperci w 12 GB od 1K do 512K, kawałki promptu, a na karcie prefill wobec dekodowania.
32Siatka i książka kodowaWagi modelu z odcinka 34 w int8, ternarnie, w Q2_0 i w książce kodowej: błąd, strata po kwantyzacji i koszt dekodowania.
33Tablica n-gramowaWiersze adresowane ostatnimi tokenami: pamięć podręczna stron, okna spekulatywne i odczyty z dysku w przeglądarce.
34DestylacjaTinyStories znak po znaku: ternarny uczeń z nauczycielem FP i bez, przy równych krokach i równym czasie.
35Chirurgia i gojenieNauczyciel FP z odcinka 34 obcięty do k najlepszych znaków, potem przeszczepiony do modelu ternarnego i gojony dalszą nauką.
36Wektor sterującyKot zamiast psa bez zmiany wag: kierunek z aktywacji, projekcja i dodanie, KL i zgodność top-1 wobec modelu bez sterowania.
37Przycinanie ekspertówNano-MoE uczony na opowiadaniach i liczbach: eksperci wybrani według użycia w jednej dziedzinie, strata obu dziedzin przed przycięciem i po nim, parametry i bajty.
38Zestawienie seriiPomiary wszystkich odcinków w jednym miejscu: kluczowe liczby, hipotezy potwierdzone i obalone, luki wobec bliźniaków FP, czasy i autotest wobec plików pomiarów.
B1BitNet na AmidzeSymulacja Motoroli 68000: plik .bitpack-lite bajt po bajcie, mnożenie przez wagi ternarne samym dodawaniem na 16 bitach, cykle z tabel Motoroli i czas tokenu na Amidze 500.