BitNet od zera39 odcinków i bonus

Odcinek 01 · obliczenia w Twojej przeglądarce

Kalkulator rozmiaru: ile miejsca zajmuje model i jak szybko może odpowiadać

Przepustowość pamięci podzielona przez rozmiar modelu daje maksymalną prędkość. Szybciej się nie da.

Objaśnienie. Model językowy to wielka tablica liczb (wag). Żeby wypisać jedno słowo, komputer musi przeczytać wszystkie te liczby z pamięci. Dlatego szybkość pracy zależy głównie od tego, ile miejsca zajmują wagi i jak szybka jest pamięć. Wybierz model z listy (od małych modeli z tej serii po największe modele otwarte i komercyjne). Kalkulator pokaże jego budowę i rozmiar przy różnej dokładności zapisu wag: od 4 bajtów (fp32) do 2 bitów na wagę (BitNet, czyli −1, 0 i +1). Niżej widać, na jakim komputerze model się zmieści i jak szybko może tam działać.

1. Wybierz model: budowa i rozmiar w pięciu formatach

format wszystkich wagrozmiarwzględem formatu fp16

rozmiar w danym formacie (cały pasek to fp32)format, z którym porównujemy

Rozmiar w bajtach = liczba parametrów × liczba bitów na wagę ÷ 8, bez metadanych i bez cache’u KV.

Dane otwartych modeli pochodzą z ich plików config.json, kart modeli na Hugging Face i publikacji. „-” oznacza liczbę, której twórcy nie opublikowali. Twórcy najnowszych modeli komercyjnych (GPT-5, Claude, Gemini) nie podali liczby parametrów, więc nie ma ich na liście, a liczba parametrów GPT-4 jest nieoficjalna [niezweryfikowane].

2. Plik modelu: warstwy i embedding osobno

warstwy- embedding i głowa- cały plik- gdyby wszystkie wagi były w bf16- oszczędność-

warstwyembedding i głowa

Uwaga na skrót myślowy „BitNet 2B zajmuje 0,5 GB”: 521 MB to same warstwy ternarne. Embedding w F16 dokłada 657 MB.

Wybór modelu w sekcji 1 ustawia suwaki. Dla modeli spoza serii kalkulator zaczyna od zapisu BitNetu: warstwy na 2 bitach, embedding w F16. Zmień liczbę bitów, żeby zobaczyć inny zapis. Przesunięcie suwaka przełącza listę na „własne ustawienia”.

3. Maksymalna prędkość na sześciu maszynach

maszynaprzepustowość pamięcipamięćzmieści się?maks. tok/s

Maksymalna prędkość w tokenach na sekundę (tok/s) = przepustowość ÷ rozmiar modelu z sekcji 2. To górna granica. Zakłada, że przy każdym tokenie trzeba raz przeczytać wszystkie wagi. Kolumna „zmieści się?” rezerwuje poza wagami tylko stały zapas 2 GB. W praktyce programy osiągają tylko ułamek tej granicy (narzut uwagi, cache’u KV i kerneli) - [szacunek]. Przepustowości pochodzą z danych producentów (Apple, NVIDIA).

4. Ile miejsca zajmuje waga

formatbity1 mld wag zajmujemaks. prędkość modelu z 1 mld waguwaga

Ternarna waga niesie log₂ 3 = 1,585 bita informacji, ale zapisujemy ją na 2 bitach (4 wagi = 1 bajt), bo tak łatwiej i szybciej się liczy. Czwarty, nadmiarowy kod (11) służy do wykrywania uszkodzonych danych (więcej w odcinku 07).

? autotest jeszcze się nie odbył