1. Wybierz model: budowa i rozmiar w pięciu formatach
| format wszystkich wag | rozmiar | względem formatu fp16 |
|---|
rozmiar w danym formacie (cały pasek to fp32)format, z którym porównujemy
Rozmiar w bajtach = liczba parametrów × liczba bitów na wagę ÷ 8, bez metadanych i bez cache’u KV.
Dane otwartych modeli pochodzą z ich plików config.json, kart modeli na Hugging Face i publikacji.
„-” oznacza liczbę, której twórcy nie opublikowali. Twórcy najnowszych modeli komercyjnych (GPT-5, Claude, Gemini)
nie podali liczby parametrów, więc nie ma ich na liście, a liczba parametrów GPT-4 jest nieoficjalna [niezweryfikowane].
2. Plik modelu: warstwy i embedding osobno
warstwyembedding i głowa
Uwaga na skrót myślowy „BitNet 2B zajmuje 0,5 GB”: 521 MB to same warstwy ternarne. Embedding w F16 dokłada 657 MB.
Wybór modelu w sekcji 1 ustawia suwaki. Dla modeli spoza serii kalkulator zaczyna od zapisu BitNetu: warstwy na 2 bitach, embedding w F16. Zmień liczbę bitów, żeby zobaczyć inny zapis. Przesunięcie suwaka przełącza listę na „własne ustawienia”.
3. Maksymalna prędkość na sześciu maszynach
| maszyna | przepustowość pamięci | pamięć | zmieści się? | maks. tok/s |
|---|
Maksymalna prędkość w tokenach na sekundę (tok/s) = przepustowość ÷ rozmiar modelu z sekcji 2. To górna granica. Zakłada, że przy każdym tokenie trzeba raz przeczytać wszystkie wagi. Kolumna „zmieści się?” rezerwuje poza wagami tylko stały zapas 2 GB. W praktyce programy osiągają tylko ułamek tej granicy (narzut uwagi, cache’u KV i kerneli) - [szacunek]. Przepustowości pochodzą z danych producentów (Apple, NVIDIA).
4. Ile miejsca zajmuje waga
| format | bity | 1 mld wag zajmuje | maks. prędkość modelu z 1 mld wag | uwaga |
|---|
Ternarna waga niesie log₂ 3 = 1,585 bita informacji, ale zapisujemy ją na 2 bitach (4 wagi = 1 bajt), bo tak łatwiej i szybciej się liczy. Czwarty, nadmiarowy kod (11) służy do wykrywania uszkodzonych danych (więcej w odcinku 07).