BitNet od zera39 odcinków i bonus

Odcinek 03 · obliczenia w Twojej przeglądarce

Budżet pamięci: czy ten model się zmieści?

Wagi to nie wszystko. Cache KV rośnie razem z kontekstem i może zająć więcej pamięci niż sam model.

Objaśnienie. Zanim pobierzesz model, warto wiedzieć, czy w ogóle zmieści się w pamięci Twojego komputera. Liczy się nie tylko sam plik. Podczas pracy model zapamiętuje każdy przeczytany token w tak zwanym cache’u KV, który rośnie proporcjonalnie do długości tekstu. Ile miejsca zajmuje jeden token, zależy od rodzaju uwagi, jakiej używa model. Różnica może być nawet kilkudziesięciokrotna. Wybierz jeden z przykładowych modeli albo ustaw własne wartości suwakami. Kalkulator zsumuje wagi i cache, a potem pokaże, czy model się zmieści.

1. Model

-

2. Warunki uruchomienia

Do sumy doliczamy 2 GB narzutu (bufory obliczeniowe i pozostała pamięć procesu) - [szacunek], nie pomiar. Rozmiar wag przykładowych modeli to liczba parametrów × liczba bitów na wagę w podanym formacie, bez metadanych - [szacunek]. Dane o architekturze pochodzą z plików config.json modeli na Hugging Face.

3. Wynik

-
wagi- cache KV- narzut [szacunek]- razem- zapas / brakuje-

wagicache KVnarzut

4. Ten sam model przy różnej długości kontekstu

kontekstcache KVrazemudział cache’uzmieści się?

Cache KV rośnie razem z kontekstem, a wagi się nie zmieniają. Dlatego przy długich rozmowach to on, a nie model, decyduje, czy wszystko się zmieści. Z tego samego powodu kwantyzacja cache’u (q8_0, q4_0) daje czasem większą oszczędność niż kwantyzacja wag. Wiersze z kontekstem dłuższym, niż obsługuje wybrany model, są oznaczone.

5. Rodzaje uwagi: ile miejsca w cache’u zajmuje jeden token

Model o budowie Llamy 3.1 8B (32 warstwy, 32 głowy uwagi po 128 wymiarów); kontekst i format cache’u jak wyżej. Prawdziwej Llamie odpowiada wiersz GQA. Pozostałe pokazują, ile zająłby cache, gdyby ten sam model używał innego rodzaju uwagi - [obliczenie].

rodzaj uwagico cache przechowuje dla tokenu w jednej warstwieprzykładycache KVwzględem MHA

Każda oszczędność ma swoją cenę. Przy mniejszej liczbie par K/V (GQA, MQA) uwaga ma do dyspozycji mniej szczegółów. MLA wymaga dodatkowych obliczeń, żeby z wektora utajonego odtworzyć K i V. Okno przesuwne sprawia, że część warstw nie widzi odleglejszych fragmentów tekstu. Uwaga liniowa i modele stanowe (np. Mamba, arXiv:2312.00752) zamiast cache’u przechowują stan stałej wielkości. Ich pamięć nie rośnie z długością tekstu, ale gorzej odtwarzają dokładne fragmenty z odległej części kontekstu (arXiv:2402.01032). Źródła: MQA arXiv:1911.02150, GQA arXiv:2305.13245, MLA arXiv:2405.04434, okno przesuwne w Mistralu 7B arXiv:2310.06825 i w pliku config.json modelu gpt-oss.

? autotest jeszcze się nie odbył