1. Model
-
2. Warunki uruchomienia
Do sumy doliczamy 2 GB narzutu (bufory obliczeniowe i pozostała pamięć procesu) - [szacunek], nie pomiar.
Rozmiar wag przykładowych modeli to liczba parametrów × liczba bitów na wagę w podanym formacie, bez metadanych
- [szacunek]. Dane o architekturze pochodzą z plików config.json modeli na Hugging Face.
3. Wynik
wagicache KVnarzut
4. Ten sam model przy różnej długości kontekstu
| kontekst | cache KV | razem | udział cache’u | zmieści się? |
|---|
Cache KV rośnie razem z kontekstem, a wagi się nie zmieniają. Dlatego przy długich rozmowach to on, a nie
model, decyduje, czy wszystko się zmieści. Z tego samego powodu kwantyzacja cache’u (q8_0, q4_0) daje
czasem większą oszczędność niż kwantyzacja wag. Wiersze z kontekstem dłuższym, niż obsługuje wybrany model, są oznaczone.
5. Rodzaje uwagi: ile miejsca w cache’u zajmuje jeden token
Model o budowie Llamy 3.1 8B (32 warstwy, 32 głowy uwagi po 128 wymiarów); kontekst i format cache’u jak wyżej. Prawdziwej Llamie odpowiada wiersz GQA. Pozostałe pokazują, ile zająłby cache, gdyby ten sam model używał innego rodzaju uwagi - [obliczenie].
| rodzaj uwagi | co cache przechowuje dla tokenu w jednej warstwie | przykłady | cache KV | względem MHA |
|---|
Każda oszczędność ma swoją cenę. Przy mniejszej liczbie par K/V (GQA, MQA) uwaga ma do dyspozycji mniej szczegółów. MLA wymaga
dodatkowych obliczeń, żeby z wektora utajonego odtworzyć K i V. Okno przesuwne sprawia, że część warstw nie widzi
odleglejszych fragmentów tekstu. Uwaga liniowa i modele stanowe (np. Mamba, arXiv:2312.00752) zamiast cache’u przechowują stan stałej
wielkości. Ich pamięć nie rośnie z długością tekstu, ale gorzej odtwarzają dokładne fragmenty z odległej części kontekstu
(arXiv:2402.01032). Źródła: MQA arXiv:1911.02150, GQA arXiv:2305.13245, MLA arXiv:2405.04434, okno przesuwne
w Mistralu 7B arXiv:2310.06825 i w pliku config.json modelu gpt-oss.