Odcinek pomostowy między kwantyzacją a autogradem: budżet pamięci prawdziwego modelu. Model ma 5,95 GB, Ty masz 16 GB RAM. Zmieści się? Zwykle odpowiedź brzmi „spróbuj i zobacz”, c…
W poprzednim odcinku policzyłem, ile się oszczędza. Teraz sprawdźmy, co się przy tym traci i dlaczego akurat te dwa wzory, a nie jakieś inne. Objaśnienie. Kwantyzacja to zaokrąglan…
Dwadzieścia siedem miliardów parametrów na karcie z sześcioma gigabajtami pamięci. Nie w 2028 roku i nie „w teorii”, tylko plik do pobrania dziś. Od tego zaczynam tę serię: jak to …