Programista. Architekt. Robię software od końcówki demosceny, AI w realnej pracy od 2024. Buduję Refio - lokalnego agenta AI do IntelliJ - bo chcę w praktyce rozumieć, jak to wszystko działa. Tu zapisuję wnioski.
Odcinek pomostowy między kwantyzacją a autogradem: budżet pamięci prawdziwego modelu. Model ma 5,95 GB, Ty masz 16 GB RAM. Zmieści się? Zwykle odpowiedź brzmi „spróbuj i zobacz”, czyli trzydzieści minut pobierania, żeby dostać out of memory. A wystarczy przecz…
W poprzednim odcinku policzyłem, ile się oszczędza. Teraz sprawdźmy, co się przy tym traci i dlaczego akurat te dwa wzory, a nie jakieś inne. Objaśnienie. Kwantyzacja to zaokrąglan…
Dwadzieścia siedem miliardów parametrów na karcie z sześcioma gigabajtami pamięci. Nie w 2028 roku i nie „w teorii”, tylko plik do pobrania dziś. Od tego zaczynam tę serię: jak to …
Tak na szybko, zanim napiszę cokolwiek o sieciach neuronowych: sprawdźmy, czy Twoja przeglądarka w ogóle pociągnie tę serię. Brzmi niewinnie, ale od odpowiedzi zależy, ile odcinków…
Tak na szybko, na start: to jest spis całej serii o sieciach neuronowych, w których każda waga to -1, 0 albo +1. Zaczynam od jednej liczby i własnego autogradu, przez trening i uru…
Qwen 3.8 27B w praktycznym benchmarku Refio: wynik względem Sonneta, sześć prób na zadanie oraz 102 scenariusze e2e, które pilnują pomiaru.
Jak ostatnio pisałem o sędzim, który ocenia mój benchmark, zostawiłem jedną rzecz na boku. Bo tam opowiadałem o dokładaniu modelu do oceniania, a nie o tym, że model jest w tej cał…
Kiedy ostatnio pisałem o benchmarku (kod, który zabija przeglądarkę), przemilczałem nudną część. Szesnaście modeli, po sześć prób, jedno zadanie – to jest 96 plików HTML, któ…
Po ostatnich ruchach Anthropica – wyższe ceny, mocno ścięte limity – wraca pytanie, które słyszę coraz częściej: „Codex czy Claude Code?”. I moim zdaniem je…
Ostatnio grzebałem przy pluginie Refio i testowałem go na lokalnych modelach LLM. Teoretycznie wszystko działało: model miał dostać cały kontekst projektu – otwarte pliki z I…