Qwen 3.8 27B w praktycznym benchmarku Refio: wynik względem Sonneta, sześć prób na zadanie oraz 102 scenariusze e2e, które pilnują pomiaru.
Jak ostatnio pisałem o sędzim, który ocenia mój benchmark, zostawiłem jedną rzecz na boku. Bo tam opowiadałem o dokładaniu modelu do oceniania, a nie o tym, że model jest w tej cał…
Kiedy ostatnio pisałem o benchmarku (kod, który zabija przeglądarkę), przemilczałem nudną część. Szesnaście modeli, po sześć prób, jedno zadanie – to jest 96 plików HTML, któ…
Ostatnio grzebałem przy pluginie Refio i testowałem go na lokalnych modelach LLM. Teoretycznie wszystko działało: model miał dostać cały kontekst projektu – otwarte pliki z I…
Jest taki moment, kiedy model zwraca kod, plik się otwiera i przez dwie sekundy myślisz, że działa. Czasem faktycznie. A czasem karta przeglądarki zostaje pusta, albo wyskakuje bia…
Dawno nie było wpisu… na temat generowania grafiki. Ostatnio sobe siadłem fo starego codebase i porobiłem z ciekawości pipeline do kwantyzacji do modeli dyfuzyjnych – S…
Robię benchmark lokalnych modeli. Proste zadanie: zbuduj Todo App w jednym pliku HTML – dodawanie, kasowanie, oznaczanie, filtry, localStorage. Banał. Każdy model dostaje 6 p…
Modele AI potrafią dzisiaj naprawdę sporo. Umieją analizować kod, pisać dokumentację, szukać błędów, proponować refaktoryzację, tłumaczyć działanie systemu, a nawet pomagać w plano…
Claude Code to narzędzie terminalowe stworzone przez Anthropic, które pozwala programistom pracować z kodem przy pomocy języka naturalnego. Nie jest to zwykły czat, ale coś w rodza…
Od kilku miesięcy intensywnie testuję różne narzędzia wspomagające programowanie z pomocą sztucznej inteligencji. Czas na moje przemyślenia – subiektywne, bez owijania w bawełnę, c…