Robię benchmark lokalnych modeli. Proste zadanie: zbuduj Todo App w jednym pliku HTML – dodawanie, kasowanie, oznaczanie, filtry, localStorage. Banał. Każdy model dostaje 6 prób. W sumie 96 plików od 16 modeli – od Claude’a Sonnet 4.6 i Haiku 4.5, przez całą rodzinę Qwen (9B do 122B), Gemmę 4, GPT-OSS 20B i 120B, GPT-4.1-mini, GPT-5.4-mini, Codex-mini, po Z.AI GLM-5-turbo.
Otwieram plik po pliku, aby ocenić czy działa jak wygląda kod i uruchomieć w przeglądarce, po prostu jak człowiek pierwotny zamiast zautomayuzować, ale chcę widzieć efkty pracy AI.
Po którymś tam mam dziwne déjà vu. Po następnym wnioskem – to jakby pisała jedna osoba. Te same nazwy funkcji (addTodo, saveTodos, deleteTodo), te same klasy CSS (.filter-btn, .container, .todo-text), ten sam klucz w localStorage: 'todos'. Modele od trzech różnych firm, wytrenowane na trzech różnych zestawach danych – strukturalnie nie do odróżnienia.
Postanowiłem to sprawdzić – ale tutaj już jako z użyciem agenta.
Fingerprint zamiast diff
Nie porównuję kodu literalnie – białe znaki, cudzysłowy, kolejność funkcji to szum. Chcę porównać strukturę. Dla każdego pliku wyciągam zbiór „tokenów”:
- atrybuty
id="..."z HTML - nazwy klas CSS
- nazwy funkcji JS
- zmienne CSS
Każdy plik staje się workiem ~30 etykiet. Dla każdej pary jest liczony współczynnik Jaccarda – |A ∩ B| / |A ∪ B|. 1.0 = identyczny fingerprint, 0.0 = żadnego wspólnego identyfikatora.
Potem klastrowanie single-link z progiem 0.45: dwa pliki trafiają do jednego klastra, jeśli istnieje łańcuch par o podobieństwie ≥ 0.45. Algorytm naiwny, ale na 96 plikach działa w ułamku sekundy. Skrypt to ~150 linii Node.js bez żadnych zależności poza Playwrightem do generowania PNG-ów.
Wynik: wielki monoklaster

Heatmapa 96×96. Lewy górny róg to jeden ogromny ciemny blok zajmujący 62.5% całej macierzy – 60 plików, cztery firmy:
- Anthropic Haiku 4.5 – wszystkie 6 prób
- Qwen 3.5 (9B, 27B, 35B, 122B) i Qwen 3.6 (27B, 35B)
- Gemma 4 (26B i 31B)
- Z.AI GLM-5-turbo – wszystkie 6 prób
Cztery firmy, pięć rodzin modeli, rozpiętość 9–122 miliardów parametrów. Strukturalnie ten sam kod.
Najbardziej zaskakujące liczby:
Jaccard 1.000 qwen3.5_122b_03 ↔ qwen3.5_122b_04
Jaccard 1.000 qwen3.6_35b_01 ↔ qwen3.6_35b_03
Ten sam model, dwa różne uruchomienia – identyczny zbiór identyfikatorów. Zerowa wariancja. Model ma „ulubiony kod” który zwraca prawie deterministycznie.
Najczęstsze sygnatury w całym korpusie: klasa .active w 92/96 plikach, addTodo w 80/96, deleteTodo i .filters po 75/96, saveTodos w 74/96. To nie są przypadki.
To odcisk konkretnego kanonu – TodoMVC plus setki jego klonów na GitHubie, które prawdopodobnie wszystkie te modele zassały podczas treningu.

Są jednak inne szkoły
Poza mainstreamem widać dwie wyraźne bańki.
Klaster „OpenAI minimalist” – GPT-OSS 120B i 20B, GPT-4.1-mini, część Codex-mini. Charakterystyka: ~200 LOC zamiast ~330, mniej klas CSS, prostsza struktura. Ten sam problem, terser i bez upiększeń. Co ciekawe GPT-OSS 120B i 20B siedzą razem mimo 6× różnicy parametrów – ewidentnie ta sama „szkoła stylu” wewnątrz firmy.
GPT-5.4-mini wyróżnia się inaczej: konsekwentnie używa CSS variables z paletą kolorów – --primary-color, --bg-color, --danger-color. Inne modele wpisują kolory na sztywno. Ten model trafił na nowsze frontendowe wzorce w treningu.
Sonnet 4.6 – ciekawy przypadek. 6 prób rozpada się na trzy małe podgrupy i jeden singleton. Wewnątrzmodelowy Jaccard = 0.441 – najniższy z całej „klasy A”. Haiku 4.5 ma 0.815. Czyli ten sam Haiku za każdym razem daje to samo, a Sonnet za każdym razem daje coś innego.
Codex-mini – najniższy wynik w zestawie, mean Jaccard = 0.277. Trzy próby w klastrze OpenAI, trzy to singletony. Model który nawet na banalnym zadaniu nie ma „ulubionego rozwiązania”.
Czy Snake będzie inaczej?
Napisałem wyżej, że todo to zadanie pamięciowe. Snake z trybami (human-vs-human, human-vs-cpu, cpu-vs-cpu), score’em, menu startowym i ekranem game-over ma wystarczająco dużo wymiarów decyzyjnych, żeby modele musiały projektować, a nie przypominać sobie. Puściłem ten sam skrypt na kolejnych 96 plikach.

Heatmapa wygląda zupełnie inaczej. Brak dużych ciemnych bloków. Wizualizacja sieciowa: kilka małych grup w jednym rogu, otoczonych pierścieniem 73 singletonów.
| Metryka | Todo App | Snake |
|---|---|---|
| Największy klaster | 60 plików (62.5%) | 6 plików (6.3%) |
| Singletony | 4 (4%) | 73 (76%) |
| Pary identyczne (Jaccard 1.0) | 2 | 0 |
| Klastry cross-firm | 2 | 0 |
Wszystkie siedem klastrów Snake’a jest wewnątrz-rodzinnych – żaden nie łączy modeli z różnych firm. To dokładne przeciwieństwo todo.
W todo dominowały sygnatury jak addTodo, .active, .filter-btn – nazwy konkretnych decyzji projektowych, które każdy mógł podjąć inaczej, ale wszyscy wybrali tak samo. W snake’u dominują startGame, id="gameCanvas", endGame, draw, spawnFood – to jest słownik dziedziny, minimum których nie da się ominąć. Reszta – tryby gry, struktura menu, sposób trzymania stanu – w każdym pliku inaczej.
Sonnet 4.6 w snake’u: 6 prób, 6 singletonów, max Jaccard = 0.324. Najwyższa wewnątrzmodelowa różnorodność w całym zestawie.

Co z tego wynika
Todo App to nie benchmark umiejętności programowania. To test pamięciowy. Kod istnieje w treningu w setkach kopii, model go odtwarza. Zmiana zadania na coś o realnej złożoności rozsypuje „konsensus modeli” na 78% indywidualnych podejść.
Cztery firmy w jednym worku to nie zbieg okoliczności – Anthropic, Alibaba, Google i Z.AI prawdopodobnie uczyli się na nakładających się scrape’ach z GitHuba (TodoMVC + klony) i/lub na syntetycznych danych od wspólnego mocniejszego nauczyciela. To nie spisek, to konsekwencja tego, że „good code” w sieci jest skończonym zbiorem.
Niska wariancja między próbami nie jest cechą – to defekt. Codex-mini z mean Jaccard = 0.277 to nie „gorszy” model. To model który na pierwszą odpowiedź daje różne podejścia. W realnej pracy, gdzie pierwsza odpowiedź rzadko jest ostateczna, to ma wartość. Na liderboardach z jedną próbą per zadanie liczy się jako „niestabilność”.
I praktycznie: jeśli budujesz CRUD-y i zastanawiasz się czy wziąć Haiku, Qwena 9B czy Z.AI GLM – prawdopodobnie to bez różnicy dla jakości kodu. Liczy się cena, latencja i rozmiar kontekstu. Nie „inteligencja”.
Ten benchmark zacząłem robić, żeby sprawdźić jak tworzony przezemnie agent pracuje z róznymi modelami i jaki jest „najlepszy lokalny model do programowania”.
Skończyłem z wnioskiem, że na podstawowych zadaniach wszystkie lokalne modele są tym samym modelem w różnych opakowaniach. Prawdziwa różnica zaczyna się tam, gdzie kończy się TodoMVC w danych treningowych – czyli przy realnych projektach z konkretnym kontekstem i stanem, którego model nigdy wcześniej nie widział.