wszystkie wpisy 2026 Programowanie
Programowanie · Sztuczne sieci neuronowe · 2026-05-03 · 6 min

Wszystkie LLM-y piszą tego samego Todo App. I to dosłownie

Robię benchmark lokalnych modeli. Proste zadanie: zbuduj Todo App w jednym pliku HTML – dodawanie, kasowanie, oznaczanie, filtry, localStorage. Banał. Każdy model dostaje 6 prób. W sumie 96 plików od 16 modeli – od Claude’a Sonnet 4.6 i Haiku 4.5, przez całą rodzinę Qwen (9B do 122B), Gemmę 4, GPT-OSS 20B i 120B, GPT-4.1-mini, GPT-5.4-mini, Codex-mini, po Z.AI GLM-5-turbo.

Otwieram plik po pliku, aby ocenić czy działa jak wygląda kod i uruchomieć w przeglądarce, po prostu jak człowiek pierwotny zamiast zautomayuzować, ale chcę widzieć efkty pracy AI.

Po którymś tam mam dziwne déjà vu. Po następnym wnioskem – to jakby pisała jedna osoba. Te same nazwy funkcji (addTodo, saveTodos, deleteTodo), te same klasy CSS (.filter-btn, .container, .todo-text), ten sam klucz w localStorage: 'todos'. Modele od trzech różnych firm, wytrenowane na trzech różnych zestawach danych – strukturalnie nie do odróżnienia.

Postanowiłem to sprawdzić – ale tutaj już jako z użyciem agenta.

Fingerprint zamiast diff

Nie porównuję kodu literalnie – białe znaki, cudzysłowy, kolejność funkcji to szum. Chcę porównać strukturę. Dla każdego pliku wyciągam zbiór „tokenów”:

  • atrybuty id="..." z HTML
  • nazwy klas CSS
  • nazwy funkcji JS
  • zmienne CSS

Każdy plik staje się workiem ~30 etykiet. Dla każdej pary jest liczony współczynnik Jaccarda – |A ∩ B| / |A ∪ B|. 1.0 = identyczny fingerprint, 0.0 = żadnego wspólnego identyfikatora.

Potem klastrowanie single-link z progiem 0.45: dwa pliki trafiają do jednego klastra, jeśli istnieje łańcuch par o podobieństwie ≥ 0.45. Algorytm naiwny, ale na 96 plikach działa w ułamku sekundy. Skrypt to ~150 linii Node.js bez żadnych zależności poza Playwrightem do generowania PNG-ów.

Wynik: wielki monoklaster

todo-similarity-heatmap

Heatmapa 96×96. Lewy górny róg to jeden ogromny ciemny blok zajmujący 62.5% całej macierzy – 60 plików, cztery firmy:

  • Anthropic Haiku 4.5 – wszystkie 6 prób
  • Qwen 3.5 (9B, 27B, 35B, 122B) i Qwen 3.6 (27B, 35B)
  • Gemma 4 (26B i 31B)
  • Z.AI GLM-5-turbo – wszystkie 6 prób

Cztery firmy, pięć rodzin modeli, rozpiętość 9–122 miliardów parametrów. Strukturalnie ten sam kod.

Najbardziej zaskakujące liczby:

Jaccard 1.000  qwen3.5_122b_03  ↔  qwen3.5_122b_04
Jaccard 1.000  qwen3.6_35b_01   ↔  qwen3.6_35b_03

Ten sam model, dwa różne uruchomienia – identyczny zbiór identyfikatorów. Zerowa wariancja. Model ma „ulubiony kod” który zwraca prawie deterministycznie.

Najczęstsze sygnatury w całym korpusie: klasa .active w 92/96 plikach, addTodo w 80/96, deleteTodo i .filters po 75/96, saveTodos w 74/96. To nie są przypadki.

To odcisk konkretnego kanonu – TodoMVC plus setki jego klonów na GitHubie, które prawdopodobnie wszystkie te modele zassały podczas treningu.

todo-similarity-network

Są jednak inne szkoły

Poza mainstreamem widać dwie wyraźne bańki.

Klaster „OpenAI minimalist” – GPT-OSS 120B i 20B, GPT-4.1-mini, część Codex-mini. Charakterystyka: ~200 LOC zamiast ~330, mniej klas CSS, prostsza struktura. Ten sam problem, terser i bez upiększeń. Co ciekawe GPT-OSS 120B i 20B siedzą razem mimo 6× różnicy parametrów – ewidentnie ta sama „szkoła stylu” wewnątrz firmy.

GPT-5.4-mini wyróżnia się inaczej: konsekwentnie używa CSS variables z paletą kolorów – --primary-color, --bg-color, --danger-color. Inne modele wpisują kolory na sztywno. Ten model trafił na nowsze frontendowe wzorce w treningu.

Sonnet 4.6 – ciekawy przypadek. 6 prób rozpada się na trzy małe podgrupy i jeden singleton. Wewnątrzmodelowy Jaccard = 0.441 – najniższy z całej „klasy A”. Haiku 4.5 ma 0.815. Czyli ten sam Haiku za każdym razem daje to samo, a Sonnet za każdym razem daje coś innego.

Codex-mini – najniższy wynik w zestawie, mean Jaccard = 0.277. Trzy próby w klastrze OpenAI, trzy to singletony. Model który nawet na banalnym zadaniu nie ma „ulubionego rozwiązania”.

Czy Snake będzie inaczej?

Napisałem wyżej, że todo to zadanie pamięciowe. Snake z trybami (human-vs-human, human-vs-cpu, cpu-vs-cpu), score’em, menu startowym i ekranem game-over ma wystarczająco dużo wymiarów decyzyjnych, żeby modele musiały projektować, a nie przypominać sobie. Puściłem ten sam skrypt na kolejnych 96 plikach.

snake-similarity-heatmap

Heatmapa wygląda zupełnie inaczej. Brak dużych ciemnych bloków. Wizualizacja sieciowa: kilka małych grup w jednym rogu, otoczonych pierścieniem 73 singletonów.

Metryka Todo App Snake
Największy klaster 60 plików (62.5%) 6 plików (6.3%)
Singletony 4 (4%) 73 (76%)
Pary identyczne (Jaccard 1.0) 2 0
Klastry cross-firm 2 0

Wszystkie siedem klastrów Snake’a jest wewnątrz-rodzinnych – żaden nie łączy modeli z różnych firm. To dokładne przeciwieństwo todo.

W todo dominowały sygnatury jak addTodo, .active, .filter-btn – nazwy konkretnych decyzji projektowych, które każdy mógł podjąć inaczej, ale wszyscy wybrali tak samo. W snake’u dominują startGame, id="gameCanvas", endGame, draw, spawnFood – to jest słownik dziedziny, minimum których nie da się ominąć. Reszta – tryby gry, struktura menu, sposób trzymania stanu – w każdym pliku inaczej.

Sonnet 4.6 w snake’u: 6 prób, 6 singletonów, max Jaccard = 0.324. Najwyższa wewnątrzmodelowa różnorodność w całym zestawie.

snake-similarity-network

Co z tego wynika

Todo App to nie benchmark umiejętności programowania. To test pamięciowy. Kod istnieje w treningu w setkach kopii, model go odtwarza. Zmiana zadania na coś o realnej złożoności rozsypuje „konsensus modeli” na 78% indywidualnych podejść.

Cztery firmy w jednym worku to nie zbieg okoliczności – Anthropic, Alibaba, Google i Z.AI prawdopodobnie uczyli się na nakładających się scrape’ach z GitHuba (TodoMVC + klony) i/lub na syntetycznych danych od wspólnego mocniejszego nauczyciela. To nie spisek, to konsekwencja tego, że „good code” w sieci jest skończonym zbiorem.

Niska wariancja między próbami nie jest cechą – to defekt. Codex-mini z mean Jaccard = 0.277 to nie „gorszy” model. To model który na pierwszą odpowiedź daje różne podejścia. W realnej pracy, gdzie pierwsza odpowiedź rzadko jest ostateczna, to ma wartość. Na liderboardach z jedną próbą per zadanie liczy się jako „niestabilność”.

I praktycznie: jeśli budujesz CRUD-y i zastanawiasz się czy wziąć Haiku, Qwena 9B czy Z.AI GLM – prawdopodobnie to bez różnicy dla jakości kodu. Liczy się cena, latencja i rozmiar kontekstu. Nie „inteligencja”.

Ten benchmark zacząłem robić, żeby sprawdźić jak tworzony przezemnie agent pracuje z róznymi modelami i jaki jest „najlepszy lokalny model do programowania”.

Skończyłem z wnioskiem, że na podstawowych zadaniach wszystkie lokalne modele są tym samym modelem w różnych opakowaniach. Prawdziwa różnica zaczyna się tam, gdzie kończy się TodoMVC w danych treningowych – czyli przy realnych projektach z konkretnym kontekstem i stanem, którego model nigdy wcześniej nie widział.


Następny wpis →

Kwantyzacja dla opornych – czemu int4 nie przyspiesza generowania grafiki na GPU

2026-05-10 · 9 min czytania