🚀 Ich habe ein LLM nachgebaut… mit Pixeln.

der 26. April 2026

Große Sprachmodelle (LLMs) basieren auf abstrakten Konzepten: Wahrscheinlichkeitsverteilung, autoregressive Generierung, großskalige Optimierung.

Diese Mechanismen sind schwer direkt zu beobachten.

Ein alternativer Ansatz besteht darin, diese Konzepte in ein visuelles und deterministisches System zu projizieren, wodurch wir ihre Dynamik untersuchen können.

Diese Arbeit ist von einer ersten Demonstration inspiriert, die auf Twitter geteilt wurde: Allen erklärt-Thread

Ziel ist es, einen pädagogischen Prototyp zu entwickeln, der Folgendes leistet:

stellt eine sequentielle Generation dar
einen Optimierungsprozess beobachten
Vergleich verschiedener Trainingsprogramme

Systemarchitektur

Der Prototyp ist in PHP (Symfony 8) implementiert und basiert auf vier Hauptkomponenten:

Zellulärer Automat (Spiel des Lebens)
Lambda-Sprache (AST JSON)
Genetischer Algorithmus
Streaming-Pipeline (NDJSON + SSE)

Vollständiger Quellcode: llm-game-of-life

Darstellung: von Text zu Raster

Ein LLM modelliert eine Verteilung:

[ P(x_1, x_2, ..., x_n) ]

aufgeschlüsselt in:

[ \prod_{t=1}^{n} P(x_t \mid x_{ ]

In diesem Prototyp wird diese Struktur transponiert:

| LLM | Prototyp | | -------------- | ---------- | | Token | Zelle | | Sequenz | Raster | | Generation | Rahmen | | Modell | Programm | | Inferenzschleife | Simulation |

Jeder Frame entspricht einem Generationsschritt.

Der SSE-Ablauf erzeugt eine Sequenz:

frame₀ → frame₁ → frame₂ → …

gleichbedeutend mit einer selbstregressiven Generation.

Modell: Programm statt Netzwerk

Im Gegensatz zu herkömmlichen LLMs werden keine neuronalen Netze verwendet.

Das Modell ist als Programm in einer Mini-Lambda-Sprache definiert und wird als AST-JSON-Datei dargestellt:

{
  "type": "sequence",
  "nodes": [
    { "type": "birth", "x": 1, "y": 1 },
    { "type": "next" }
  ]
}

Dieses Programm fungiert als Übergangsfunktion im Raster.

Dieser Ansatz ersetzt:

die Gewichte eines Modells → nach Anweisungen
die Schichten → durch explizite Transformationen

Optimierung: Genetischer Algorithmus

Die Schulung basiert auf einer Vielzahl von Programmen.

Jede Generation folgt:

Fitness-Test
Auswahl
Crossover
Mutation
Elitismus

Dieses Verfahren ersetzt den Gradientenabstieg.

Unbeaufsichtigtes Training

Der unüberwachte Modus maximiert eine Fitnessfunktion basierend auf:

Entropie (Diversität)
Bewegung (Variation zwischen den Einzelbildern)
Lebensdauer

Zielsetzung:

[ \text{Fitness} = f(\text{Entropie}, \text{Bewegung}, \text{Lebensdauer}) ]

Dieses Programm ist vergleichbar mit Vortraining:

Fehlen des Ziels
Erkundung des Lösungsraums

Beaufsichtigtes Training

Der überwachte Modus führt ein Ziel ein:

Gleiter
Blinker
Block

Fitness wird immer mehr zu:

[ \text{Fitness} = -d(\text{Frame}, \text{Ziel}) + \lambda \cdot \text{Strafe} ]

Oder :

(d) ist der Abstand zwischen Gittern
Die Strafe begrenzt die Größe der Programme

Dieser Modus entspricht der Feinabstimmung.

Einstellungen und Auswahl

Es kann ein Vergleichsmechanismus eingeführt werden:

Zwei Programme erzeugen zwei Sequenzen
eine Präferenz wird angewendet
Die Auswahl bevorzugt die Besten

Dieses Diagramm stellt eine Vereinfachung von RLHF / DPO dar:

[ max \log P(\text{bevorzugt}) - \log P(\text{abgelehnt}) ]

Generation und Streaming

Die Ergebnisse werden im NDJSON-Format erzeugt und über SSE verbreitet:

Jeder Abschnitt = ein Frame
Jeder Strom entspricht einer Generation

Canvas-basierte Visualisierungsschnittstelle:

Matrix-Rendering
Echtzeitanzeige
Metriken (Fitness, Generation, Seed)

Präsentationsfolien: Slidewire-Präsentation

Benchmark und Reproduzierbarkeit

Das System beinhaltet eine Benchmark-Pipeline:

deterministischer Samen
doppelte Hinrichtung
Sequenz-Hash

Kennzahlen:

Dauer (duration_ms)
Speicher (peak_memory_mb)
Endgültige Fitness
Reproduzierbarkeit

Grenzen

Dieser Prototyp ist nicht dazu gedacht, ein echtes LLM nachzubilden:

ohne Transformator
keine Tokenisierung
kein probabilistisches Modell
kein Farbverlauf

Dies ist eine rechnerische Analogie, die nützlich ist für:

eine Optimierungsdynamik beobachten
eine sequentielle Generation visualisieren
verschiedene Lernmethoden vergleichen

Abschluss

Moderne LLMs basieren auf Mechanismen, die sich nur schwer direkt erfassen lassen.

Die Übertragung dieses Konzepts in ein visuelles System ermöglicht uns Folgendes:

Generation beobachtbar machen
um die Optimierung zu realisieren
die grundlegenden Konzepte isolieren

Dieser Ansatz ersetzt keine bestehenden Modelle, sondern bietet ein Instrument zur konzeptionellen Erkundung.

Quelle des Twitter-Beitrags: https://x.com/allen_explains/status/2044757995549319172?s=12
Der Quellcode des Projekts: https://github.com/matyo91/llm-game-of-life
Die Präsentationsfolien: https://github.com/matyo91/slidewire

Ressourcen

Welche Prinzipien können wir anwenden, um LLM-basierte Software zu entwickeln, die tatsächlich gut genug ist, um sie produktiv einzusetzen? https://github.com/humanlayer/12-factor-agents

AIE Miami Keynote & Talks mit OpenCode, Google DeepMind, OpenAI und mehr! : https://www.youtube.com/watch?v=6IxSbMhT7v4
AIE Miami Tag 2 mit Cerebras, OpenCode, Cursor, Arize AI und mehr! : https://www.youtube.com/watch?v=DeM_u2Ik0sk
Wie KI die Softwareentwicklung verändert: Ein Gespräch mit Gergely Orosz, @pragmaticengineer: https://www.youtube.com/watch?v=CS5Cmz5FssI
Microsoft auf der ICLR 2026: Deep Learning, LLM Reasoning, Generative Modelle: https://www.linkedin.com/pulse/microsoft-iclr-2026-deep-learning-llm-reasoning-generative-h74se/
ASUS DGX Spark: KI auf dem Schreibtisch – Nie wieder Token‑Kosten! | Live-Modellvergleich: https://www.youtube.com/watch?v=dP4zE-DTWAg
🟣 [VIRTUELLES GIPFELTAG 1/5] Wie Sie mithilfe von KI 99 % der Menschen übertreffen: https://www.youtube.com/watch?v=yzhg9Ks859I Bereit, Ihre eigene Agentur zu gründen? : https://hermes-agent.org/fr/
PaperClip + Agent Hermès, das ist der Wahnsinn! : https://www.youtube.com/watch?v=PUaZ5o8u0wY
30-minütiger Workshop mit dem Schöpfer von Claude Code, in dem Sie mehr über Vibe-Coding lernen: https://x.com/heyamit_/status/2046489651775713498?s=46 Was junge Menschen von der Personalabteilung erwarten: Warum der Generationenansatz ein irreführendes Konzept ist: https://www.insign.fr/en/insights/young-workforce-expectations-generational-approach-an-intellectual-scam