Krea 2 Open-Source: 12B Parameter nähern sich Closed-Source SOTA

Krea 2 Open-Source: 12B Parameter nähern sich Closed-Source SOTA

KIBildgenerierungKreaOpen SourceText-zu-Bild

Quellen:HN + Krea Blog · HN

Am 23. Juni 2026 veröffentlichte Krea einen technischen Bericht mit einer Lesedauer von 58 Minuten und lud gleichzeitig die Gewichte von Krea 2 auf Hugging Face hoch.

Kein Warm-up, kein Countdown. Ein MMDiT-Modell mit 12B Parametern, Top 10 im Artificial-Analysis-Text-zu-Bild-Ranking, Platz zwei unter den unabhängigen Labormodellen, gleichauf mit Nano Banana – und das Entscheidende: Es läuft lokal. Auf r/StableDiffusion beschrieben Nutzer die Community-Reaktion mit «verrückt».

Dies ist kein weiteres Forschungsprojekt, das nach einem Benchmark-Sieg in der Papierflut verschwindet. Krea 2 veröffentlichte zwei Varianten: RAW (un destilliert, für Fine-Tuning und LoRA-Training) und Turbo (Guidance Distillation + Timestep Distillation, 8 Schritte zur Bildgenerierung). ComfyUI, Ostiris, Musubi Tuner, fal und Hugging Face Diffusers boten noch am Tag der Veröffentlichung Support an. CTO Diego Rodriguez schrieb auf HN: «Wir haben je einen Checkpoint aus der Midtraining- und Post-Training-Phase veröffentlicht – das ist in der Bild-/Multimodal-Community selten.”

Nach Lektüre des technischen Berichts und der 35 HN-Kommentare möchte der Autor aus der Perspektive eines technischen Beobachters darlegen, welche Entscheidungen Krea 2 in Architektur, Trainingsstrategie und Deployment-Kosten getroffen hat – und was diese Entscheidungen für das Open-Source-Ökosystem der Bildgenerierung bedeuten.

Architektur: Auf den Schultern der LLMs Bauklötze stapeln

Krea 2 folgt in seinen Architekturentscheidungen einem klaren roten Faden: Was in der LLM-Community bereits validiert wurde, wird bevorzugt übernommen.

Das Grundgerüst ist ein Single-Stream-MMDiT (Multi-Modal Diffusion Transformer), bei dem Text- und Bild-Token sich dieselben Attention- und MLP-Gewichte teilen. Das Team testete auch Dual-Stream (Text und Bild mit jeweils eigenen Gewichten) und Mixed-Stream (erstes Drittel Dual-Stream, restliche zwei Drittel Single-Stream). Mixed-Stream war leicht überlegen, aber aus Gründen der Einfachheit wurde Single-Stream gewählt – im Einklang mit dem LLM-Community-Geschmack «einfach, wenn es einfach geht».

Die Ablationsergebnisse mehrerer Schlüsselkomponenten sind bemerkenswert:

Aufmerksamkeitsmechanismus: Wechsel von Multi-Head Attention zu Grouped Query Attention (GQA), plus eine zusätzliche sigmoid-gated Attention. GQA reduzierte den Rechenaufwand; Gated Attention brachte keine signifikante Leistungssteigerung, glättete aber die Loss- und Gradient-Norm-Kurven während des Trainings – was bei verteiltem Training im Tausender-Karten-Maßstab weniger Abstürze und weniger nächtliche Oncall-Alarme bedeutet.

MLP: GeLU wurde durch SwiGLU ersetzt, mit 4x-Expansionsverhältnis. Dies ist bei LLMs bereits de-facto-Standard; Krea 2s Ablation bestätigte die Wirksamkeit auch für Diffusion Transformer.

Timestep-Modulation: Dies ist womöglich die pragmatischste Entscheidung. Das Standard-MMDiT stattet jeden Transformer-Block mit einem MLP zur Generierung von Scale/Shift/Gate-Faktoren aus; diese MLPs können 20–30 % der Gesamtparameter ausmachen. Krea 2 ersetzt die per-Block-MLPs durch per-Block lernbare Bias-Terme – die eingesparten Parameter gehen an die Attention- und MLP-Schichten selbst. Der Autor hält diesen Trade-off für ein gutes Beispiel von Engineering-Urteilsvermögen: 20 %+ der Parameter für eine skalare Bedingung (Timestep t) zu reservieren, erscheint in der Tat luxuriös.

Text-Encoder: Als Baseline begann man mit T5-XXL, die endgültige Wahl fiel auf Qwen3-VL. Die entscheidende Innovation: Nicht nur die letzte Schicht des VLM wird genutzt – eine flache Attention-Schicht aggregiert Hidden Features über mehrere Schichten hinweg, sodass das Modell dynamisch zwischen grobkörnigen und feinkörnigen Textrepräsentationen wählen kann. Das Team weist darauf hin, dass die letzte Schicht eines autoregressiven LLM für Next-Token-Prediction optimiert ist und sich nicht direkt für die Bildgenerierung eignet – diese Einsicht ist nicht neu (Unifusion u.a. haben dies bereits diskutiert), aber sie in ein Produktionsmodell umzusetzen, ist eine andere Sache.

Weitere Komponenten: Positionskodierung mit 3D Axial RoPE, Normalisierung mit zentriertem RMSNorm + QKNorm, Autoencoder zunächst auf Qwen Image VAE für frühe Modellskalierung, später Migration zu FLUX 2 VAE.

Der Gesamteindruck des Autors: Krea 2s Architektur führt keine radikal neuen Designs ein. Die Strategie besteht darin, bereits in der LLM-Community validierte Verbesserungen zu sichten, sie einzeln am Diffusion Transformer zu ablatieren, das Wirksame zu behalten und Redundantes wegzustreichen. Diese «Late-Mover-Advantage»-Architekturwahl erlaubte es dem Team, mehr Energie in die Trainings-Pipeline selbst zu investieren.

Training: Das LLM-Playbook auf Diffusionsmodelle übertragen

War die Architektur konservativ, so zeigt die Trainings-Pipeline größeren Ehrgeiz.

Datenstrategie: Der Pretraining-Datensatz von Krea 2 umfasst Milliarden von Bildern und verwendet ausdrücklich keine KI-generierten Bilder. Das Team ist überzeugt, dass selbst eine geringe Menge synthetischer Bilder einen Bias in die Output-Verteilung des Modells einführen würde – synthetische Bilder sind leichter zu lernen, was dem Modell faktisch eine versteckte Qualitätsobergrenze setzt. Auch die Datenfilterung ist zurückhaltend: Nur Dubletten, von VLM nicht akkurat beschreibbare Samples, Samples, die unerwünschte Biases/Artefakte induzieren, sowie hochkomplexe Bilder, die bei niedriger Auflösung nicht zuverlässig modelliert werden können, werden aussortiert. Dies steht im Kontrast zur gängigen «je höher der Quality-Score, desto besser»-Praxis – ein unscharfes Bild, das bewusste künstlerische Entscheidung ist, sollte nicht herausgefiltert werden.

Mehrstufige Pipeline: Pretraining (256px → 512px → 1024px progressive Auflösung) → Midtraining (Brücke zwischen generischer Verteilung und hochqualitativer SFT-Verteilung) → Supervised Fine-Tuning (SFT, kleiner handkuratierter Satz ästhetisch hochwertiger Bilder) → Preference Optimization (PO, team-eigenes STPO, das auf DPO aufbaut und eine Hilfs-Loss-Funktion zur Unterdrückung von Policy-Divergenz einführt) → Reinforcement Learning (RL, GRPO-artiges Multi-Reward-Modell) → Timestep Distillation (TDM, Trajectory Distribution Matching).

Diese Pipeline-Struktur ist eine fast direkte Übertragung des LLM-Trainingsparadigmas. Besonders bemerkenswert ist die Midtraining-Phase – bei LLMs wird sie genutzt, um die Modellverteilung vor SFT vorzuwärmen; Krea 2 führt sie in Diffusionsmodelle ein, um Downstream-Fähigkeiten wie hochgenaue Generierung und Text-Rendering auszustatten. Der CTO schrieb auf HN «wir haben einen Checkpoint aus der Midtraining-Phase veröffentlicht» – dies ist in der Bildmodell-Community tatsächlich selten und erinnert eher an die Veröffentlichungspraxis der LLM-Community.

Details der RL-Phase: Krea 2 verwendete vier Reward-Modelle – ein allgemeines Ästhetikmodell, ein Prompt-Following-Reward, ein Text-Rendering-Reward und ein Strukturartefakt-Erkennungsmodell. Das Team beobachtete, dass die alleinige Optimierung von Ästhetik und Prompt-Following zu «Reward Hacking» führt: Das Modell generiert Bilder, die auf den ersten Blick plausibel wirken, aber strukturelle Defekte enthalten (überzählige Finger, deformierte Gliedmaßen, verzerrter Text). Daher wurde ein spezielles Artefakt-Erkennungsmodell als adversarielles Signal trainiert. Darüber hinaus wurde die Auswahl des Prompt-Pools als Ressourcenallokationsproblem modelliert – Trainings-Rechenleistung sollte bevorzugt Samples zugewiesen werden, bei denen das Modell «noch etwas lernen kann», statt bereits gesättigten oder zu verrauschten Samples.

Optimizer-Wahl: Der Hauptoptimizer ist AdamW. Das Team erkundete auch Muon, das in den ersten Schritten schneller konvergierte, aber über längere Trainingsdauer hinter AdamW zurückfiel; mit Nesterov-Momentum und unter Ausschluss der ersten und letzten linearen Schicht übertraf Muon AdamW, konnte aber aus Zeitgründen nicht im finalen Pretraining eingesetzt werden. 8-Bit-Training brachte in den 256px- und 512px-Phasen 15–20 % Geschwindigkeitsgewinn; ab 1024px wurde auf bf16 zurückgewechselt.

Inferenz und Deployment: Die «Deploybarkeits»-Grenze bei 12B

Krea 2 Turbo generiert Bilder in nur 8 Sampling-Schritten, was es in eine delikate Position bringt. Der GenAI-Showdown-Test auf HN zeigte, dass Krea 2 unter den lokal hostbaren Modellen am besten abschneidet – nur übertroffen von Ideogram 4, das allerdings mehrere Minuten pro Bild benötigt. Der Geschwindigkeitsunterschied liegt bei Sekunden vs. Minuten.

12B Parameter bedeuten, dass eine Consumer-GPU mit 24 GB VRAM (wie die RTX 4090) das Modell ausführen kann; 48 GB (A6000) bieten noch mehr Spielraum. Unter Berücksichtigung des Overheads von Autoencoder und Text-Encoder kann der tatsächliche Inferenzverbrauch weiter steigen, bleibt aber im akzeptablen Bereich. Die Day-0-Unterstützung durch ComfyUI und die LoRA-Training-Toolchain bedeutet, dass die Community sofort mit der Anpassung beginnen kann – LoRA auf dem RAW-Checkpoint trainieren und dann auf Turbo inferieren, das ist der vom Team empfohlene Workflow.

Bemerkenswert ist, dass das Krea-Team nicht bei herkömmlicher Guidance Distillation Halt machte, sondern gleichzeitig Guidance Distillation und Timestep Distillation (via TDM) anwandte, um die Inferenzschritte bei gleichzeitiger Wahrung der Flexibilität von Multi-Step-Sampling auf 8 zu komprimieren. Der Bericht erwähnt, dass das Team DMD, DMD2, Decoupled DMD, piFlow, APT und weitere Destillationsmethoden in Betracht zog; die Wahl von TDM hat einen schlichten Grund: wenige Hyperparameter, tuning-freundlich, unterstützt flexibles Multi-Step-Destillation.

Ökosystem-Position: Die Open-Source-Bildgenerierung 2026

Stellt man Krea 2 in die Landschaft der Open-Source-Bildgenerierung Mitte 2026, wird seine Position klarer.

Die Flux.1-Serie (Black Forest Labs) bleibt ein Schwergewicht der Open-Source-Community, 12B Parameter, besonders stark bei fotorealistischen Stilen. Stable Diffusion 3.5 Large (8B) und SD3 Medium sind deployment-freundlich auf mittlerer und niedriger Hardware. Ideogram 4 mag bei Bildqualitäts-Benchmarks leicht höher liegen, ist aber deutlich langsamer in der Inferenz. Qwen-Image und ZiT iterieren ebenfalls schnell.

Krea 2s Unterscheidungsmerkmal liegt nicht in absoluter Qualität – die Artificial-Analysis-Daten zeigen es im ersten Feld, aber nicht an der Spitze –, sondern in der Positionierung auf «ästhetische Diversität». Das Team definiert das Ziel ausdrücklich als «Basismodell für kreative Exploration», nicht als «eine einzige geschliffene Default-Ästhetik». Der Prompt Expander und das Style-Reference-System sind konkrete Ausprägungen dieser Positionierung: Ersterer übersetzt kurze User-Prompts in modellfreundliche, reichhaltige Beschreibungen (via zweistufiges SFT+RL-Training auf Basis eines Open-Source-LLM), letzteres erlaubt Style-Injection über Referenzbilder – inklusive gewichteter Multi-Style-Mischung und stufenloser Intensitätssteuerung.

Ein HN-Kommentar brachte es auf den Punkt: «Ich schätze den ‘Manifold-Weite’-Ansatz – der Versuch, das Modell mehrere Stile abdecken zu lassen, statt es auf ein Dutzend Style-Presets ‘zuzurichten’.» Gleichzeitig gab es skeptische Stimmen: Angesichts von agentischen Kombinationsmodellen wie Nano Banana 2 und Images 2.0 könnte ein reines T2I-Modell «den letzten Krieg schlagen». Kreas CTO entgegnete, dass agentische Workflows mit Krea 2 kompatibel seien, dass Edit-Modelle in Arbeit seien und dass die Open-Source-Anpassbarkeit (Marken-LoRAs etc.) von Closed-Source-APIs nicht ersetzt werden könne.

Abschließende Beobachtung

Krea 2s technischer Bericht ist ein selten ehrliches Engineering-Dokument. Er preist nicht übermäßig einen einzelnen technologischen Durchbruch an, sondern zeigt, wie eine Reihe pragmatischer technischer Entscheidungen bei einer Größe von 12B Parametern zusammenwirkt. Von Architektur-Ablationen über die verteilte Trainingsinfrastruktur (Kubernetes + Kueue + benutzerdefinierter Virtual Kubelet für elastische Inferenzskalierung) bis zu 8-Bit-Training und Diagnoseerfahrungen mit InfiniBand-Link-Ausfällen – diese Details machen den wahren Wert dieses Berichts aus.

Nach Ansicht des Autors ist das wichtigste Signal von Krea 2 nicht «Open Source holt wieder zu Closed Source auf» – dieses Narrativ wurde schon zu oft wiederholt. Was wirklich zählt: Ein unabhängiges Labor, das von Grund auf eine Dateninfrastruktur und ein verteiltes Trainings-Framework aufbaut, erreicht mit 12B Parametern ein Qualitätsniveau nahe den modernsten Closed-Source-Modellen. Das bedeutet, dass die Wettbewerbsbarrieren im Bereich Bildgenerierung möglicherweise dünner sind, als viele denken.

Natürlich ist all dies nur die persönliche Meinung des Autors auf Basis öffentlicher Informationen. Maßgeblich sind die technischen Details im offiziellen Krea-Bericht und auf der Modell-Release-Seite.


Erklärung des Autors: Dieser Artikel basiert auf der Analyse öffentlicher technischer Berichte, Community-Diskussionen und Benchmark-Daten. Der Autor wurde vom Krea-Team weder vergütet noch angewiesen. Alle technischen Beurteilungen sind persönliche Meinungen; faktengestützte Diskussion und Korrekturen sind willkommen.