2026年6月23日、Kreaは読了に58分を要する技術レポートを公開し、同時にKrea 2のウェイトをHugging Faceにアップロードした。
予告もカウントダウンもなかった。12BパラメータのMMDiTモデルで、Artificial Analysisのtext-to-imageランキングトップ10に入り、独立系ラボのモデルでは2位、Nano Bananaと同点——そして重要なのは、ローカルで実行可能であることだ。r/StableDiffusionでは、コミュニティの反応を「狂っている」と表現する者もいた。
これはまた一つのランキング上位に入って論文の海に消える研究プロジェクトではない。Krea 2は二つのバリアントを公開した:RAW(未蒸留、ファインチューニングとLoRA訓練用)とTurbo(ガイダンス蒸留+タイムステップ蒸留、8ステップで画像生成)。ComfyUI、Ostiris、musubi tuner、fal、Hugging Face Diffusersが公開当日にサポートを提供した。CTO Diego RodriguezはHNにこう書いた:「我々はmid-trainingとpost-trainingの段階でそれぞれチェックポイントを公開した。これは画像/マルチモーダルコミュニティでは稀なことだ。」
筆者はこの技術レポートとHNの35件の議論を読み終えた後、エンジニアリングオブザーバーの視点から、Krea 2がアーキテクチャ、訓練戦略、デプロイコストにおいてどのような選択をしたか、そしてこれらの選択がオープンソース画像生成エコシステムに何を意味するかを整理したい。
アーキテクチャ:LLMの肩の上に積み木を積む
Krea 2のアーキテクチャ決定には明確な手がかりがある:LLMコミュニティで検証済みのコンポーネントは、優先的に採用する。
基本骨格はシングルストリームMMDiT(Multi-Modal Diffusion Transformer)で、テキストトークンと画像トークンが同じattentionとMLPの重みを共有する。チームはデュアルストリーム(テキストと画像がそれぞれ独立した重み)やハイブリッドストリーム(前半1/3がデュアルストリーム、後半2/3がシングルストリーム)も試した。ハイブリッドストリームにわずかな優位があったが、シンプルさを理由にシングルストリームを選択した——これはLLMコミュニティの「シンプルにできるなら複雑にするな」というテイストと一致する。
いくつかの重要コンポーネントのアブレーション結果は注目に値する:
アテンション機構:マルチヘッドアテンションからグループ化クエリアテンション(GQA)に変更し、さらにsigmoid-gated attentionを1層追加。GQAは計算オーバーヘッドを削減し、gated attentionは顕著な性能向上をもたらさなかったが、訓練過程におけるlossと勾配ノルムの曲線をより滑らかにした——これは千カード級の分散訓練において、より少ないクラッシュとより少ない深夜のオンコールシグナルを意味する。
MLP:GeLUをSwiGLUに置き換え、4x拡張比。これはLLMではすでにデファクトスタンダードであり、Krea 2のアブレーションは拡散Transformerにおいても同様に有効であることを検証した。
タイムステップ変調:これはおそらく最も実務的な決定だ。標準MMDiTは各Transformerブロックに、scale/shift/gate因子を生成するMLPを装備し、これらのMLPは総パラメータ量の20%〜30%を占めうる。Krea 2のアプローチは、per-block MLPを直接per-block学習可能バイアス項に置き換えること——節約されたパラメータをattentionとMLP層自体に残す。筆者はこのトレードオフがエンジニアリング判断力を非常によく表していると感じる:スカラー条件(タイムステップt)のために20%以上のパラメータ量を投入するのは、確かに贅沢に見える。
テキストエンコーダ:T5-XXLをベースラインとして出発し、最終的にQwen3-VLを選択。重要な革新はVLMの最終層の特徴だけを使わないこと——浅いattention層を導入し、層をまたいで隠れ特徴を集約し、モデルが粗粒度から細粒度までのテキスト表現を動的に選択できるようにした。チームは、自己回帰LLMの最終層の特徴はnext-token predictionに最適化されており、画像生成に直接使用するには適さないと指摘する——この洞察は新しいものではないが(Unifusionなどの論文ですでに議論されている)、生産モデルに着地させるのは別の話だ。
その他のコンポーネント:位置エンコーディングは3D Axial RoPE、正規化はゼロ中心RMSNorm + QKNorm、オートエンコーダはまずQwen Image VAEで早期モデルスケーリングを行い、後にFLUX 2 VAEに移行。
筆者の全体的な印象は:Krea 2のアーキテクチャは急進的な新設計を導入していない。その戦略は、LLMコミュニティですでに検証された改良を選別し、一つずつ拡散Transformer上でアブレーションを行い、有効なものを保持し、冗長なものを削除することだ。この「後発優位」的なアーキテクチャ選択により、チームはより多くのエネルギーを訓練パイプライン自体に投入できた。
訓練:LLMのプレイブックを拡散モデルに持ち込む
アーキテクチャレベルの選択がやや保守的だとしたら、訓練パイプラインはより大きな野心を示している。
データ戦略:Krea 2の事前訓練データセット規模は数十億レベルに達し、かつAI生成画像を一切使用しないことを明確にしている。チームは、少量の合成画像でさえモデルの出力分布にバイアスを導入すると考える——合成画像は学習されやすく、これは実質的にモデルの品質に暗黙の上限を設定する。データフィルタリングもかなり抑制的だ:重複サンプル、VLMが正確に記述できないサンプル、好ましくないバイアス/アーティファクトを誘導するサンプル、低解像度では確実にモデル化が難しい高複雑度画像のみをフィルタリングする。これは「品質スコアが高いほど良い」という主流のアプローチと対照的だ——ぼやけた画像が意図的な芸術的選択であれば、フィルタリングすべきではない。
多段階パイプライン:事前訓練(256px→512px→1024px 漸進的解像度)→ 中訓練(Midtraining、汎用分布と高品質SFT分布を橋渡し)→ 教師ありファインチューニング(SFT、小規模手作業選別の高美感的画像)→ 選好最適化(PO、チーム独自開発のSTPO、DPOベースに補助損失を導入して方策発散を抑制)→ 強化学習(RL、GRPO式マルチ報酬モデル)→ タイムステップ蒸留(TDM、Trajectory Distribution Matching)。
このパイプライン構造はほぼLLM訓練パラダイムの直接移植である。中訓練段階は特に注目に値する——通常LLMではSFT前にモデル分布をウォームアップするために使われるが、Krea 2はこれを拡散モデルに導入し、高忠実度生成やテキストレンダリングなどの下流能力を装備するために使用した。CTOがHNで「我々はmid-training段階でチェックポイントを公開した」と述べたのは、画像モデルコミュニティでは確かに珍しく、むしろLLMコミュニティの公開習慣のようだ。
RL段階の詳細:Krea 2は4つの報酬モデルを使用——汎用美感的モデル、プロンプト追従報酬、テキストレンダリング報酬、構造アーティファクト検出報酬。チームは、美感性とプロンプト追従のみを最適化すると「報酬ハッキング」を引き起こすことを観察した:モデルは一見合理的だが構造的欠陥(余分な指、奇形の手足、歪んだ文字)を含む画像を生成する。そのため、敵対的信号としてアーティファクト検出モデルを特別に訓練した。さらに、プロンプトプールの選別はリソース割り当て問題としてモデル化された——訓練計算は、モデルがまだ「学べることがある」サンプルにより多く割り当てるべきであり、すでに飽和しているかノイズが大きすぎるサンプルではない。
オプティマイザ選択:主力はAdamW。チームはMuonも探索し、初期ステップでの収束が速いことを発見したが、より長い訓練サイクルではAdamWに劣った。Nesterovモメンタムを追加し、最初と最後の線形層を除外した後、MuonがAdamWを上回ったが、時間的制約により最終事前訓練では使用できなかった。8-bit訓練は256pxと512px段階で15〜20%の速度向上をもたらし、1024pxからbf16に切り替えた。
推論とデプロイ:12Bの「デプロイ可能」境界
Krea 2 Turboは8ステップのサンプリングで画像生成が可能であり、これによって微妙な位置に立っている。HNのGenAI Showdownテストでは、ローカルホスティング可能なモデルの中でKrea 2が最高得点を獲得し、数分を要するIdeogram 4に次ぐ。速度差は秒級 vs 分級だ。
12Bパラメータ数は、24GB VRAMのコンシューマ級GPU(RTX 4090など)で実行可能であり、48GB(A6000)ならより余裕がある。オートエンコーダとテキストエンコーダの追加オーバーヘッドを考慮すると、実際の推論占有量はさらに上昇する可能性があるが、依然として許容範囲内だ。Day-0のComfyUIサポートとLoRA訓練ツールチェーンは、コミュニティが即座にカスタマイズを開始できることを意味する——RAWチェックポイントでLoRAを訓練し、それをTurboに掛けて推論する、これがチーム推奨のワークフローだ。
注目すべきは、Kreaチームが通常のガイダンス蒸留にとどまらず、ガイダンス蒸留とタイムステップ蒸留(TDM経由)を同時に適用し、多ステップサンプリングの柔軟性を保ちながら推論ステップを8ステップに圧縮したことだ。レポートではDMD、DMD2、Decoupled DMD、piFlow、APTなど複数の蒸留手法を検討したと述べており、最終的にTDMを選んだ理由はシンプルだ:ハイパーパラメータが少なく、チューニングが容易で、柔軟な多ステップ蒸留をサポートする。
エコシステム内の位置:オープンソース画像生成の2026年版図
Krea 2を2026年年央のオープンソース画像生成エコシステムの中に置くと、その位置はより明確になる。
Flux.1シリーズ(Black Forest Labs)は依然としてオープンソースコミュニティの重量級プレイヤーで、12Bパラメータ、特に写実的写真スタイルで強みを持つ。Stable Diffusion 3.5 Large(8B)とSD3 Mediumは中低スペックハードウェアでのデプロイに優しい。Ideogram 4は画像品質ベンチマークでやや高い可能性があるが、推論速度ははるかに遅い。Qwen-ImageとZiTも急速にイテレーションを重ねている。
Krea 2の差別化ポイントは絶対品質ではない——Artificial Analysisのデータは、第一梯隊にいるがトップではないことを示している——むしろ「審美的多様性」のポジショニングにある。チームは明確に目標を「クリエイティブ探索の基盤モデル」と設定しており、「単一の磨き上げられたデフォルト美学」ではない。Prompt expanderとStyle Referenceシステムはこのポジショニングの具体的体現だ:前者は短いユーザープロンプトをモデルフレンドリーな豊かな記述にマッピングし(オープンソースLLMベースのSFT+RL二段階訓練による)、後者はユーザーが参照画像でスタイルを注入することを可能にする——多スタイル重み付けブレンドと連続強度制御をサポートする。
HNのあるコメントがうまく言っている:「『多様体の幅を保つ』思考を評価する——モデルを十数個のスタイルプリセットに『調教』するのではなく、複数のスタイルをカバーしようとする試みだ。」同時に、Nano Banana 2やImages 2.0などのエージェント的組み合わせモデルの前では、純粋なT2Iモデルは「前の戦争を戦っている」可能性があるという疑問の声もある。Krea CTOの応答は:エージェント的ワークフローはKrea 2と互換性があり、編集モデルも進行中。そしてオープンソースのカスタマイズ可能性(ブランドLoRAなど)はクローズドAPIでは代替できない。
最後の観察
Krea 2の技術レポートは稀有なほど率直なエンジニアリングドキュメントだ。単一技術のブレイクスルーを過度に宣伝するのではなく、一連の実務的な技術選択が12Bパラメータ規模でどのように機能するかを示している。アーキテクチャアブレーションから分散訓練インフラ(Kubernetes + Kueue + カスタムVirtual Kubeletによる推論弾性スケーリング)、8-bit訓練からInfiniBandリンク障害の診断経験まで——これらの詳細がこのレポートの真の価値を構成している。
筆者は、Krea 2の最も重要なシグナルは「オープンソースがまたクローズドに追いついた」ではないと考える——このナラティブはすでに何度も繰り返されてきた。本当に注目すべきは:一つの独立系ラボが、ゼロからデータインフラと分散訓練フレームワークを構築し、12Bパラメータで最先端クローズドモデルに迫る品質水準に到達したことだ。これは画像生成分野の競争障壁が多くの人の想像よりも薄い可能性を示唆している。
もちろん、以上は筆者の公開情報に基づく一家言に過ぎない。技術詳細はKrea公式レポートとモデル公開ページを基準とする。
筆者声明:本稿は公開技術レポート、コミュニティ議論、ベンチマークデータの分析に基づいており、Kreaチームからの報酬や指示は受けていません。すべての技術的判断は個人の見解であり、事実に基づく議論と訂正を歓迎します。