2026년 6월 23일, Krea는 읽는 데 58분이 걸리는 기술 보고서를 발표하는 동시에 Krea 2의 가중치를 Hugging Face에 올렸다.
예고도 없었고, 카운트다운도 없었다. 12B 파라미터의 MMDiT 모델, Artificial Analysis 텍스트-이미지 생성 랭킹 Top 10, 독립 랩 모델 중 2위, Nano Banana와 동률 — 그리고 결정적으로, 로컬에서 돌릴 수 있다. r/StableDiffusion에서는 누군가 “미쳤다”는 말로 커뮤니티 반응을 표현했다.
이것은 랭킹을 한 번 찍고 논문의 바다로 사라지는 또 하나의 연구 프로젝트가 아니다. Krea 2는 두 가지 버전을 공개했다. RAW(비증류, 파인튜닝 및 LoRA 훈련용)와 Turbo(가이드 증류 + 타임스텝 증류, 8스텝으로 이미지 생성). ComfyUI, Ostiris, musubi tuner, fal, Hugging Face Diffusers가 발표 당일부터 지원을 제공했다. CTO Diego Rodriguez는 HN에 이렇게 적었다. “우리는 mid-training과 post-training 단계에서 각각 체크포인트를 공개했는데, 이는 이미지/멀티모달 커뮤니티에서 매우 드문 일입니다.”
필자는 이 기술 보고서와 HN의 35개 댓글을 읽은 후, 엔지니어링 관찰자의 시각에서 Krea 2가 아키텍처, 훈련 전략, 배포 비용 측면에서 어떤 선택을 했는지, 그리고 이 선택들이 오픈소스 이미지 생성 생태계에 무엇을 의미하는지 정리해 보고자 한다.
아키텍처: LLM의 어깨 위에서 블록 쌓기
Krea 2의 아키텍처 결정에는 명확한 실마리가 있다. LLM 커뮤니티에서 검증된 컴포넌트라면, 우선 채택한다.
기본 골격은 싱글 스트림 MMDiT(Multi-Modal Diffusion Transformer)로, 텍스트 토큰과 이미지 토큰이 동일한 attention 및 MLP 가중치를 공유한다. 팀은 듀얼 스트림(텍스트와 이미지가 각각 독립된 가중치)과 하이브리드 스트림(앞 1/3은 듀얼, 뒤 2/3는 싱글)도 실험했으며, 하이브리드 스트림이 약간 우세했지만 간결성을 이유로 싱글 스트림을 선택했다 — 이는 LLM 커뮤니티의 “단순하게 할 수 있으면 복잡하게 하지 않는다”는 취향과 일치한다.
몇 가지 핵심 컴포넌트의 어블레이션(ablation) 결과가 주목할 만하다.
어텐션 메커니즘: 멀티헤드 어텐션에서 그룹 쿼리 어텐션(GQA)으로 교체하고, 그 위에 시그모이드 게이트 어텐션을 한 층 더했다. GQA는 계산 오버헤드를 낮췄고, 게이트 어텐션은 유의미한 성능 향상을 가져오지는 않았지만 훈련 과정의 loss와 그래디언트 놈 곡선을 더 부드럽게 만들었다 — 이는 천 장 규모의 분산 훈련에서 더 적은 크래시와 더 적은 새벽 on-call 신호를 의미한다.
MLP: GeLU를 SwiGLU로 교체, 4x 확장비. 이는 LLM에서는 이미 사실상의 표준이며, Krea 2의 어블레이션은 이것이 디퓨전 Transformer에서도 동일하게 유효함을 검증했다.
타임스텝 변조: 아마도 가장 실용적인 결정일 것이다. 표준 MMDiT는 각 Transformer 블록마다 MLP 하나를 두어 scale/shift/gate 팩터를 생성하는데, 이 MLP들이 전체 파라미터 수의 20%–30%를 차지할 수 있다. Krea 2의 접근법은 per-block MLP를 per-block 학습 가능 바이어스 항으로 직접 대체하는 것이다 — 절약된 파라미터를 attention과 MLP 레이어 자체에 할당한다. 필자는 이 트레이드오프가 엔지니어링 판단력을 잘 보여준다고 생각한다. 하나의 스칼라 조건(타임스텝 t)을 위해 전체 파라미터의 20%+를 투자하는 것은 분명히 사치스럽다.
텍스트 인코더: T5-XXL을 베이스라인으로 시작해 최종적으로 Qwen3-VL을 선택했다. 핵심 혁신은 VLM의 마지막 레이어 특징만 사용하지 않는다는 점이다 — 얕은 attention 레이어를 도입하여 여러 레이어의 은닉 특징을 교차 집계함으로써, 모델이 거친 입도에서 미세 입도까지 텍스트 표현을 동적으로 선택할 수 있게 했다. 팀은 자기회귀 LLM의 마지막 레이어 특징이 next-token prediction에 최적화되어 있어 이미지 생성에 직접 사용하기에 적합하지 않다고 지적한다 — 이 인사이트 자체는 새롭지 않지만(Unifusion 등 논문에서 이미 논의됨), 프로덕션 모델에 구현하는 것은 또 다른 차원의 일이다.
기타 컴포넌트: 위치 인코딩은 3D Axial RoPE, 정규화는 제로 센터 RMSNorm + QKNorm, 오토인코더는 먼저 Qwen Image VAE로 초기 모델 스케일링을 수행한 후 FLUX 2 VAE로 마이그레이션했다.
필자의 전체적인 소감은 이렇다. Krea 2의 아키텍처는 급진적인 새 설계를 도입하지 않았다. 그 전략은 LLM 커뮤니티에서 이미 검증된 개선점들을 선별하여, 하나씩 디퓨전 Transformer 위에서 어블레이션하고, 효과적인 것은 남기고 잉여적인 것은 제거하는 것이다. 이런 “후발 주자의 이점”식 아키텍처 선택 덕분에, 팀은 더 많은 에너지를 훈련 파이프라인 자체에 쏟을 수 있었다.
훈련: LLM의 플레이북을 디퓨전 모델로 이식
아키텍처 차원의 선택이 보수적이었다면, 훈련 파이프라인은 더 큰 야망을 드러낸다.
데이터 전략: Krea 2의 사전 훈련 데이터셋 규모는 수십억 건에 달하며, AI 생성 이미지를 명시적으로 전혀 사용하지 않는다. 팀은 소량의 합성 이미지라도 모델의 출력 분포에 편향을 도입한다고 본다 — 합성 이미지는 학습되기 더 쉬워서, 이는 사실상 모델 품질에 암묵적인 상한선을 설정하는 셈이다. 데이터 필터링 또한 상당히 절제되어 있다. 중복 샘플, VLM이 정확히 기술할 수 없는 샘플, 바람직하지 않은 편향/아티팩트를 유도할 샘플, 그리고 낮은 해상도에서 신뢰성 있게 모델링하기 어려운 고복잡도 이미지만을 걸러냈다. 이는 “품질 점수가 높을수록 좋다”는 주류 접근법과 대비된다 — 흐릿한 이미지라도 의도적인 예술적 선택이라면 필터링되지 말아야 한다는 것이다.
다단계 파이프라인: 사전 훈련(256px→512px→1024px 점진적 해상도) → 중간 훈련(Midtraining, 일반 분포와 고품질 SFT 분포 간 브릿지) → 감독 파인튜닝(SFT, 소규모 수작업 선별 고감성 이미지) → 선호도 최적화(PO, 팀 자체 개발 STPO, DPO 위에 보조 손실을 도입하여 정책 발산 억제) → 강화학습(RL, GRPO 방식 다중 보상 모델) → 타임스텝 증류(TDM, Trajectory Distribution Matching).
이 파이프라인 구조는 거의 LLM 훈련 패러다임을 그대로 이식한 것이다. 중간 훈련 단계가 특히 주목할 만하다 — 보통 LLM에서 SFT 전에 모델 분포를 예열하는 데 사용되며, Krea 2는 이를 디퓨전 모델에 도입하여 고품질 생성, 텍스트 렌더링 등 다운스트림 능력을 장착했다. CTO가 HN에서 “우리는 mid-training 단계에서 체크포인트를 공개했다”고 말한 것은 이미지 모델 커뮤니티에서는 확실히 드문 일로, LLM 커뮤니티의 공개 관행에 더 가깝다.
RL 단계의 세부 사항: Krea 2는 네 가지 보상 모델을 사용했다 — 일반 미감 모델, 프롬프트 준수 보상, 텍스트 렌더링 보상, 구조적 아티팩트 탐지 보상. 팀은 미감과 프롬프트 준수만 최적화하면 “보상 해킹”이 발생함을 관찰했다. 모델이 얼핏 타당해 보이지만 구조적 결함(잉여 손가락, 기형 사지, 왜곡된 텍스트)을 포함한 이미지를 생성하는 것이다. 따라서 적대 신호로서 아티팩트 탐지 모델을 별도로 훈련했다. 또한, 프롬프트 풀의 선별은 자원 할당 문제로 모델링되었다 — 훈련 연산은 모델이 “아직 배울 것이 있는” 샘플에 더 많이 할당되어야 하며, 이미 포화되었거나 노이즈가 너무 큰 샘플에는 덜 할당되어야 한다.
옵티마이저 선택: 주력은 AdamW. 팀은 Muon도 탐색했으며, 초기 스텝에서 더 빠르게 수렴하지만 긴 훈련 주기에서는 AdamW에 미치지 못함을 발견했다. Nesterov 모멘텀을 추가하고 첫/마지막 선형 레이어를 제외한 후에는 Muon이 AdamW를 역전했으나, 시간 제약으로 최종 사전 훈련에는 사용되지 못했다. 8-bit 훈련은 256px 및 512px 단계에서 15–20% 속도 향상을 가져왔으며, 1024px부터 bf16으로 전환했다.
추론과 배포: 12B의 “배포 가능한” 경계
Krea 2 Turbo는 8스텝 샘플링만으로 이미지를 생성할 수 있어, 미묘한 위치에 서게 된다. HN의 GenAI Showdown 테스트에서, 로컬 호스팅 가능 모델 중 Krea 2가 가장 높은 점수를 기록했으며, 수 분이 소요되는 Ideogram 4 다음이었다. 속도 차이는 초 단위 vs 분 단위다.
12B 파라미터 수는 단일 24GB VRAM 소비자용 GPU(RTX 4090 등)에서 실행 가능하며, 48GB(A6000)라면 더욱 여유롭다. 오토인코더와 텍스트 인코더의 추가 오버헤드를 고려하면 실제 추론 점유 용량은 더 늘어날 수 있지만, 여전히 수용 가능한 범위 내에 있다. Day-0부터의 ComfyUI 지원과 LoRA 훈련 툴체인은 커뮤니티가 즉시 커스터마이징을 시작할 수 있음을 의미한다 — RAW 체크포인트에 LoRA를 훈련하고, Turbo에 연결하여 추론하는 것이 팀이 권장하는 워크플로우다.
주목할 것은, Krea 팀이 일반적인 가이드 증류에 그치지 않고 가이드 증류와 타임스텝 증류(TDM을 통해)를 동시에 적용하여, 다중 스텝 샘플링의 유연성을 유지하면서 추론 스텝을 8스텝으로 압축했다는 점이다. 보고서에는 DMD, DMD2, Decoupled DMD, piFlow, APT 등 다양한 증류 방법을 검토했다고 언급되어 있으며, 최종적으로 TDM을 선택한 이유는 간단하다. 하이퍼파라미터가 적고, 튜닝이 친화적이며, 유연한 다중 스텝 증류를 지원하기 때문이다.
생태계 내 위치: 오픈소스 이미지 생성의 2026년 판도
Krea 2를 2026년 중반의 오픈소스 이미지 생성 생태계 속에 놓으면, 그 위치가 더 선명해진다.
Flux.1 시리즈(Black Forest Labs)는 여전히 오픈소스 커뮤니티의 헤비급 플레이어로, 12B 파라미터, 특히 사실적인 사진 스타일에 강점을 가진다. Stable Diffusion 3.5 Large(8B)와 SD3 Medium은 중저가 하드웨어에서 배포 친화적이다. Ideogram 4는 이미지 품질 벤치마크에서 약간 더 높을 수 있지만, 추론 속도가 훨씬 느리다. Qwen-Image와 ZiT도 빠르게 이터레이션 중이다.
Krea 2의 차별점은 절대적 품질에 있지 않다 — Artificial Analysis의 데이터는 그것이 1티어에 속하지만 정상은 아님을 보여준다 — 오히려 “심미적 다양성”의 포지셔닝에 있다. 팀은 목표를 “단일하게 다듬어진 기본 미학”이 아닌 “창의적 탐색을 위한 기초 모델”로 명시적으로 설정했다. Prompt expander와 Style Reference 시스템은 이러한 포지셔닝의 구체적 표현이다. 전자는 짧은 사용자 프롬프트를 모델 친화적인 풍부한 설명으로 매핑하며(오픈소스 LLM 기반 SFT+RL 2단계 훈련), 후자는 사용자가 참조 이미지로 스타일을 주입할 수 있게 한다 — 다중 스타일 가중 혼합 및 연속 강도 제어를 지원한다.
HN의 한 댓글은 이렇게 잘 말했다. “나는 ‘매니폴드의 너비를 유지하려는’ 사고방식을 높이 평가한다 — 모델을 열두 가지 스타일 프리셋으로 ‘조련’하는 것이 아니라, 여러 스타일을 커버하려는 시도.” 동시에 Nano Banana 2, Images 2.0 등 에이전틱 조합형 모델 앞에서 순수 T2I 모델은 “지난 전쟁을 치르고 있을” 수 있다는 회의적인 목소리도 있다. Krea CTO의 답변은 이렇다. 에이전틱 워크플로우는 Krea 2와 호환되며, 편집 모델도 곧 출시된다. 그리고 오픈소스의 커스터마이징 가능성(브랜드 LoRA 등)은 클로즈드 API로는 대체할 수 없는 것이다.
마지막 관찰
Krea 2의 기술 보고서는 드물게 솔직한 엔지니어링 문서다. 개별 기술의 돌파를 과장하지 않고, 일련의 실용적인 기술적 선택들이 12B 파라미터 규모에서 어떻게 작동하는지를 보여준다. 아키텍처 어블레이션에서 분산 훈련 인프라(Kubernetes + Kueue + 맞춤형 Virtual Kubelet으로 추론 탄력적 오토스케일링), 8-bit 훈련에서 InfiniBand 링크 장애 진단 경험까지 — 이런 디테일이 이 보고서의 진정한 가치를 구성한다.
필자가 보기에, Krea 2의 가장 중요한 신호는 “오픈소스가 또다시 클로즈드를 따라잡았다”가 아니다 — 이 내러티브는 이미 너무 많이 반복되었다. 진정으로 주목할 만한 것은, 하나의 독립 랩이 데이터 인프라와 분산 훈련 프레임워크를 처음부터 구축하여, 12B 파라미터로 가장前沿의 클로즈드 모델 품질에 근접한 수준에 도달했다는 점이다. 이는 이미지 생성 분야의 경쟁 장벽이 많은 사람들이 생각하는 것보다 훨씬 얇을 수 있음을 의미한다.
물론, 이상은 필자가 공개 정보를 바탕으로 한 개인적 견해에 불과하다. 기술적 세부 사항은 Krea 공식 보고서와 모델 공개 페이지를 기준으로 한다.
저자 선언: 본문은 공개된 기술 보고서, 커뮤니티 토론 및 벤치마크 데이터의 분석에 기반하며, Krea 팀으로부터 보수나 지시를 받지 않았습니다. 모든 기술적 판단은 개인적 견해이며, 사실에 기반한 토론과 수정을 환영합니다.