2026년 7월 28일, 세바스티안 라슈카(Sebastian Raschka)가 《Kimi K3 Architecture Notes》라는 제목의 짧은 블로그 글을 게시했다. 방대한 기술 논문이 아니라 아키텍처 구조도에 설명을 덧붙인 메모에 불과했지만, 게시 직후 Hacker News(HN) 메인 페이지에 오르며 270개가 넘는 추천(upvote)을 받았다.
같은 날, 지난해 10월 Moonshot AI가 발표했던 논문 《Kimi Linear: An Expressive, Efficient Attention Architecture》 역시 HN 메인 페이지에 등장해 260개 이상의 추천을 기록했다. 동일한 연구소의 논문 두 편이 같은 날 서구 기술 커뮤니티의 헤드라인을 장식한 것은 결코 우연이 아니다.
그림: 세바스티안 라슈카가 블로그에서 분석한 Kimi K3 아키텍처 구조도. Attention Residuals부터 LatentMoE까지 각 구성 요소마다 독자적인 설계 철학이 담겨 있다. 출처: Sebastian Raschka
2025년 초 DeepSeek이 서구 사회에 중국 AI의 ‘존재감’을 각인시켰다면, 2026년 7월 28일 이 날은 Moonshot AI의 두 논문을 통해 서구가 중국 AI의 ‘독창적 아키텍처 역량’을 진지하게 바라보게 만든 날이다.
”그들은 단순 증출(Distillation)만 하는 것이 아니다”
오랫동안 서구 테크 미디어가 중국 AI를 묘사할 때 자주 쓴 단어는 ‘지식 증류(distillation)‘였다. 올해 2월 Anthropic은 DeepSeek, Moonshot AI, MiniMax가 2만 4천 개가 넘는 가상 계정과 1,600만 건의 대화를 활용해 Claude를 시스템적으로 증류했다고 공개 비판했다. 미국 재무부는 Moonshot에 대한 제재 가능성까지 언급했다. 서구의 주류 서사 속에서 중국 AI 연구소들은 자체 혁신 없이 모방에만 의존하는 존재로 재현되곤 했다.
하지만 이러한 서사가 무너지기 시작했다.
HN에서 가장 많은 추천을 받은 댓글 중 하나는 사용자 constantlm이 남긴 한 문장이었다.
“So, unlike what leaders of western labs would like you to believe (that Kimi is just the result of distillation attacks), they are introducing new and novel approaches.” (즉, 서구 연구소 지도부가 여러분에게 믿게 만들려는 내용[Kimi가 그저 증류 공격의 결과라는 것]과 달리, 그들은 새롭고 독창적인 접근 방식을 도입하고 있습니다.)
이 댓글은 수십 개의 추천을 받았다. 댓글창에는 기술적 논의가 이어졌다. NoPE 아키텍처의 의의를 토론하는 사람, DeepSeek V4의 Hyper-Connections와 Kimi의 Attention Residuals의 기술적 차이를 비교하는 사람, Kimi Delta Attention의 연산량(FLOPs) 절감 효과를 정밀하게 계산하는 사람 등 더 이상 ‘증류’라는 단어를 거론하는 사람은 없었다.
Kimi Delta Attention: 선형 어텐션이 풀 어텐션을 최초로 넘어서다
이번 사건의 무게감을 이해하려면 기술적 배경에 대한 이해가 필요하다. 선형 어텐션(linear attention)은 트랜스포머(Transformer)의 핵심 병목인 어텐션 메커니즘의 $O(n^2)$ 연산 복잡도를 해결하기 위해 오랫동안 연구되어 온 분야다. 즉, 텍스트가 길어질수록 연산량이 기하급수적으로 늘어나는 문제를 $O(n)$으로 낮추고자 했으나, 기존 선형 어텐션은 항상 ‘전체 어텐션(full attention)보다 성능이 떨어진다’는 한계를 안고 있었다.
Kimi Linear 논문의 핵심 기여는 공정한 비교 조건하에서 선형 어텐션이 단문, 장문, 심지어 강화학습(RL) 시나리오 등 모든 영역에서 전체 어텐션을 최초로 뛰어넘었다는 점이다.
그림: Kimi Delta Attention의 핵심 개념 — 채널별로 ‘기록 가중치’와 ‘망각 가중치’를 독립 제어하여 한정된 메모리 상태를 한층 효율적으로 활용한다. 출처: Zhouyao Xie
이 같은 돌파구를 가능하게 한 핵심 모듈이 **Kimi Delta Attention (KDA)**이다. Gated DeltaNet을 기반으로 한 차원 높은 정밀 게이팅 메커니즘(fine-grained gating)을 도입하여 한정된 메모리 상태를 한층 효율적으로 활용할 수 있게 했다. 기존 선형 어텐션이 메모리 기록 시 모든 채널을 동일하게 취급한 반면, KDA는 채널마다 ‘기록 가중치’와 ‘망각 가중치’를 독립적으로 제어한다. 유지할 정보, 갱신할 정보, 버릴 정보를 정교하게 조율하는 방식이다.
이러한 레이어 및 채널 단위의 정밀 제어를 통해 선형 어텐션은 전체 어텐션과 대등하거나 뛰어난 성능에 최초로 도달했다.
논문은 또한 하드웨어 가속을 위해 Diagonal-Plus-Low-Rank (DPLR) 행렬의 특화 변형을 활용하는 공학적 최적화를 제안했다. 모델 성능 저하 없이 KV 캐시 메모리를 최대 75% 감축하고, 1M 맥락 장문 디코딩 처리량을 6배 향상시켰다.
여기서 중요한 엔지니어링 판단이 존재한다: 지난 수년간 수많은 선형 어텐션 논문이 발표되었음에도 실제 생산 환경에 도입된 사례가 거의 없었던 이유는 ‘이론은 훌륭하지만 하드웨어 효율이 떨어진다’는 점 때문이었다. 수학적 $O(n)$은 깔끔하지만 actual GPU 상에서는 고도로 최적화된 cuDNN 전체 어텐션 커널의 속도를 따라잡지 못했다. KDA는 이를 극복하기 위해 하드웨어 친화적 칭크 단위(chunkwise) 알고리즘을 설계하여 학술 논문에 머물지 않고 실제 프로덕션 환경에 배포 가능한 아키텍처로 구현해 냈다.
Kimi K3: 2.8조 파라미터 뒤에 숨은 아키텍처 철학
Kimi Linear가 ‘엔진’에 관한 논문이라면, Kimi K3는 ‘완성차’의 실물 공개라 할 수 있다.
Kimi K3는 Moonshot AI가 7월 16일 발표한 2.8조 파라미터 규모의 MoE(Mixture-of-Experts) 모델이다. 896개 전문가 중 토큰당 16개를 활성화하며, 네이티브 시각 이해 및 1M 토큰 컨텍스트를 지원한다. 현재 글로벌에서 가중치가 공개된 오픈 소스 모델 중 최대 규모다.
세바스티안 라슈카가 분석 글을 쓰게 만든 결정적 계기는 K3가 아키텍처 차원에서 시도한 과감한 선택들이었다.
Attention Residuals(어텐션 잔차): K3 고유의 구성 요소다. 기존 잔차 연결(residual connection)이 입력과 출력을 단순히 더해 그래디언트 흐름을 돕는 방식이었다면, Attention Residuals는 어텐션 스코어를 통해 각 레이어가 최종 출력에 얼마나 ‘기여’해야 하는지를 측정한다. 단순 합산이 아닌 가중 집계 방식을 취한 것이다. 기술 보고서에 따르면 검증 손실과 다운스트림 태스크 성과가 일관되게 개선되었으며, 추가된 학습 비용은 약 4%, 추론 오버헤드는 2% 수준에 불과했다.
NoPE(위치 인코딩 완전 제거): 최첨단 플래그십 모델 중 전 레이어에서 위치 인코딩을 완전히 제거한 최초의 아키텍처다. 최근 트렌드는 국소 레이어에 RoPE, 글로벌 레이어에 NoPE를 혼용하는 방식이었으나, K3는 프로덕션급 모델 최초로 모든 레이어에서 위치 인코딩을 제거했다.
LatentMoE: Kimi만의 최초 창안은 아니지만(Nemotron 3 역시 유사 방식을 채택), K3는 2.8T 규모에서 LatentMoE의 실용성을 증명했다. 전문가 네트워크의 거대한 선형 레이어를 저차원 잠재 공간(latent space)으로 압축하여 계산함으로써 성능 손실 없이 파라미터 규모를 대폭 줄였다.
라슈카는 블로그에서 다음과 같이 요약했다. “K3의 전반적 흐름은 Nemotron 3나 DeepSeek V4와 마찬가지로 더 높은 추론 효율성을 향해 나아가고 있다. 핵심 아이디어는 각 구성 요소를 효율성 최적화 버전으로 교체하는 것이다.”
하나의 커뮤니티, 서로 다른 목소리
두 논문이 동시에 HN 메인 페이지에 오르며 형성된 입체적 토론 구도 역시 흥미롭다.
Kimi Linear 논문 토론(댓글 114개)은 학술적 토론에 집중되었다. 연구자들은 선형 어텐션이 전체 어텐션을 실제로 대체할 수 있는지, Bitter Lesson 이론과 scaling law의 적용 가능성을 논했다.
반면 라슈카의 K3 분석 글 토론(댓글 34개)은 수량은 적었으나 정보 밀도가 높았다. 게시글 자체가 아키텍처 관점에서 K3를 분석했기에, 댓글창은 곧바로 “중국 AI가 단지 증류에 불과한가”라는 논쟁으로 이어졌다. 사용자 thatsagasey는 라슈카를 “훌륭한 LLM 연구자이자 저자”로 평가했는데, 라슈카급의 서구 연구자가 중국 연구소의 아키텍처를 진지하게 분석하기 시작했다는 사실 자체가 ‘증류 전용’이라는 기존 담론의 설득력을 약화시키고 있다.
‘추종자’에서 ‘독창적 혁신가’로의 전환점
타임라인을 넓혀 보면 중국 AI 연구소들의 아키텍처 혁신 궤적은 명확하다.
- 2024년: DeepSeek V2가 Multi-head Latent Attention (MLA)을 발표하며 KV 캐시 최적화 분야에서 손꼽히는 독자적 기여를 이뤄냈다. 현재 긴 컨텍스트를 지향하는 효율적 모델의 대다수가 MLA를 참고하고 있다.
- 2025년 10월: Moonshot AI가 Kimi Linear를 발표하며 선형 어텐션이 전 영역에서 전체 어텐션을 뛰어넘을 수 있음을 최초 입증했다.
- 2026년 7월: Kimi K3가 Kimi Linear를 48B에서 2.8T로 확장하며 실제 생산 환경에서 아키텍처 혁신의 확장성을 검증했다.
이는 단일 연구소의 일회성 운이 아니다. DeepSeek의 MoE 및 MLA, Moonshot의 Delta Attention 및 Attention Residuals는 여러 중국 연구소가 각기 다른 방향에서 일궈낸 독자적 성과다.
물론 객관적인 시각도 필요하다. 서구 연구진의 신중한 반응도 존재한다. Kimi의 Linear Attention이 분명한 진보라 할지라도 ‘전체 어텐션을 최초로 넘어섰다’는 주장은 독립적인 재현 검증이 더 필요하며, Gated DeltaNet 계열 연구 역시 서구 연구소의 선행 작업에 기반을 두고 있다는 지적이 나온다. 독창성의 범위에 대한 이견은 존재하지만, 이 같은 논쟁 자체가 진전을 의미한다. “모방만 한다”는 단정에서 “기여의 크기가 얼마인가”로 화두가 전환된 것 자체가 역량에 대한 승인이다.
두 논문 뒤에 숨은 산업적 신호
Kimi K3 발표는 기술계를 넘어 산업 전반에 파장을 일으켰다. Bloomberg 보도에 따르면 K3 공개 당일 나스닥 시장에서 테크주 매도세가 나타났고, 미국 재무장관 Bessent가 제재 가능성을 언급하기도 했다. 중국 AI 스타트업의 모델 발표가 미국 자본시장을 흔들었다는 사실은 그 어떤 벤치마크 점수보다 직관적인 신호다.
상업적 모델 측면에서도 주목할 점이 있다. Moonshot은 K3에 수익 구간별 라이선스(revenue-tiered licensing)를 적용하여 중소기업과 연구자에게는 가중치를 무료 개방하고 대기업에는 유료 라이선스를 부과했다. 중국 AI 기업이 오픈소스 라이선스에서 성숙한 상업화 방법론을 제시하며 기술과 비즈니스의 경계에 구체적 참호를 구축하기 시작한 사례다.
맺음말
두 편의 논문이 같은 날 Hacker News 메인 페이지를 장식한 것은 Moonshot AI에게 우연이었을지 모른다. 그러나 중국 AI 산업 전체 관점에서는 담론의 꺾임점이 되었다.
세바스티안 라슈카가 K3의 아키텍처 구조도를 레이어별로 해부하고, HN의 엔지니어들이 ‘증류’ 대신 AttnRes와 NoPE의 장단점을 논할 때, 중국 AI는 ‘제품 추종자’에서 ‘아키텍처 혁신가’로의 임계점을 넘어섰다. 증류는 추격을 가능하게 하지만, 추월은 독창성을 요구한다. 독창성은 하루아침에 이루어지지 않지만, 일단 등장하면 소리 없이 사라지지 않는다.
2026년 7월 28일, 그 신호는 명확히 전달되었다.
참고 링크:
- Sebastian Raschka, “Kimi K3 Architecture Notes”, Jul 28, 2026
- Kimi Team, “Kimi Linear: An Expressive, Efficient Attention Architecture”, Oct 2025 (arXiv)
- Hacker News Discussion: Kimi K3 Architecture Notes (item?id=49085698)
- Hacker News Discussion: Kimi Linear (item?id=49082022)
- Moonshot AI, “Kimi K3 Tech Blog: Open Frontier Intelligence”
- Moonshot AI, “Kimi K3 Quickstart”
- Zhouyao Xie, “Behind Kimi K3: Understanding Kimi Delta Attention”, Jul 2026
- GitHub: MoonshotAI/Kimi-K3
- GitHub: MoonshotAI/Kimi-Linear
- Pandaily, “Deconstructing the Kimi K3 Technical Report”, Jul 2026
