한 개발자가 플래그십 AI 모델인 Kimi K3를 일반 컴퓨터의 전체 메모리 용량에 해당하는 29GB RAM에 맞춰 구동하는 데 성공했습니다. 실행 자체는 되었지만, “이탈리아의 수도는 어디인가요?”라는 질문을 던지자 31초 동안 생각한 후에야 16자짜리 답변을 출력했습니다.
그림: Kimi K3, Moonshot AI가 7월 말 오픈소스로 공개한 최신 플래그십 모델. 출처: github.com/MoonshotAI
이 소식은 최근 며칠 동안 개발자 커뮤니티에서 큰 화제를 모았습니다. Hacker News에서는 130개 이상의 추천과 50개 이상의 댓글이 달렸으며, 놀라움과 함께 합리적인 의구심을 제기하는 반응이 이어졌습니다. 비개발자 독자분들도 쉽게 이해할 수 있도록 양측의 주장과 기술적 배경을 정리해 보았습니다.
모델은 왜 이렇게 메모리를 많이 먹을까?
먼저 Kimi K3가 얼마나 거대한 모델인지 알아볼 필요가 있습니다.
Kimi K3는 Moonshot AI가 2026년 7월 말 전체 파라미터를 공개한 최신 플래그십 모델입니다. K3의 파라미터 수는 무려 2조 7,800억 개(2.78T)에 달합니다.
파라미터는 모델의 뇌 속에 들어 있는 수치 데이터라고 이해할 수 있습니다. AI의 지능은 기본적으로 수많은 숫자의 연산에서 나오며, 숫자가 많을수록 똑똑해지지만 그만큼 용량도 커집니다. 2조 7,800억 개의 숫자를 담은 공식 출시 버전(FP4 압축판)의 크기는 1.42TB로, 일반적인 1TB SSD 하나에도 다 들어가지 않습니다.
모델이 답변을 생성할 때마다 이 모든 숫자를 RAM(컴퓨터의 작업 메모리)으로 불러와 계산해야 합니다. 1.42TB 분량의 데이터를 29GB 메모리 공간에 쑤셔 넣으려 하니 50배에 가까운 용량 부족이 발생합니다.
따라서 이러한 대형 모델은 원래 수십만 대의 서버와 수십 개의 GPU, TB 단위의 메모리를 갖춘 클라우드 데이터 센터에서만 구동되는 것이 일반적입니다. 사용자가 앱에서 질문을 입력하면 클라우드 서버에서 연산을 마친 후 결과만 전송되는 구조입니다.
왜 굳이 개인 PC로 가져오려 할까?
클라우드가 빠르고 편한데, 왜 굳이 이런 고생을 하며 로컬 PC에서 구동하려 할까요? 그 이유는 매우 현실적입니다.
첫 번째 이유는 **개인정보 보호(프라이버시)**입니다. 클라우드 AI에 묻는 모든 질문은 외부 서버로 전송됩니다. 사소한 대화는 괜찮더라도 기업 계약서, 의료 기록, 재무 제표 같은 민감한 데이터는 외부 유출이 엄격히 금지되는 경우가 많습니다. “데이터가 외부로 나가지 않는다”는 점이 로컬 구동의 가장 강력한 명분입니다.
두 번째 이유는 비용입니다. 클라우드는 사용한 단어(토큰) 수에 따라 비용이 청구됩니다. 일상적인 대화에서는 체감되지 않더라도, 대용량 배치 작업이나 에이전트 작업을 돌릴 때 비용 부담이 커집니다. 반면 로컬 구동은 하드웨어와 전기료라는 초기 투자 비용만 들면 이후에는 무제한으로 쓸 수 있습니다.
세 번째 이유는 오프라인 동작입니다. 인터넷이 연결되지 않은 환경에서도 작동하며, 서비스 제공업체의 정책 변경이나 서비스 중단에 영향을 받지 않습니다.
마지막으로 pure 개발자의 호기심과 열정이 있습니다. 프로그래밍 커뮤니티에는 “로컬 추론”을 연구하는 소모임이 있어, 일반 기기에서는 구동하기 불가능해 보이는 모델을 어떻게든 띄우는 도전을 즐깁니다. 이번 WASTE 프로젝트 역시 전체 구현 방식과 실패한 실험 기록까지 GitHub에 오픈소스로 공개했습니다.
29GB 메모리에 어떻게 구동시켰을까?
핵심 기술은 **양자화(Quantization)**입니다. 쉽게 말해 모델 내부의 수치 데이터를 압축하는 기술입니다.
본래 고정밀 소수점으로 저장되어 있던 파라미터를 4비트, 3비트 형태로 다듬어 용량을 줄입니다. K3 공식 버전 자체가 이미 4비트로 압축된 1.42TB 버전이었는데, WASTE 프로젝트는 전문가(Expert) 파트를 3비트로 추가 압축하여 982GB까지 줄였습니다.
하지만 단순히 압축만 해서는 982GB를 29GB 메모리에 넣을 수 없습니다. WASTE 프로젝트의 진정한 묘수는 모델 전체를 메모리에 올리지 않는 방식에 있습니다.
K3는 혼합 전문가(MoE, Mixture of Experts) 아키텍처를 사용합니다. 모델 내부에는 896개의 전문가 네트워크가 존재하지만, 단어를 하나 생성할 때 실제로 호출되는 것은 16개뿐이며 나머지 880개는 쉬고 있습니다. 마치 거대한 종합병원에서 진료를 볼 때 필요한 과의 의사 몇 명만 부르고 나머지는 대기하는 것과 같습니다.
따라서 프로젝트팀은 자주 사용되는 메인 아키텍처(27GB)만 메모리에 상주시키고, 나머지 880개의 전문가는 고속 SSD에 둔 채 필요한 순간마다 실시간으로 읽어오는 방식을 취했습니다.
그림: K3의 아키텍처 개요——혼합 전문가와 신형 어텐션 메커니즘, 총 파라미터 2.8조 개. 출처: sebastianraschka.com
그 대가는 바로 속도입니다. 단어 하나를 출력할 때마다 SSD에서 17GB 분량의 전문가 데이터를 읽어와야 합니다. 초당 12.78GB를 읽어들이는 고성능 내장 NVMe SSD여야 겨우 버틸 수 있으며, 외장 SSD(초당 0.94GB)를 사용하면 단어 하나를 출력하는 데 13초를 기다려야 합니다.
환경을 맞추는 것도 쉽지 않습니다. 1.42TB짜리 공식 FP4 모델 파일에서 982GB 포맷으로 변환하는 데만 약 5시간이 걸리며, 초고속 내장 SSD 사양도 필수적입니다.
따라서 “29GB”라는 수치는 시스템 메모리 구동 조건일 뿐, 모델의 전체 크기가 아닙니다. 29GB 메모리에 전체 모델이 들어간 것이 아니라 가장 자주 쓰는 뼈대 부분만 메모리에 올려둔 것입니다. 32GB RAM 시스템에서도 띄울 수는 있지만 화면이 끊기듯 작동하며, 쾌적하게 구동하려면 64GB RAM이 필요합니다. 메모리가 부족해 OS가 SSD를 가상 메모리로 쓰기 시작하면 속도가 8배나 떨어집니다.
압축에 따르는 대가
양자화가 공짜는 아닙니다. 숫자의 정밀도를 깎아내면 답변의 질이 떨어지게 됩니다. Unsloth 팀의 측정에 따르면 2비트로 압축할 경우 원본과의 일치율이 약 90%를 유지하지만, 1비트로 깎으면 80% 수준으로 떨어집니다.
그림: 동일한 모델이라도 압축을 많이 거칠수록 원본 답변과 달라질 확률이 높아집니다. 출처: unsloth.ai
더 까다로운 문제는 같은 비트 수라도 압축하는 기술에 따라 품질 차이가 크다는 점입니다. 동일한 모델을 1비트로 압축하더라도 작업하는 팀의 노하우에 따라 결과물의 품질이 20배 이상 차이 나기도 합니다. 양자화는 단순한 자르기가 아닌 숙련된 엔지니어링 기술입니다.
초당 0.5토큰: “실행 가능”과 “실용성” 사이의 간극
초당 0.5토큰의 속도는 한글 기준으로 1초에 반 글자 남짓 나오는 수준입니다.
16자짜리 답변에 31초, 128자짜리 문장에는 6분이 걸립니다. 이 정도 속도는 채팅은커녕 단순 받아쓰기용으로 쓰기에도 답답합니다. 게다가 K3는 답변 전에 생각 과정을 출력하는 모델이어서 로컬 구동 시 대기 시간이 더욱 길어집니다.
하지만 프로젝트팀의 태도는 매우 솔직합니다. 그들은 속도를 과장하지 않고 “실제로 구동되는 데 성공했다”는 사실 자체를 강조합니다. 모델의 출력을 공식 참조 구현과 레이어별로 비교 검증하여 오차 범위가 백만분의 몇 수준임을 확인했습니다. 그들이 확인한 바에 따르면, 1조 파라미터급 모델을 일반 PC의 저장장치에서 스트리밍하며 성공적으로 구동한 공개 기록은 이것이 최초입니다.
반면 동일한 기술을 조금 더 작은 모델에 적용하면 전혀 다른 결과가 나옵니다. 480억 파라미터의 Kimi-Linear 모델은 19GB 저장공간과 1.87GB 메모리만으로 구동되며 초당 10.7자 속도를 보여줍니다. 중소형 모델은 일반 PC에서도 이미 실용적인 수준에 다다랐습니다. 또한 동일한 K3 모델을 데이터 센터 서버에 올리면 초당 100자 이상을 출력합니다.
“실행할 수 있다”와 “실제로 쓸 만하다” 사이에는 큰 격차가 존재합니다. 한쪽이 공학적 성과라면 다른 한쪽은 일상적인 도구입니다. 이번 도전은 두 지점 사이의 거리를 조금 더 줄여주었습니다.
로컬파와 클라우드파의 논쟁
로컬 구동을 선호하는 이들과 클라우드를 선호하는 이들 사이의 논쟁은 오래전부터 이어져 왔으며, 이번 발표를 통해 다시 수면 위로 올라왔습니다.
- 로컬파의 주장: 데이터 유출 위험 없음, 사용량에 따른 추가 비용 없음, 오프라인 작동, 완벽한 시스템 통제권.
- 클라우드파의 주장: 초당 수십~수백 토큰의 빠른 속도, 언제나 최신 모델 이용 가능, 하드웨어 관리 부담 없음.
Hacker News 토론에서도 일부 엔지니어들은 “K3 규모라면 파라미터 밀도만 고려해도 원본 정밀도 기준 최소 115GB 메모리가 필요한데, 29GB로 2.78조 모델을 돌린다는 주장이 성립하는가?”라는 기술적 의문을 제기했습니다. 프로젝트팀은 “3비트 MoE 양자화와 NVMe 스트리밍을 결합했기 때문에 수치적으로 가능하다”고 설명했습니다.
이러한 건전한 비판과 토론은 커뮤니티 성장에 기여합니다. 로컬 추론 기술은 지금까지 “불가능하다”는 회의론에 직면할 때마다 이러한 검증 과정을 거치며 발전해 왔습니다.
마치며
29GB 메모리에 초당 0.5토큰이라는 성능은 당장 일상적인 AI 도구로 쓰기엔 부족함이 큽니다. 그러나 기술의 발전 흐름 속에서 바라본다면 의미가 다릅니다. 불과 2년 전만 해도 수백억 파라미터 모델을 개인 PC에서 돌리는 것 자체가 뉴스였지만, 이제는 1조 파라미터급 모델이 개인 하드웨어의 영역에 들어오기 시작했습니다. 저장장치 속도가 빨라지고 양자화 기술이 정교해지며 아키텍처가 효율화됨에 따라 이 경계선은 계속해서 확장될 것입니다.
일반 사용자라면 지금 Kimi를 사용할 때 앱을 사용하는 것이 가장 빠르고 편리합니다. 하지만 다음에 앱에서 “클라우드에서 답변 생성됨”이라는 안내를 보게 된다면, 그 문장 뒤에서 작동하는 거대한 데이터 센터 인프라와 로컬 환경의 한계에 도전하는 엔지니어들의 노력을 떠올려 보는 것도 의미 있을 것입니다.
참고 링크:
- GitHub: sqliteai/waste 저장소
- HN 토론 (item?id=49123386)
- Hugging Face: moonshotai/Kimi-K3 토론 쓰레드 #148
- Sebastian Raschka: Kimi K3 아키텍처 노트
- Unsloth: Kimi K3 로컬 실행 문서
- Apidog 블로그: Kimi K3 로컬 구동 방법
