2026년 9월 8일, 해커뉴스(Hacker News) 메인 페이지에 상식을 뒤흔드는 기술 실측 결과가 등장했다. 문샷 AI(Moonshot AI)가 오픈소스로 공개한 2.8조 매개변수의 대규모 모델 Kimi K3를 애플 M5 Max 칩이 탑재된 맥북 프로(MacBook Pro)에서 완전히 오프라인으로 구동했다는 소식이다. 이 노트북의 통합 메모리는 고작 128GB에 불과하다. 2.8조 매개변수 모델의 크기는 일반 컴퓨터의 물리적 한계를 아득히 뛰어넘는다. 오픈소스 프로젝트 deltafin은 4개의 초고속 외장 NVMe SSD를 병렬로 연결해, 개미가 거대한 코끼리를 옮기는 듯한 하드코어 엔지니어링 실증을 완성했다.
‘수조 단위 매개변수의 대형 모델을 가정용 노트북에 넣을 수 있다’는 사실은 인공지능의 비용 구조를 근본적으로 뒤흔든다. 지난 5년간 프론티어 대형 모델은 데이터센터 클라우드 내부의 전유물이었으며, 일반 사용자는 API 호출을 통해서만 접근할 수 있었다. 이제 오픈 가중치와 커뮤니티의 하드웨어 해킹이 결합하면서, “AI를 구동하려면 얼마나 많은 하드웨어가 필요한가”라는 본질적인 질문이 사용자의 로컬 하드디스크 바로 앞으로 성큼 다가왔다. 하지만 환호하기에 앞서 냉정한 물리적 한계가 존재한다. 4개의 외장 드라이브를 연결한 이 노트북이 낼 수 있는 생성 속도는 초당 1개 단어(토큰)에 불과하다.
128GB 메모리로는 감당할 수 없는 2.8조 매개변수
수조 개의 매개변수를 지닌 모델을 로컬 환경에서 실행할 때 가장 먼저 마주하는 장벽은 물리 메모리 용량이다. 매개변수는 인공신경망 내부의 수많은 미세 조절 다이얼과 같다. 2.8조 개의 조절 다이얼은 모델의 지능적 상한선을 결정하는 동시에 상상을 초월하는 파일 크기를 만든다. 보편적인 양자화 압축을 적용하더라도 2.8조 매개변수 모델을 온전히 메모리에 올리려면 약 1TB급 메모리가 필요하며, 극단적인 압축을 거쳐도 수백 GB의 공간이 요구된다. 현재 시판 중인 최고 사양의 맥북 프로조차 통합 메모리 용량은 128GB에 그친다.
기술적 야망은 냉혹한 물리적 한계와 정면으로 충돌한다. 기존의 일반적인 실행 방식에서는 신경망 전체가 한꺼번에 메모리에 적재되어야 한다. 128GB 메모리는 Kimi K3 전체 크기의 5분의 1도 담아내지 못한다. 메모리가 부족할 때 가장 흔히 쓰는 대안은 보조기억장치를 가상 메모리(스왑)로 활용하는 것이지만, SSD의 읽기 속도는 물리 메모리보다 수백 배 느리다. 프로세서가 추론 도중 디스크를 수시로 오가며 데이터를 탐색하게 만들면, 전체 연산 속도는 순식간에 마비된다.
기존의 조밀한(Dense) 아키텍처 모델을 디스크 기반으로 구동할 경우, 단 하나의 토큰을 생성할 때마다 수천 GB에 달하는 가중치 데이터를 전부 훑어야 한다. 이러한 방식은 개인용 컴퓨터 환경에서 도저히 성립할 수 없다. 이 장벽을 뛰어넘으려면 필요한 데이터만 그때그때 골라 읽어 들이는 새로운 메커니즘이 필수적이었다.
4개의 SSD가 분담하는 16개 전문가 모듈의 순환
deltafin 프로젝트가 작동할 수 있었던 핵심은 Kimi K3의 혼합 전문가(MoE, Mixture of Experts) 아키텍처와 정교한 디스크 슬라이싱 엔지니어링의 결합에 있다. K3 모델 내부에는 각기 다른 작업 특성을 전담하는 16개의 전문가 모듈이 포함되어 있다. 모델은 토큰 하나를 생성할 때 모든 전문가를 깨울 필요가 없으며, 현재 맥락에 가장 잘 들어맞는 소수의 전문가 모듈만을 활성화한다. 이러한 구조는 필요한 가중치를 온디맨드 스트리밍 방식으로 읽어 들이는 작업에 최적화되어 있다.
개발진은 이 거대한 모델을 계층별, 전문가별로 잘게 쪼갠 뒤 4개의 외장 NVMe SSD에 분산 배치했다. 데이터베이스 분야에서는 친숙한 파티셔닝과 샤딩 기법이지만, 이를 개인용 대규모 언어 모델 추론에 직접 적용한 것은 매우 대담하고 본격적인 실험이다. 4개의 SSD에서 동시에 병렬 읽기 및 쓰기를 수행함으로써 막대한 대역폭 부하를 분산시켰다.
추론 과정은 고도의 스케줄링 승부로 전환된다. 여기서 핵심적인 역할을 수행하는 것이 K3_PILOT 추측적 읽기(speculative fetch) 메커니즘이다. 시스템은 새로운 토큰을 처리할 때마다 다음 계층에서 어떤 전문가 모듈이 호출될지 미리 예측한다. 그리고 split-homed expert reads(병렬 분할 읽기) 방식을 통해 필요한 가중치를 SSD에서 통합 메모리로 즉시 끌어올린다. 계산이 끝난 전문가는 메모리에서 즉각 해제되어 다음 전문가를 위한 공간을 비워준다. 디스크 읽기 지연을 줄이기 위해 프로젝트는 전문가 상주 빈도를 정밀하게 추적했다. expert residency heat histogram이라 불리는 이 기법은 추론 과정 전체에서 각 전문가가 호출된 횟수를 실시간 기록한다. 가장 빈번하게 호출되는 범용 전문가는 128GB 물리 메모리에 상주시키고, 호출 빈도가 낮은 특화 전문가만 디스크 대기열에 둔다. 정적 상주와 동적 스트리밍을 결합한 이 설계를 통해 디스크 탐색 및 로딩 지연의 상당 부분을 가려냈다.
그림: Kimi K3 공식 모델 카드 이미지. 출처: HuggingFace moonshotai/Kimi-K3
4개의 고속 SSD를 병렬로 구동하여 온디맨드 호출에 필요한 대규모 데이터 전송량을 지탱한다. 모델의 구조적 특성에 맞춘 정밀한 데이터 이동 기법을 통해, 128GB라는 한정된 메모리의 틈새 속에서 2.8조 매개변수 모델이 살아 숨 쉴 수 있는 좁은 통로를 열어젖힌 것이다.
초당 1개 토큰: 느린 사고가 드러낸 실용성의 경계
거대한 모델을 가정용 컴퓨터에 욱여넣은 대가는 막대한 속도의 희생이었다. 실측 데이터에 따르면 이 맥북 환경에서 두 차례의 콜드 스타트 중앙값 생성 속도는 0.92~1.13 token/s 수준에 안정적으로 머물렀다. 가벼운 Qwen3-0.6B를 추측 디코더로 붙여 예측을 돕도록 해도 속도는 여전히 초당 1토큰 안팎을 맴돈다. 512개 토큰 길이의 입력을 처리할 때의 속도는 약 1.4 token/s였으며, 출력 결과물은 추측 디코딩을 쓰지 않은 일반 모드와 바이트 단위까지 완벽히 일치했다.
| 시나리오 및 기기 구성 | 전형적인 생성 속도 (token/s) | 핵심 활용 분야 |
|---|---|---|
| 클라우드 GPT-4 / Kimi API | 20 - 50+ | 실시간 대화, 웹 서핑 및 상호작용 |
| 로컬 구동 8B급 소형 모델 | 30 - 60+ | 터미널 오프라인 비서, 실시간 코드 완성 |
| Kimi K3 + 맥북 4개 SSD | 0.92 - 1.13 | 오프라인 코드 추론, 장문 논리 초안 작성 |
| 사람의 평균 읽기 속도 | 4 - 8 | 시각적 텍스트 습득 |
일반적인 성인이 화면의 글을 읽는 속도는 보통 초당 4~8단어 수준이다. Kimi K3의 답변을 화면 앞에서 기다릴 때, 글자가 출력되는 속도는 눈으로 묵독하는 속도보다 몇 배나 느리다. 데이터센터 클라우드 인프라 기반의 모델들이 초당 수십 개 단어를 가볍게 쏟아내며 매끄러운 대화를 이어가는 것과는 대조적이다.
그림: deltafin 프로젝트 실측 데이터: 입력 길이에 따른 디코딩 속도 변화. 출처: GitHub argonautlabsai/deltafin
일반적인 대화형 AI보다 두 자릿수나 느린 이 실측 수치는 해커뉴스에서 격렬한 논쟁을 불러일으켰다. 일부 개발자들은 이를 단순한 ‘기술적 볼거리’에 불과하며 인간과의 상호작용 측면에서 실용성이 전혀 없다고 평가절하했다. 하지만 실시간 응답이 필요 없는 백그라운드 작업 관점에서는 이러한 느린 속도가 치명적이지 않다. 시스템이 밤새 복잡한 코드 저장소를 분석하거나, 자율 에이전트가 격리된 샌드박스 안에서 논리를 검증하는 작업이라면 초당 1토큰의 속도로 최고 수준의 추론 품질을 얻는 것만으로도 가치가 충분하다. 이 실험은 뚜렷한 실용성의 경계선을 그었다. 일상적인 대화 상대로는 어울리지 않지만, 로컬 환경에서 묵묵히 깊은 생각을 수행하는 든든한 일꾼으로는 손색이 없다.
거대 모델이 사용자의 로컬 파일이 되다
지난 수년간 인공지능 발전의 담론은 거대한 데이터센터와 천문학적인 클라우드 연산 자원에 종속되어 있었다. 독립 개발자와 일반 사용자는 거대 테크 기업으로부터 연산 자원을 임대해야 했고, 보안 데이터는 클라우드로 올려 보낼 수밖에 없었다. deltafin이 맥북에서 이뤄낸 Kimi K3 구동 실증은 완전히 다른 가능성을 보여준다. 모델은 더 이상 먼 곳에서 호출하는 불투명한 서비스가 아니라, 사용자 자신의 로컬 디스크에 저장된 구체적인 파일 데이터가 되었다.
2.8조 매개변수 모델이 로컬 파일 형태로 개인용 컴퓨터에 머무른다. 비록 초당 1토큰이라는 느린 사고력만을 발휘할 뿐이지만, 이를 통해 데이터 프라이버시와 오프라인 가용성은 물리적 차원에서 완벽하게 보장된다. 기업은 인터넷 연결을 완전히 차단한 환경에서도 기밀 정보가 담긴 추론 작업을 외부 유출 위험 없이 안전하게 수행할 수 있다. 개발자는 통신이 두절된 곳에서도 최상급 지능을 동원해 시스템 아키텍처 설계를 검토하며 지치지 않는 로컬 일꾼으로 부릴 수 있다. 이러한 업무 방식은 대화창 중심의 챗봇이 아니라, 긴 호흡으로 작업을 완수하는 백그라운드 프로세스로의 진화를 의미한다.
Kimi K3의 오픈 가중치 공개와 커뮤니티의 하드웨어 엔지니어링은 결정적인 개념 검증을 완수했다. 이번 실험은 수조 단위 매개변수의 초거대 모델과 개인 환경 사이에 놓여 있던 절대적인 장벽을 허물었다. 2.8조 매개변수 MoE 모델이 단말 환경에서 오프라인으로 작동한다는 사실은, 최첨단 인공지능의 중심축이 클라우드 학습 경쟁에서 로컬 단말의 추론과 배포로 이동하기 시작했음을 알리는 신호탄이다.
참고 링크:
- HN 토론 (item?id=49616257)
- GitHub argonautlabsai/deltafin
- HuggingFace moonshotai/Kimi-K3
