네트워크가 차단된 기내에서 노트북을 열고 3D 비행 게임을 즉석에서 구현하다
고도 1만 미터 상공을 비행하는 여객기 이코노미석, 닫힌 기내 문과 오프라인 상태의 스마트폰 사이에서 Thinking Machines Lab의 한 연구원이 좌석 테이블을 내렸다. 인터넷 연결이 완전히 끊긴 상태에서 그는 MacBook Pro를 사용해 로컬 코드 생성을 실행했다. 몇 분 지나지 않아, 화면에는 물리 역학 엔진이 적용되어 자유롭게 조종 가능한 3D 비행 시뮬레이터가 부드럽게 구동되기 시작했다.
이 장면은 2026년 11월 20일 공개된 오픈소스 모델 Inkling 2 Mini가 보여준 단면이다. 해당 프로젝트는 상업적 제약이 거의 없는 관대한 Apache 2.0 라이선스로 배포되었다. 이는 업계에 매우 명확한 대비의 메시지를 던졌다. 복잡한 소프트웨어를 개발하는 데 더 이상 값비싼 클라우드 클러스터가 필수가 아니라는 사실이다.
오랫동안 인공지능 업계는 물리적 매개변수를 무작정 늘리는 방식에 매달려 왔다. 빅테크 기업들은 수만 장의 전용 GPU를 사들이며 슈퍼컴퓨팅 데이터센터에서 막대한 전력을 소모했다. 반면 Inkling 2 Mini는 발상을 전환하여 모델 메모리 점유율을 20GB 안팎으로 압축했다. 과거 대형 서버에만 의존하던 고난도 추론 작업이 개인용 노트북 위에 안정적으로 안착한 것이다.
24개 레이어로 구현한 48레이어 연산 깊이: 동일한 가중치를 반복 재활용하다
이처럼 높은 연산 밀도를 달성한 비결은 네트워크 레이어의 구조적 재설계에 있다. 기존 거대 언어 모델의 트랜스포머 아키텍처는 일방통행 컨베이어 벨트와 같아서, 단어 하나를 생성할 때 각 층을 처음부터 끝까지 한 번만 통과한다. Inkling 2 Mini는 이 단방향 순차 구조를 깨고, 특정 레이어가 반복해서 계산에 참여하는 순환형 트랜스포머(Recurrent Transformer) 아키텍처를 도입했다.
모델의 물리적 구조는 총 24개 층으로 이루어져 있다. 단어를 생성할 때 15층이 먼저 기초 특징을 추출한다. 이어 중간의 617층에 해당하는 12개 레이어 블록이 연속으로 3회 반복 호출된다. 마지막으로 후반부 레이어들이 출력을 정리하여 마무리함으로써, 전체 프로세스는 계산 깊이 측면에서 실질적인 48개 레이어와 동일한 효과를 낸다.
그림: 모델 구조 개요도. 전반부 1회 수행, 중간 블록 3회 반복 순환, 종단 레이어 1회 수행. 출처: Thinking Machines Lab
이 3회의 순환 과정은 완전히 동일한 물리 가중치를 공유한다. 전체 물리 파라미터는 26.4B를 유지하며 초기 활성 파라미터는 3.4B에 불과하다. 그러나 중간 레이어를 3번 재활용함으로써 단일 토큰당 유효 활성 계산 가중치는 5.4B 상당으로 올라간다. 늘어난 계산 부하는 반도체 칩의 연산 시간으로 분산될 뿐, 메모리 용량을 추가로 차지하지 않는다.
이러한 메커니즘은 하드웨어 부담을 비디오 메모리(VRAM) 용량에서 연산 유닛 가동률로 전환시켰다. 과거 로컬 기기에서 48개 층에 달하는 추론 깊이를 확보하려면 대용량 메모리를 갖춘 전문가용 워크스테이션이 필수적이었다. Inkling 2 Mini는 시간과 공간을 맞바꾸어 동일한 매개변수 용적 안에서 두 배에 달하는 논리 전개 단계를 이끌어냈다.
20GB 메모리에 연산력을 담다: 사후 압축 없이 네이티브 저정밀도 적용
아키텍처 설계가 끝나더라도 개인용 PC에서 원활하게 구동하려면 정밀도 문제를 해결해야 한다. 대다수 오픈소스 모델은 16비트 부동소수점(FP16/BF16)으로 먼저 학습한 뒤, 양자화 알고리즘을 거쳐 4비트나 8비트로 사후 압축하는 방식을 쓴다. 이러한 사후 가위질은 핵심 가중치를 손실하기 쉬워 복잡한 코드 유도 과정에서 치명적인 오류를 일으킨다.
Inkling 2 Mini는 사전 학습 초기 단계부터 네이티브 저정밀도 포맷을 채택했다. 전반 20개 레이어는 엔비디아가 주도하는 NVFP4 네이티브 4비트 부동소수점 포맷을 직접 적용했고, 마지막 4개 층에는 마이크로스케일링 부동소수점인 MXFP8을 채택했다. 출시 단계부터 저정밀도로 최적화되어 손실이 발생하는 2차 변환을 거칠 필요가 없다. 이로써 전체 가중치의 메모리 점유율은 약 20GB 안팎으로 단단히 억제되었다.
그림: 공식 벤치마크 평가도. 가로축은 디코딩 속도, 세로축은 작업 해결률을 나타냄. 출처: Thinking Machines Lab
업계 표준 소프트웨어 공학 및 논리 추론 벤치마크에서 이 설계는 탁월한 지표를 기록했다. 실제 복잡한 소프트웨어 엔지니어링 문제를 다루는 DeepSWE v1.1 벤치마크에서 48.2%의 해결률을 달성했으며, 심층 추론 역량을 평가하는 Vals Index v2.2에서는 46.5%의 점수를 얻었다. 파라미터 100B 미만의 오픈 가중치 모델 카테고리에서 두 부문 모두 1위를 차지했다.
오픈소스 생태계의 대응도 발 빠르게 이어졌다. 오픈소스 개발자 커뮤니티가 공개한 전용 양자화 컴파일러를 적용하면 메모리 요구량을 5.4GB까지 낮출 수 있으며, 기존 Q4_K_M 포맷보다 우수한 퍼플렉시티를 유지한다. Ryzen 395 시스템과 Vulkan 백엔드를 조합했을 때 로컬 환경에서 초당 27토큰의 추론 속도를 냈으며, 구형 M1 Pro에서도 초당 10토큰을 안정적으로 유지했다. 로컬 환경에서의 완전한 독립 개발 가능성이 대폭 열린 셈이다.
사고 과정을 은닉층에 숨겨 토큰은 줄였으나 안전 감시의 사각지대는 커지다
추론 성능이 크게 도약한 이면에는 연산 패러다임의 중대한 변화가 자리하고 있다. OpenAI o1 계열의 심층 추론 모델은 명시적인 생각의 사슬(Chain of Thought)에 의존해 왔다. 모델이 매 추론 단계를 수천에서 수만 자에 달하는 텍스트로 직접 출력해야 사용자가 논리 전개 과정을 검증할 수 있었다. 반면 Inkling 2 Mini는 일련의 논리 유도 과정을 내부 은닉 상태(Hidden States) 속에 압축하여, 별도의 텍스트 출력 없이도 추론을 끝마친다.
연구소의 공식 테스트 결과는 이를 명확히 보여준다. 생각 과정을 텍스트로 출력하지 않을 때, 단일 단계의 연산 시간은 1회 순환 시 16초에서 3회 순환 시 37초로 길어졌다. 직렬 논리 문제의 경우 순환 횟수를 10회까지 늘려도 성능 곡선이 지속해서 상승했다. 반복 계산을 통해 출력되는 단어 하나하나에 훨씬 조밀한 사고의 밀도가 담기게 된 것이다.
암묵적 추론 방식은 방대한 텍스트 생성에 따르는 지연 시간을 없애고 토큰 비용을 극적으로 낮춘다. 하지만 인공지능 안전 감독 측면에서는 새로운 난제가 불거졌다. 모든 추론이 고차원 벡터 공간 내부에서 진행되기 때문에 외부 보안 장치가 텍스트 계층에서 이상 징후를 감지하거나 차단할 수 없기 때문이다. 개발진의 테스트 결과 현재 악의적인 성향이 증가하지는 않았으나, 텍스트 수준의 전통적인 방어 체계가 직접 개입할 수 있는 통로가 사라진 것은 분명하다.
내부 평가 과정에서 모델의 현실적인 한계도 함께 드러났다. 복잡하고 까다로운 제약이 얽힌 다중 턴 대화 평가인 MultiChallenge 테스트에서는 50.0%, ComplexConstraints 지표에서는 33.4%에 그쳤다. 외부 프롬프트의 개입이 없을 경우 모델이 자체 검증의 무한 루프에 빠져 연산 자원만 헛돌며 답을 내지 못하는 현상도 관찰되었다. 또한 다국어 평가에서는 한국어나 중국어 출력 시 문장 끝맺음이 불안정하거나 영어가 섞여 나오는 사례도 보고되었다.
매개변수의 물리적 한계와 소형 모델이 개척한 새로운 활로
순환형 아키텍처 역시 명확한 한계를 지닌다. 네트워크 레이어를 반복 회전시켜 직렬 추론의 깊이를 끌어올릴 수는 있지만, 모델에 없는 새로운 세상의 지식을 허공에서 만들어낼 수는 없다. 사실 관계를 묻는 벤치마크 테스트에서 본 모델의 지식 보유량은 동일한 물리 파라미터 체급 수준을 벗어나지 못했다. 장기 기억의 총량은 물리 가중치의 크기에 엄격하게 묶여 있다.
장기 추론 중 모델이 자기 논리에 갇히는 현상을 방지하기 위해 개발팀은 실무적인 대응책을 제시했다. 실제 시스템에 배포할 때는 최대 생성 토큰 수와 대화 턴 수에 강제 제한을 두어야 한다. 이러한 제약은 연산 자원의 낭비를 막고 자율 실행 환경에서 필수적인 안전 브레이크 역할을 한다. 엔지니어링 차원의 정밀한 통제가 알고리즘 태생의 맹점을 보완하는 셈이다.
Inkling 2 Mini가 지닌 진정한 가치는 하드웨어 물량 공세에 맞설 수 있는 강력한 실천적 대안을 제시했다는 데 있다. 비용과 하드웨어 수급의 벽에 부딪힌 개발 환경에서 네트워크 레이어의 순환 재활용은 매우 효율적인 돌파구가 된다. 블랙박스처럼 닫힌 은닉 상태의 사고 과정을 어떻게 투명하게 읽어내고 검증할 것인가 하는 문제는 온디바이스 인공지능이 대중화되기 전 반드시 풀어야 할 과제다.
참고 링크:
- Thinking Machines Lab 공식 기술 리포트
- Hacker News 커뮤니티 기술 토론
- DeepSWE 벤치마크 순위표