2026년 9월 17일, 글로벌 컴퓨팅 병목 현상에 대한 기존의 통념을 깨는 소식이 전해졌습니다. z.ai는 10만 개 이상의 중국산 AI 가속기로 구성된 초대형 클러스터에서 프로덕션급 추론 서비스를 밑바닥부터 구축한 과정을 공개했습니다. 단순한 실험적 검증에 그치지 않고, 현재 GLM-5.3-Flash의 전체 프로덕션 추론 트래픽이 이 비엔비디아(Non-NVIDIA) 시스템 위에서 실시간으로 처리되고 있습니다. 가장 핵심적인 부분은 개발 속도로, 새로운 하드웨어 위에서 모델을 처음 가동한 시점부터 프로덕션 환경의 트래픽을 견뎌내기까지 전체 배치 주기를 단 2주로 단축했습니다.
14일 만에 62조 개의 실제 토큰 처리
대외적으로 공식 발표되기 전, GLM-5.3-Flash는 전면적인 부하 스트레스 테스트를 거쳤습니다. ‘Ox-Alpha’라는 익명의 식별자로 개발자 커뮤니티인 OpenCode와 OpenRouter 플랫폼에 조용히 배포된 것입니다. 배포 후 불과 6일 만에 모델은 62조 개 이상의 토큰을 처리하며 두 플랫폼의 사용량 순위에서 즉시 1위를 차지했습니다. 이 막대한 동시 처리 수요는 가장 현실적인 프로덕션 환경 속에서 국산 인프라의 처리 역량을 엄격하게 검증해 냈습니다.
집중된 트래픽 부하는 시스템을 마비시키는 대신 기반 하드웨어에 잠재되어 있던 거대한 성능을 끌어내는 계기가 되었습니다. 단 2주간의 튜닝 기간 동안 전체 클러스터의 엔드투엔드 처리량은 초기 기준치 대비 약 3배 급증했습니다. 이러한 도약은 하드웨어 자원 활용 효율을 근본적으로 탈바꿈시켰으며, 토큰당 추론 비용을 현재 주류인 엔비디아 GPU 아키텍처와 대등한 수준까지 끌어내렸습니다. 비용 구조의 동등화는 소프트웨어 엔지니어링을 통해 생태계의 약점을 보완한다면, 비엔비디아 가속기 역시 치열한 상업적 논리 속에서 자립적인 선순환을 만들어낼 수 있음을 보여줍니다.
이 대규모 돌파 작업에서 핵심적인 역할을 수행한 것은 GLM-5.3 자신이 주도한 ‘인프라 에이전트(Infra Agent)‘였습니다. 모델이 직접 실행 과정에 개입하여 자신을 구동하는 물리적 인프라 환경을 구축, 디버깅하고 지속해서 최적화했습니다. 고성능 추론 모델을 활용해 저수준 연산 병목을 체계적으로 해결하는 접근법이 10만 개 칩 네트워크 환경에서 재현 가능한 실질적 엔지니어링 표준으로 자리 잡았습니다.
그림: GLM-5.3-Flash 엔드투엔드 처리량 발전 곡선. 출처: z.ai 공식 블로그
알고리즘으로 하드웨어 본연의 용량 한계 극복
개발팀은 프로젝트 초기 단계의 가혹한 엔지니어링 환경을 숨기지 않았습니다. 클러스터를 구성하는 국산 가속기는 메모리 용량과 칩 간 데이터 대역폭 측면에서 뚜렷한 물리적 한계를 안고 있었습니다. 게다가 함께 제공되는 소프트웨어 생태계는 매우 열악했고, 커널 드라이버 수준의 지원에는 수많은 오류가 존재했습니다. 수많은 핵심 기술 영역에서 필수적인 저수준 문서가 완전히 부재했기 때문에, 팀은 공학적 직관에 기반한 추측과 반복적인 리버스 엔지니어링에 의존해야 했습니다.
이러한 물리적 장벽을 극복하기 위해 인프라 엔지니어링 팀은 공격적인 소프트웨어 최적화 스택을 구축했습니다. 아키텍처 측면에서는 선형 어텐션(Linear Attention)과 LM 헤드에 노드 내 텐서 병렬 처리를 과감하게 적용하고, 내부 상태를 제어하기 위해 ReplaySSM을 도입했습니다. 메모리 점유율을 줄이기 위해 W8A8 양자화 기법을 전면 배포했으며, INT8, FP8, BF16을 조합한 혼합 정밀도 KV 캐시 양자화 방식을 구현했습니다. 마지막으로 레이어 분할(Layer Split) 기술과 전체적인 인코드-프리필-디코드(EPD) 분리 서빙 아키텍처를 결합하여 미세 단위 스케줄링으로 연산 오버헤드를 철저히 최소화했습니다.
이러한 정밀한 엔지니어링 조합은 모두 메모리와 대역폭의 병목을 돌파하는 데 집중되었습니다. 단일 칩의 비디오 메모리에 거대한 모델 파라미터를 담을 수 없고, 칩 간 통신 대역폭의 물리적 한계로 데이터 전송 속도가 제한될 때, 엔지니어들은 마이크로초 단위의 실행 분할과 정밀한 연산 스케줄링으로 하드웨어의 약점을 메웠습니다. 컴퓨팅 인프라의 미성숙은 프로젝트를 좌초시키는 대신, 쿠다(CUDA) 중심의 관성에서 완전히 벗어난 새로운 문제 해결 방식을 이끌어냈습니다.
그림: 고밀도 피드백을 기반으로 구축된 인프라 에이전트 최적화 루프. 출처: z.ai 공식 블로그
블랙박스를 해체하고 고밀도 피드백 루프 구축
14일이라는 짧은 시간 안에 저수준 코드 재작성을 마칠 수 있었던 가장 결정적인 원동력은 ‘고밀도 피드백(Dense Feedback)‘이라는 방법론이었습니다. 10만 개의 이기종 노드로 구성된 클러스터에서 시스템 디버깅을 수행할 때 가장 치명적인 문제는 원인을 알 수 없는 성능 저하입니다. 거대한 시스템에서 발생하는 불투명한 오류 메시지를 ‘어느 계층에서 문제가 발생했는지’, ‘왜 성능이 떨어졌는지’, ‘다음 단계로 무엇을 검증해야 하는지’로 신속하게 전환하는 역량이 최적화 속도의 핵심이었습니다.
블랙박스를 돌파하기 위해 최적화 팀은 세 가지 엄격한 피드백 원칙을 확립했습니다. 첫째, 피드백은 고도로 국소적이어야 합니다. 모니터링 시스템은 하드웨어 계층을 관통하여 구체적으로 실행된 커널 단위, 특정 환경의 발동 조건, 심지어 마이크로초 단위의 실행 구간까지 정확하게 찾아낼 수 있어야 합니다. 거대한 컴퓨팅 클러스터의 불확실성은 해체되어 국소적이고 관측 가능하며 제어 가능한 상태 조각으로 나뉘었습니다.
둘째, 피드백을 확보하는 데이터 비용은 극도로 낮아야 하며 피드백 속도는 즉각적이어야 합니다. 커널 수준의 단위 테스트나 로컬 마이크로 벤치마크를 통해 해결할 수 있는 성능 가설은 개발 단계에서 철저히 걸러냈으며, 전체 배포 환경으로 넘겨 위험을 감수하지 않았습니다. 셋째, 모든 최적화 작업은 객관적으로 검증 가능해야 합니다. 모든 저수준 코드 변경은 철저한 대조 실험에 근거해야 하며, 런타임 신호의 표면적인 상관관계에만 의존해 섣부른 결론을 도출하는 것은 엄격히 금지되었습니다.
그림: 추론 시스템 최적화 프로세스 개요. 출처: z.ai 공식 블로그
벤치마크 수치와 실사용 체감의 괴리: 개발자들의 반론
공식 블로그에 공개된 극적인 처리량 향상 곡선이 현장의 모든 엔지니어를 설득한 것은 아니었습니다. 해커뉴스(Hacker News)에 등록된 수백 개의 댓글 토론에서는 실사용 경험을 둘러싼 심각한 온도 차가 드러났습니다. 대규모 독자 클러스터를 단기간에 최적화한 성과에 놀라움을 표하는 개발자가 있는 반면, 직접 수집한 API 지연 시간 로그를 제시하며 공식 발표 데이터에 맞선 개발자들도 적지 않았습니다.
실제 프로덕션 환경의 사용자들은 복잡하고 긴 문맥을 다루는 환경에서 GLM의 API 응답 속도가 현저히 느리며, 지나치게 엄격한 동시 호출 제한이 적용되고 있다고 보고했습니다. 밤새 장시간 자율 추론 작업을 실행하려던 개발자들은 네트워크 불안정이나 할당량 제한 문제로 불과 몇 시간 만에 오류가 발생해 작업이 중단되곤 했다고 토로했습니다. 이러한 현실은 통제된 연구소 환경에서 측정된 벤치마크 결과와, 변수가 많고 가혹한 현실 네트워크 환경 사이의 피할 수 없는 괴리를 보여주었습니다.
기술 커뮤니티의 토론은 시스템 구현을 넘어 AI 모델의 안전성과 자율성에 대한 서사로까지 확장되었습니다. 글에서 묘사된 AI의 자율적 위험성이 실제 API 호출 시 체감되는 불안정한 서비스 역량과 지나치게 동떨어져 있다는 비판도 제기되었습니다. 동시에 해외 엔지니어들 사이에서는 전혀 다른 관점의 질문도 나왔습니다. 사양이 뒤처지는 10만 개의 칩이 알고리즘 혁신과 에이전트 자동화만으로 실용 기준선에 도달할 수 있다면, 막대한 자본과 최고급 GPU를 보유한 북미의 거대 빅테크 기업들은 왜 이와 같은 수준의 하드웨어-소프트웨어 통합 최적화를 보여주지 못했는가 하는 의문이었습니다.
반복 개선 속도가 재정의하는 하드웨어 경쟁의 기준선
개발을 주도한 아키텍처 팀은 이번 에이전트 중심의 엔지니어링 과정을 ‘재귀적 자기 개선(Recursive Self-Improvement, RSI)‘의 초기 형태로 규정했습니다. 모델 스스로가 자신의 실행 환경을 지탱하는 인프라 코드를 읽고, 이해하고, 분석하며 직접 수정하는 능력을 갖추기 시작한 것입니다. 다만 팀은 절제된 시각을 유지하며, 구체적인 최적화 목표 설정과 코드 수정 범위의 제한, 잠재적 안전 위험에 대한 평가는 여전히 인간 엔지니어가 통제권을 쥐고 있어야 한다고 인정했습니다.
2주간의 고강도 작업을 거쳐 완성된 이 시스템은 산업 전반에 확실한 메시지를 던졌습니다. ‘비엔비디아 국산 칩은 실사용이 불가능하다’는 오랜 고정관념은 오늘로써 절반 이상 유효성을 잃었습니다. 메모리 용량이 부족하고 통신 대역폭에서 불리한 열악한 하드웨어 플랫폼일지라도, 피드백 밀도를 극대화하고 고된 시행착오 코딩 작업을 대형 모델에 맡김으로써 토큰당 클라우드 추론 비용을 주류 GPU 벤더 수준까지 끌어내릴 수 있었습니다.
하드웨어 생태계의 격차가 단 2주간의 집중 최적화로 완전히 사라지지는 않을 것입니다. 진정한 승부처는 피드백의 해상도를 세밀하게 다듬은 후, 오류 감지부터 커널 복구까지 이어지는 순환 주기를 얼마나 짧게 압축할 수 있느냐에 달려 있습니다. 이 시스템이 보여준 것은 명확한 가능성의 한계입니다. 메모리와 대역폭에서 열세에 놓인 칩일지라도 반복 개선 속도를 통해 하드웨어 스펙의 열세를 부분적으로 대체할 수 있다는 사실입니다. 그 대체가 과연 어디까지 이어질 수 있을지는, 현재로서는 한 기업이 증명한 2주간의 데이터만이 유일한 지표입니다.
참고 링크:
