3조 파라미터 모델을 배포할 때 일반적인 업계 관행은 대용량 HBM을 장착한 수백 대의 고성능 GPU를 동원하는 것이다. 그러나 가속기 간 빈번한 텐서 동기화 통신 오버헤드로 인해 토큰 생성 속도는 초당 수십 개 수준에 머물기 마련이다. Cerebras는 전혀 다른 아키텍처 경로를 택했다. 59장의 WSE-3T 웨이퍼를 연동하여 초당 1,000~2,000 토큰의 처리량을 달성했다.
이 배포 방식은 전체 모델을 단일 공유 메모리 풀에 밀어 넣는다는 기존 전제를 완전히 탈피했다. 엔지니어들은 93개 레이어 네트워크를 분할하여 59장 웨이퍼의 온칩 SRAM에 가중치를 영구 고정했다. 칩 간 통신에는 마이크로초 단위의 활성화(activation) 값 전달만 남았다. 칩은 이제 단순한 저장 용기의 역할을 벗어나 하드웨어 파이프라인 상의 물리적 조립 스테이션으로 진화했다.
93개 레이어를 59장 웨이퍼에 분할, 온칩 SRAM에 가중치 영구 고정
프론티어 LLM 추론의 고질적인 병목 지점은 메모리 대역폭이었다. 파라미터가 3조 개로 늘어나면 4비트 양자화를 적용해도 가중치 크기가 1.5TB에 달한다. 기존 GPU는 토큰을 하나 생성할 때마다 외부 메모리에서 연산 코어로 방대한 가중치를 반복적으로 전송해야 했고, 이러한 데이터 이동이 생성 속도를 메모리 벽에 가두어 놓았다.
단일 WSE-3T 웨이퍼는 44GB 온칩 SRAM과 53.5PB/s의 칩 내 네트워크 대역폭을 제공한다. Kimi K3의 93개 레이어는 한 계층당 평균 약 16GB의 가중치를 차지하여 단일 웨이퍼 용량에 정확히 들어맞는다. 엔지니어들은 각 레이어의 매개변수를 웨이퍼에 직접 적재하고 고정하여, 외부 메모리 접근으로 인한 지연을 원천적으로 차단했다.
가중치가 온칩에 고정되면서 전체 네트워크는 긴 실리콘 회랑 형태로 펼쳐졌다. 각 웨이퍼는 자신에게 할당된 레이어 연산만 수행하며, 연산 코어와 로컬 메모리가 긴밀하게 결합된다. 데이터는 하드웨어의 물리적 토폴로지를 따라 순차적으로 흐르며, 모델 구조가 하드웨어 실리콘 위에 그대로 투영된다.
그림: Kimi K3 계층 구조와 웨이퍼 할당 계획. 출처: Cerebras 공식 블로그
선형 어텐션과 밀집 어텐션 분리, 바이트 단위 SRAM 최적화
Kimi K3는 69개의 선형 어텐션 레이어와 24개의 밀집(Dense) 어텐션 레이어를 혼합한 구조를 갖추고 있다. Cerebras 공식 벤치마크는 평균 컨텍스트 길이 256k 토큰, 4비트 가중치, 8비트 KV 캐시 환경을 기준으로 진행되었다. 두 가지 어텐션 메커니즘은 메모리 요구 특성이 크게 다르기 때문에 웨이퍼 분할 설계를 정교하게 최적화해야 했다.
선형 어텐션 계층은 추론 시 고정된 크기의 히든 상태만 유지하면 된다. 이 상태 유지 비용은 입력 컨텍스트 길이가 늘어나도 증가하지 않는다. 선형 2개 층의 가중치 합계는 32GB이며, 단일 웨이퍼에 고정 상태를 위한 12GB 버퍼를 남길 수 있다. 따라서 69개 선형 계층은 35장의 웨이퍼만으로 모두 수용된다.
반면 밀집 어텐션 계층은 컨텍스트 확장에 따른 메모리 압박을 고스란히 받는다. 256k에 달하는 초장문 시퀀스에서는 처리 중인 요청마다 키-값(KV) 캐시가 계속 축적된다. 이에 팀은 밀집 계층 1개당 웨이퍼 1장을 통째로 할당하는 방식을 취했다. 각 웨이퍼에 16GB 가중치를 두고, 나머지 28GB SRAM을 동적 KV 캐시 전용으로 비워 두었다. 24개 밀집 계층에 24장, 선형 계층에 35장을 배정하여 총 59장의 웨이퍼 클러스터가 완성되었다.
칩 간에는 활성화 값만 전송, 2마이크로초 홉으로 파이프라인 완성
가중치가 온칩에 고정되면서 칩 간 통신의 성격도 근본적으로 바뀌었다. 기존 분산 환경에서는 장치 간 텐서 조각을 동기화해야 했기에 인터커넥트 대역폭이 전체 처리량을 제약했다. 반면 Cerebras의 파이프라인 링크를 따라 이동하는 것은 각 계층의 연산 결과인 활성화 값뿐이다.
단일 포워드 단계에서 전달되는 활성화 데이터 크기는 보통 수 메가바이트에 불과하다. CS-4 아키텍처에서는 단일 랙에 3장의 웨이퍼가 집적되어 웨이퍼 간 지연 시간이 2마이크로초 수준으로 단축된다. 활성화 값은 RDMA over Ethernet을 통해 전송되며, 2마이크로초의 홉 지연은 파이프라인 흐름을 거의 방해하지 않는다.
그림: 여러 웨이퍼를 직렬 연결한 파이프라인 통신 토폴로지. 활성화 값은 RDMA 이더넷을 통해 전달된다. 출처: Cerebras 공식 블로그
그림: 단일 요청이 각 웨이퍼 단계를 거치는 파이프라인 조립 라인 관점. 출처: Cerebras 공식 블로그
전체 시스템은 거대한 산업 조립 공장처럼 작동한다. 첫 번째 웨이퍼가 입력을 처리하고 나면 활성화 값이 다음 작업 단계로 즉시 전송된다. 이전 단계의 웨이퍼는 즉시 비워져 다음 요청의 연산 명령을 곧바로 수용한다. 59장의 웨이퍼가 유기적으로 맞물려 작동하며, 개별 요청의 처리 지연 시간은 하드웨어 물리적 한계 수준까지 압축된다.
초당 2,000토큰 이면의 한계: SRAM 용량이 결정하는 동시성 상한선
파이프라인 아키텍처는 각기 다른 조립 단계에서 서로 다른 요청을 동시에 처리할 수 있도록 돕는다. 3단계에서 사용자 A의 데이터를 계산하는 동안, 2단계에서는 사용자 B의 마이크로 배치를 동시에 처리할 수 있다. 처리 중인 동시 요청 수는 파이프라인 단계 수에 마이크로 배치 크기를 곱한 값에 대략 비례한다. 배치가 작을수록 단일 사용자 응답 속도가 빨라지고, 배치가 클수록 시스템 전체 처리량이 늘어난다.
하지만 극단적인 단일 사용자 생성 속도는 엄격한 용량 제약을 수반한다. 시스템이 감당할 수 있는 최대 동시 처리량은 24장의 밀집 어텐션 웨이퍼에 탑재된 온칩 SRAM 용량에 의해 절대적으로 제한된다. 각 활성 세션은 모든 밀집 웨이퍼에서 고유한 KV 캐시 공간을 확보해야 하므로, 28GB의 가용 공간이 동시 처리 용량의 상한선을 결정한다.
온칩 SRAM은 초당 수천 토큰의 생성 속도를 제공하지만, 동시 처리 유연성을 제한한다. 기존 GPU 클러스터는 개별 요청 지연은 길지만 대용량 메모리 풀 덕분에 수만 건의 동시 접속을 수용할 수 있다. 웨이퍼 방식에서는 캐시가 소진되면 버퍼 여력이 즉시 고갈된다. 동시 처리 용량을 확장할 수 있는 유일한 방법은 또 다른 59장 웨이퍼 파이프라인을 통째로 구축하는 것뿐이다.
단일 사용자 극속 vs 대규모 동시성: 갈라지는 두 갈래 연산 인프라 노선
Kimi K3는 벤치마크 평가에서 최정상급 성능을 입증했다. Terminal-Bench 2.1에서 88.3%를 기록하며 GPT-5.6 Sol의 88.8%에 근접했고, BrowseComp에서는 91.2%로 Sol의 90.4%를 근소하게 앞섰다. 테스트 결과는 오픈 가중치 모델이 복잡한 자율 에이전트 작업에서도 안정적인 성능을 발휘함을 보여주었다.
이러한 성과는 추론 효율성을 측정하는 업계 평가 기준에도 분화를 가져오고 있다. 오랜 기간 업계는 동시 접속 수와 배치 처리량을 주된 지표로 삼아왔다. 그러나 Cerebras는 보장된 출력 속도 기준에서 ‘메가와트당 생성 토큰 수’로 평가 척도를 전환할 것을 제안한다. 이 지표는 전력을 실시간 대화형 상호작용 역량으로 얼마나 효율적으로 전환하는지를 정확히 반영한다.
두 하드웨어 노선은 비즈니스 환경에서 극명하게 대비되는 선택지를 제시한다. 자율 에이전트의 반추 및 추론 루프에는 즉각적인 반응이 필수적이므로 웨이퍼 파이프라인이 대기 시간을 효과적으로 제거한다. 반면 수많은 일반 사용자가 동시에 유입되는 대규모 퍼블릭 API 환경에서는 기존 GPU 메모리 풀이 여전히 뛰어난 경제적 유연성을 유지한다.
59장의 웨이퍼로 3조 파라미터 모델을 원활하게 구동한 성과는 거대 모델의 메모리 벽을 허무는 물리적 돌파구를 열었다. 칩을 단순 저장소가 아닌 파이프라인의 작업 공간으로 재정의한 이 설계는 프론티어 인공지능 추론의 지연 한계를 새롭게 정립했다. 향후 하드웨어 경쟁은 다차원 물리적 토폴로지 속에서 데이터 흐름을 얼마나 유연하고 빠르게 유지하느냐에 달려 있을 것이다.
참고 자료:
- Cerebras 공식 기술 블로그: How We Deploy Trillion-Parameter Frontier Models on Cerebras
- Kimi K3 아키텍처 및 벤치마크 보고서
- Cerebras CS-4 시스템 아키텍처 백서
