700와트 칩이 1,400와트 거인을 넘어섰습니다.
8월 25일, OpenAI는 Hot Chips 2026 컨퍼런스에서 자체 개발 추론 칩인 Jalapeño의 첫 번째 실측 데이터를 공개했습니다. SemiAnalysis InferenceX 벤치마크 기준, Jalapeño는 킬로와트당 토큰 처리량에서 NVIDIA Blackwell GB300의 1.5배에서 1.9배를 기록했으며, 엔드투엔드 지연 시간은 1.7배에서 3.6배 낮췄습니다. 경쟁 제품 대비 절반의 소비전력으로 더 높은 출력을 낸 이 결과의 핵심은 숫자 그 자체보다, AI 연산 경쟁의 승패 기준이 ‘얼마나 빠른가’에서 ‘얼마나 적은 전력으로 더 많은 토큰을 만드는가’로 조용히 이동했다는 점에 있습니다.
그림: Jalapeño 칩 공식 메인 비주얼. 출처: OpenAI
통상 3년 걸리는 작업을 16개월 만에 완수
Jalapeño는 OpenAI가 브로드컴(Broadcom)과 공동 설계한 맞춤형 추론 전용 ASIC(특정 용도 반도체)입니다. TSMC 3nm 공정과 4세대 고대역폭 메모리(HBM4)를 탑재했으며, 열설계전력(TDP)은 약 700W 수준입니다. 2024년 중반 설계를 시작해 2026년 6월 공식 발표를 거쳐 8월 실측 결과를 공표하기까지 전체 과정에 약 16개월이 걸렸습니다. 반도체 업계의 통상적 관례에 따르면, 신규 ASIC을 처음부터 설계해 테이프아웃(설계 완료)까지는 최소 3년 이상이 소요됩니다.
SemiAnalysis는 이 개발 속도를 ‘AI 기술을 활용한 칩 설계 가속’이 실제로 작동한 증거라고 평가했습니다. AI 도구가 칩 설계 파이프라인 자체를 획기적으로 단축했다는 의미입니다. 반도체 산업에서 16개월의 개발 기간은 극히 이례적인 수치입니다. OpenAI는 현장 발표에서 Codex 프롬프트를 활용해 포팅한 Doom 게임을 이 칩 위에서 구동하는 시연을 진행했습니다. 이는 Jalapeño가 자사 전용 모델에 국한되지 않고 다양한 모델 가중치를 처리할 수 있는 범용 추론 엔진임을 입증합니다.
절대 성능보다 에너지 효율이 더 중요한 이유
Jalapeño가 거둔 성과의 의미를 이해하려면 먼저 현재 데이터센터가 직면한 치명적인 병목 현상을 파악해야 합니다.
젠슨 황(Jensen Huang) NVIDIA CEO는 Computex 2026에서 “1기가와트의 전력이 있다면, 와트당 처리량이 곧 당신의 매출”이라고 언급한 바 있습니다. SemiAnalysis의 진단은 더욱 직설적입니다. “오늘날의 데이터센터는 전력 한계에 봉착해 있다.” 전력망 연결 승인을 기다리는 대기 시간이 데이터센터 물리적 건설 주기를 훨씬 초과하고 있습니다. xAI가 Colossus 2 클러스터에 전력을 공급하기 위해 자체 가스타빈 발전기까지 설치해야 했던 상황이 이 문제의 심각성을 단적으로 보여줍니다. 자본은 투입할 수 있지만, 전력망은 원하는 대로 즉시 연결할 수 없습니다.
이러한 환경에서 1와트당 생산하는 토큰의 양은 1kWh의 전력이 창출하는 매출로 직결됩니다. Jalapeño가 절반의 소비전력으로 1.5~1.9배의 처리량을 달성한 것은 동일 전력 기준으로 비교했을 때 격차가 훨씬 더 벌어짐을 의미합니다. OpenAI가 에너지 효율성을 핵심 전장으로 선택한 이유는 현시대의 물리적 제약 속에서 승리할 수 있는 판이기 때문입니다.
벤치마크의 가치와 검토 사항
그림: InferenceX 벤치마크 기준 각 칩의 메가와트당 토큰 처리량 비교. Jalapeño가 전 구간에서 우위를 보이고 있습니다. 출처: SemiAnalysis / OpenAI
인상적인 실측 수치에도 불구하고, SemiAnalysis는 함께 고려해야 할 세 가지 제약 사항을 제시했습니다.
첫째, 모든 실측 수치는 OpenAI가 직접 제공한 데이터입니다. SemiAnalysis 팀이 연구소를 방문해 실제 하드웨어에서 InferenceX 벤치마크가 구동되는 것을 확인했으나, 독립적인 전체 테스트를 직접 수행한 것은 아닙니다. 둘째, 보다 공정한 비교 대상은 Blackwell GB300이 아니라 동일하게 HBM4를 사용하는 NVIDIA Vera Rubin이어야 합니다. Vera Rubin은 이미 양산 출하가 시작된 반면, Jalapeño는 현재 엔지니어링 샘플 단계입니다. 셋째, 테스트에 사용된 모델이 현재 가장 거대한 프론티어 모델이 아니라는 점에서 적용 범주의 한계가 존재합니다.
기술적으로 눈여겨볼 세부 사항도 있습니다. Jalapeño의 이번 성과는 추측적 디코딩이나 Prefill-Decode 분리를 적용하지 않은 ‘단일 토큰 예측(STP)’ 모드에서 나온 결과입니다. 반면 비교 대상인 경쟁 칩들은 최적화 설정과 함께 ‘다중 토큰 예측(MTP)’ 기법이 적용된 최상의 조건이었습니다. 그럼에도 Jalapeño의 STP 처리량은 NVIDIA가 7월에 발표한 Vera Rubin의 MTP 성적조차 앞섰습니다. 이는 OpenAI에게 추가적인 최적화 여력이 남아있음을 뜻합니다.
고객의 손으로 안에서부터 뚫린 NVIDIA의 해자
OpenAI는 과거 NVIDIA의 가장 큰 고객 중 하나였습니다. 그 OpenAI가 에너지 효율 측면에서 NVIDIA의 플래그십을 넘어서는 칩을 만들고 그 비교 데이터를 공개적으로 발표한 것입니다.
이 사건이 지닌 구조적 의미는 단순한 기술적 성과를 뛰어넘습니다. 반도체 산업은 장기간 진입 장벽에 둘러싸여 있었습니다. 3년의 개발 주기, 수십억 달러의 R&D 비용, 수율 리스크 등이 결합되어 “자체 칩을 만들 여력이 없는 고객은 NVIDIA를 살 수밖에 없다”는 강력한 해자를 형성했습니다. Jalapeño의 16개월 테이프아웃은 ‘3년 개발 주기’라는 성벽을 무너뜨렸습니다. AI 도구의 지원이 있다면 이 해자를 훨씬 짧은 시간 안에 건너뛸 수 있음을 OpenAI가 증명해 보였습니다. 마이크로소프트 Maia, 구글 TPU, 아마존 Trainium 역시 유사한 행보를 보이고 있지만, 이번 OpenAI만큼 정면으로, 그리고 공공연하게 도전한 사례는 없었습니다.
AI 모델 기업들의 자체 칩 개발은 본래 NVIDIA 의존도를 낮추고 비용을 절감하기 위한 목적이었습니다. 하지만 Jalapeño의 데이터는 이제 이것이 단순한 비용 통제를 넘어, 에너지 효율이라는 새로운 전장에서 정면 대결이 가능한 수준에 도달했음을 보여줍니다.
엔지니어링 샘플 단계의 Jalapeño에서 DeepSeek R1은 단일 동시성 기준 사용자당 700+ tokens/s를 기록했으며, Kimi-K2.5와 GPT-OSS는 약 1,400 tok/s/user에 달했고 GSM8k 정확도는 NVIDIA 칩과 대등한 수준을 보였습니다. 이는 시제품 단계의 수치로, 향후 양산 단계에서 추가 성능 향상이 기대됩니다.
게임의 규칙이 바뀌었다
Jalapeño는 아직 양산 제품이 아닙니다. 엔지니어링 샘플이며, 비교 대상 선정에 관한 논란이 존재하고, 수치 또한 OpenAI가 자체 제공했습니다. 이러한 신중론은 모두 타당합니다.
그럼에도 불구하고 이 사건은 AI 연산의 경쟁 차원이 실질적으로 이동했음을 명확히 보여줍니다. ‘누가 더 많은 FLOPs를 보유했는가’에서 ‘누가 더 적은 전력으로 더 많은 토큰을 생산하는가’로의 이동은 마케팅이 아닌 데이터센터의 물리적 제약에 의해 결정된 변화입니다. NVIDIA는 이 새로운 차원에서 경쟁자가 없었으나, Jalapeño의 등장으로 처음으로 자사 핵심 고객으로부터의 정면 도전을 받게 되었습니다. 이제 던져진 질문은 분명합니다. OpenAI의 자체 칩이 양산에 들어가고 다른 대형 모델 기업들이 동참할 때, 이 새로운 경쟁 속에서 NVIDIA의 가격 결정권은 약화될 것인가?
참고 링크:
- SemiAnalysis: OpenAI Jalapeño - Better Than Nvidia Blackwell
- OpenAI 공식 블로그: Jalapeño’s first results show industry-leading performance
- Tom’s Hardware: OpenAI’s 700W Jalapeño ASIC outpaces 1,400W Nvidia flagship
- TechCrunch: OpenAI’s Jalapeño chip is built for fast inference at scale
- HN 토론 (item?id=49434378)
