열쇠 하나가 자물쇠 구멍에 꽂혀 반 바퀴 돌아갔다. Sam Altman과 Broadcom CEO Hock Tan이 나란히 무대에 섰다. 두 사람의 손에는 300mm 실리콘 웨이퍼가 들려 있었고, 그 위에는 ‘Jalapeño’라 명명된 칩이 새겨져 있었다. 객석에서는 폭우 같은 셔터 소리가 쏟아졌다. 2026년 6월 24일, OpenAI가 마침내 첫 번째 하드웨어 카드를 꺼내 든 것이다.
공개된 정보에 따르면, Jalapeño는 전용 추론 ASIC으로, OpenAI와 Broadcom이 공동 개발했으며 TSMC 3nm 공정으로 제조되었다. 8개의 HBM 스택을 탑재했고, die 면적은 reticle limit에 근접한다. 칩은 systolic array 아키텍처를 채택했는데, 웨이퍼 사진에서 고도로 반복되는 기둥 형태의 floorplan이 관찰되며, 이는 Broadcom이 과거 Google TPU의 물리 설계를 담당했던 프로젝트에서도 유사한 특징이 나타난다. 첫 번째 엔지니어링 샘플은 이미 GPT-5.3-Codex-Spark에서 실행 중이며 목표 클럭과 전력 소비를 달성했다.
OpenAI의 공식 성명 중 한 문장이 칩 커뮤니티의 집단적인 반문을 불러일으켰다. “설계부터 양산까지, 단 9개월이 걸렸다.” Bloomberg의 보도는 Hock Tan의 발언을 덧붙였다. 일반적인 GPU 추론 방식 대비 Jalapeño가 약 50%의 비용을 절감할 수 있다는 것이다. 두 데이터를 연결하면 이번 발표의 핵심 내러티브가 완성된다. 빠르고, 저렴하다.
하지만 이 ‘9개월’은 도대체 무엇의 9개월인가? HN 토론장에서 스스로를 칩 회사 CEO라고 밝힌 사용자 ‘zgao’가 엔지니어링 관점의 분석을 내놓았다. ‘설계’가 RTL freeze(프론트엔드 논리 설계 동결)를, ‘양산’이 tapeout(파운드리에 제출)을 의미한다면, 3nm 공정의 대형 복합 칩에 9개월은 “상당히 평범하고, 오히려 그다지 인상적이지 않은 일정”이라는 것이다. 그러나 ‘컨셉 단계’에서 — 아키텍처 블록 다이어그램조차 없고 RTL이 한 줄도 작성되지 않은 상태에서 — tapeout까지 단 9개월이라면, 이는 진정으로 놀라운 일이다. 그런데 OpenAI는 시작점과 종료점의 구체적 마일스톤을 명시하지 않았기에, “진실은 아마 그 중간 어딘가에 있을 것”이다.
또 다른 사용자 ‘sharkjacobs’는 더 직설적이었다. AI 모델이 칩 설계에 정말로 큰 역할을 했다면, OpenAI가 “우리 모델이 설계와 최적화 과정을 가속화했다”고 모호하게 언급하는 데 그쳤을 리 없다는 것이다. 이는 “Microsoft Office가 우리의 개발을 가속화했다”는 말처럼 PPT를 채우는 레토릭에 불과하게 들린다. 필자는 이 발언이 사실과 마케팅 사이 어딘가에 있다고 본다. Verilog와 SystemVerilog 같은 하드웨어 기술 언어(HDL)는 실제로 LLM의 학습 코퍼스에 일부 포함되어 있으며, testbench 자동 생성 또한 업계에서 이미 시도되고 있는 방향이다. OpenAI는 지난 몇 달간 칩 설계 AI 분야 인력을 상당수 채용했다. 하지만 Google DeepMind AlphaChip 같은 완전한 툴체인이 이미 형성되었다고 볼 만한 공개 증거는 현재까지 없다.
여기서 칩 산업의 핵심적인 분업 구조가 관련된다. 프론트엔드 설계(frontend)와 백엔드 구현(backend)이다. 프론트엔드는 아키텍처 정의와 RTL 작성으로, 이 부분은 대체로 OpenAI의 하드웨어 팀이 주도했을 것이다. 책임자인 Richard Ho는 전 Google TPU 프로젝트의 하드웨어 총괄로, TPU 시절부터 Broadcom과 협업해 왔다. 백엔드는 RTL을 GDS(칩의 레이어별 ‘Photoshop 파일’로 이해할 수 있다)로 변환하는 물리적 구현과, 이후의 공급망 관리, 패키징, 테스트 — 이 부분에서 Broadcom은 절대적인 베테랑이다. 누군가는 신랄하지만 정확하게 이렇게 평가했다. “OpenAI가 아키텍처 정의를 했고, Broadcom이 나머지 전부를 했다.”
이 분업 구조를 이해한다면, ‘9개월’의 합리성은 어디서부터 시계를 작동시키느냐에 달려 있다. RTL freeze부터 tapeout까지라면, 기성 IP 라이브러리와 성숙한 설계 플로우를 보유한 Broadcom에게 9개월은 정상적인 공기다. 컨셉 설계부터 tapeout까지라면 9개월은 거의 불가능에 가깝다 — 칩 설계는 소프트웨어 이터레이션이 아니며, 실리콘의 오차 허용 범위는 제로다.
기술적 세부 사항을 더 살펴보자. Jalapeño는 순수 추론(inference) 전용으로, 훈련(training)은 수행하지 않는다. 이 선택에는 명확한 경제적 논리가 있다. 훈련은 일회성 비용이고, 추론은 지속적 비용이다. OpenAI가 ChatGPT, Codex, API 등 제품군을 통해 매일 처리하는 방대한 추론 요청이야말로 실제로 수익을 갉아먹는 거대한 괴물이다. 추론을 Nvidia GPU에서 옮기기만 해도 30-50%만 절감하더라도, 대규모 운영에서는 연간 수십억 달러의 비용 차이가 발생한다.
칩 아키텍처 측면에서, Jalapeño는 systolic array와 고정 기능 하드웨어의 하이브리드 설계를 채택했으며, Transformer 계열 모델의 순전파(forward propagation)에 최적화되어 있다. 이는 Google TPU v1의 설계 철학과 유사한 점이 있다 — 당시 TPU v1 역시 순수 추론 칩이었고, 92 TOPS@INT8, 소비 전력 40W로 추론 에너지 효율에서 동시대 GPU를 한 자릿수 이상 앞섰다. 그러나 Google은 TPU를 8세대까지 발전시키는 데 꼬박 10년을 투자하며 추론부터 훈련까지 전체 워크플로우를 커버했지만, OpenAI는 이제 막 첫걸음을 뗀 상태다.
이 칩을 경쟁 구도 속에서 어떻게 평가할 것인가? 업계 트렌드로 보면, AI 기업의 자체 칩 개발은 이미 선택이 아닌 시간표의 문제가 되었다. Google TPU는 이미 7/8세대고, AWS에는 Trainium2와 Inferentia2가 있다. Meta의 MTIA 시리즈는 Broadcom과 협력하여 2nm까지 추진 중이다. Anthropic 또한 자체 칩 경로를 모색 중이며, AWS Trainium으로 Claude를 훈련하는 것은 이미 공개된 정보다. 이 트렌드의 동인은 분명하다. 모델 아키텍처, 연산자 조합, 배치 처리 패턴이 모두 내부 지식일 때, 범용 GPU에는 불필요한 기능을 위해 전력을 소비하는 수많은 트랜지스터가 존재한다.
그러나 여기에는 자주 논의되지 않는 리스크가 있다. 타이밍 윈도우다. Nvidia의 Vera Rubin은 2026년 하반기 출하 예정이며, 공식 발표 기준 Blackwell 대비 추론 에너지 효율이 10배 향상되었다. Jalapeño의 첫 배치는 2026년 말로 예정되어 있고, 실제 규모화는 2027년에 달성될 가능성이 높다 — 그때쯤이면 Vera Rubin Ultra나 Feynman과 맞닥뜨리게 될지도 모른다. 한 HN 사용자의 냉철한 판단은 이렇다. “기가와트급 전력 할당량을 보유하고 있다면, 최고의 칩만 설치할 것이다. Nvidia의 칩이 더 낫다면, 이 프로젝트는 수십억 달러를 낭비하는 셈이다.”
물론 Jalapeño의 의미는 단순한 칩 하나에 그치지 않는다. 이는 OpenAI가 ‘풀스택 수직 통합’으로 나아가는 중요한 한 걸음이다. OpenAI는 블로그에서 이렇게 적었다. 그들은 모델과 제품을 개발할 뿐만 아니라, 하부 인프라를 설계하고 있다. “칩 아키텍처, 커널, 메모리 시스템, 네트워킹, 스케줄링, 배포 시스템, 제품 경험.” 이 표현은 Apple이 Intel 칩 구매에서 자체 M 시리즈로 전환한 경로를 연상시킨다. 그러나 AI 분야에서 이 경로의 불확실성은 훨씬 크다 — 모델 아키텍처가 여전히 빠르게 진화하고 있으며, MoE(혼합 전문가), 심층 추론 체인, 긴 컨텍스트, 이 모든 변화가 최적화된 하드웨어 설계의 전제 가정을 바꿀 수 있다.
피할 수 없는 서사적 배경이 하나 있다. 이번 발표는 OpenAI의 IPO를 앞둔 하이라이트일 가능성이 크다. 수백억, 어쩌면 천억 달러 규모의 밸류에이션은 하드웨어 스토리가 뒷받침해 줘야 한다. “우리가 직접 칩을 만들 수 있다”는 말이 투자자에게 주는 매력은, 칩 자체가 추론 비용을 낮추는 효과 못지않을 수 있다. Jalapeño의 기술적 가치는 객관적으로 존재하지만, 발표 타이밍이 갖는 공적 서사 기능 또한 정당하게 직시할 필요가 있다.
공개 정보로 볼 때, Jalapeño의 기술 노선은 합리적이다. 그러나 그것이 직면한 경쟁 — Nvidia의 이터레이션 속도, Google TPU의 성숙도, 2027년에야 현실화될 배치 일정 — 은 모두 실질적인 도전 과제다. 9개월이라는 내러티브에는 다소 과장이 섞여 있을지 모르지만, 방향 자체는 틀리지 않았다. AI의 하드웨어 시대는 ‘Nvidia를 구매하는 것’에서 ‘직접 만드는 것’으로 전환 중이며, Jalapeño는 이 길 위에 놓인 가장 최신의, 그리고 가장 화제성이 큰 이정표다.
이상의 분석은 현재 공개된 정보와 커뮤니티 논의를 기반으로 합니다. 칩 설계에 대한 더 깊이 있는 직접 경험이 있으신 분은 본문의 부족한 점을 지적해 주시기 바랍니다.