AI 모델을 실리콘 웨이퍼에 직접 「각인」하는 기술을 보유한 스타트업이 반도체 거인 AMD에 인수되었습니다. 2023년 토론토에서 설립된 스타트업 Taalas는 자사 칩이 최고급 GPU보다 48배 빠르게 AI를 구동하며, 초당 1만 7000개 토큰을 출력하면서도 전력 소비를 획기적으로 줄일 수 있다고 주장합니다. 인수 금액은 공개되지 않았으며, 거래는 올해 4분기에 완료될 예정입니다. AI 업계가 「AI 구동 비용의 고비용 문제」를 두고 가격 전쟁을 벌이는 가운데, AMD의 이번 인수는 완전히 다른 기술 노선에 베팅한 것입니다.
모델이란 무엇인가: 긴 숫자 열, 그리고 하나의 레시피
「AI를 칩에 각인한다」는 개념을 이해하려면 먼저 AI 모델이 무엇인지 알아야 합니다. 학습을 마친 대형 언어 모델의 본질은 수억 개에서 수조 개에 달하는 숫자 열이며, 업계에서는 이를 「가중치(Weight)」라고 부릅니다. 이 숫자들이 AI가 응답하는 방식을 결정합니다. 예를 들어 「오늘 날씨가」라는 입력을 받으면 「어떤가요」를 이어 붙이는 식입니다. 비유하자면 모델은 레시피와 같습니다. 밀가루 몇 그램, 설탕 몇 그램, 오븐 온도 몇 도 등 숫자로 이루어진 조리 과정 전체가 그 안에 담겨 있습니다.
그렇다면 일반적인 GPU는 AI를 어떻게 구동할까요? GPU는 「만능 조리기구」입니다. 조리대 위에 레시피를 펼쳐놓고 재료를 배치한 뒤, 레시피를 읽으면서 재료를 계량하고 동시에 요리를 진행합니다. 장점은 어떤 요리 레시피든 다 만들 수 있다는 것입니다. 단점은 요리를 만들 때마다 레시피를 다시 읽고 재료를 다시 계량해야 하므로 시간과 전력이 소모된다는 점입니다.
Taalas는 발상을 전환했습니다. 레시피를 냄비 바닥에 직접 각인해 버린 것입니다. 냄비 자체가 그 요리를 만드는 법을 이미 알고 있으므로, 레시피를 읽을 필요도 계량할 필요도 없습니다. 불만 켜면 요리가 즉시 완성됩니다. 이 「냄비」는 특정 요리 하나만을 위해 맞춤 제작되었습니다. 그 요리가 바로 하나의 특정 AI 모델입니다. 칩이 공장에서 출하되는 순간, 모델의 숫자는 회로라는 물리적 형태로 실리콘 안에 영구히 고정됩니다. 이 칩은 해당 모델 하나만 실행할 수 있고 다른 작업은 전혀 수행하지 못하지만, 그 단일 모델을 구동하는 속도는 압도적입니다.
사진: Taalas의 HC1 데모 보드. 모델이 회로 형태로 칩 안에 고정되어 있다. 출처: taalas.com
초당 1만 7000토큰: 책 한 권을 십수 초 만에 작성
Taalas의 주장은 단순한 구상에 머물지 않습니다. 올해 2월 Taalas는 TSMC의 6나노 공정을 적용한 첫 번째 테스트 칩 HC1의 테이프아웃(시제품 제작)을 완료했습니다. 칩 내부에는 Meta의 오픈소스 모델인 Llama 3.1 8B(80억 개 파라미터)가 각인되어 있습니다. 실측 테스트 결과 초당 1만 7000토큰을 생성했습니다. 토큰은 AI가 다루는 기본 단위로, 1토큰은 대략 단어 0.5개에서 1개에 해당합니다.
일반 사용자 시각에서 이 속도가 의미하는 바를 측정해 보겠습니다. 현재 ChatGPT 같은 서비스의 생성 속도는 초당 수십 토큰 수준으로, 사람의 눈으로 겨우 따라갈 정도입니다. 초당 1만 7000토큰은 초당 수만 단어에 해당하며, 10만 단어 분량의 책 한 권을 10여 초 만에 써 내려가는 속도입니다. 공식 발표 기준으로는 NVIDIA GPU 대비 48배 빠른 속도이며, NVIDIA H200 GPU(초당 약 230토큰)를 기준선으로 산출하면 약 74배에 달합니다. 산출 기준에 따라 수치는 차이가 나지만, 수십 배에 달하는 동일한 차원의 속도 향상입니다.
사진: Taalas 공식 제공 단일 사용자당 초당 토큰 수 비교 (Llama 3.1 8B 모델, NVIDIA H200 기준선). 출처: taalas.com
공학적 판단으로는 이는 단일 사용자, 단일 모델 기준의 이상적인 테스트 데이터이며, 실제 데이터센터 환경에서의 성과는 일정 부분 감안해야 합니다. 그러나 반으로 깎아 계산하더라도 AI 추론의 비용 구조를 다시 쓰기에 충분한 수치입니다.
이것이 왜 가치 있는가: AI가 답변할 때마다 돈이 타들어간다
AI 운용에는 돈이 들어가는 두 가지 단계가 있습니다. 학습(Training)은 모델에 데이터를 학습시키는 단계로, 한 번에 수억 달러가 소요되지만 단 한 번만 집행됩니다. 추론(Inference)은 모델이 배포된 후 사용자의 질문에 답할 때마다 다시 계산을 수행하는 단계로, 지속적인 운영 비용이 발생합니다. 사용자가 ChatGPT에 질문을 던질 때마다 백엔드에서는 GPU가 풀가동되며 전력이 소비됩니다.
추론 비용은 현재 AI 대중화의 가장 큰 병목 요소입니다. 지난 2년간 수많은 기업이 추론 가격 전쟁을 벌이며 응답당 단가를 낮춰왔지만, 이는 마진을 깎아 점유율을 바꾼 것에 불과합니다. Taalas가 제안한 것은 아키텍처 측면의 해결책입니다. 모델을 실리콘에 식각(etching)하고 나면, 수백 GB에 달하는 가중치 데이터를 메모리에서 반복적으로 읽어오고 이동시킬 필요가 없습니다. 회로 자체가 데이터이기 때문입니다. Taalas는 2월 인터뷰에서 모델을 실리콘에 각인하는 비용이 첨단 모델을 학습시키는 비용보다 100배 저렴하다고 밝혔습니다. 이는 자사의 주장으로 독립적인 검증이 필요하지만, 대략적인 방향성은 타당합니다. 시제품 제작 비용이 아무리 높더라도 수천억 파라미터 모델의 학습 비용을 넘어서지는 못합니다.
만능 조리기구 vs 전용 냄비: 두 노선의 대립
이 지점에서 아키텍처 노선 구도가 명확해집니다.
GPU는 범용 노선입니다. 어떤 모델이든 실행할 수 있으며, 모델이 업그레이드되더라도 소프트웨어만 업데이트하면 하드웨어를 변경할 필요가 없습니다. 대가는 효율성입니다. 「모든 것을 계산할 수 있도록」 회로 내부에 사용되지 않는 범용 로직이 대량으로 포함되어 있어 전력 소비가 크고 발열이 심하며 속도가 상대적으로 둔화됩니다.
Taalas는 전용 노선입니다. 단 하나의 모델만을 위해 설계되었으므로 회로가 극도로 단순화되어 빠르고 전력을 적게 먹으며 비용이 저렴합니다. 대가는 경직성입니다. 칩이 공장에서 나오는 순간 모델의 버전이 완전히 고정됩니다. 게임 카트리지와 동일한 논리입니다. 꽂으면 바로 구동되고 로딩 속도가 비약적으로 빠르지만, 새 게임이 나오면 새 카트리지를 사야 합니다. 디지털 다운로드 방식 게임은 언제든 다운로드하여 업데이트할 수 있지만 대기 시간과 대역폭이 소요됩니다.
현재 AI 모델의 업데이트 주기는 월 단위입니다. 이 칩 안에 각인된 모델은 2024년 중반의 이전 모델로, 2년이 지난 현재 기준으로는 이미 구형입니다. 모델이 업데이트되어도 칩 내부의 회로가 따라 변하지는 않습니다. 미세 조정은 실시간으로 패치를 적용할 수 있지만(업계에서는 LoRA 어댑터라 부르며, 인쇄된 레시피에 포스트잇을 붙이는 격), 모델 구조가 크게 바뀌면 테이프아웃(반도체 재양산)을 처음부터 다시 진행해야 합니다. Taalas 측 설명에 따르면 모델 변경 시 금속 배선층 2개 층만 재설계하면 되므로 처음부터 설계하는 것보다 훨씬 저렴하다고 하지만, 여전히 생산 라인을 새로 거쳐야 하고 출하를 기다려야 합니다. 어떤 모델이 실리콘에 고정될 자격이 있을까요? 오직 대규모로 검증되어 장기간 서비스할 수 있는 모델뿐입니다. 베팅이 틀리면 서버 랙 가득 쌓인 칩이 고철 덩어리로 변하게 됩니다.
AMD는 왜 이 베팅을 하는가
NVIDIA가 AI 칩 시장의 대다수를 점유한 상황에서 AMD는 수년간 추격해 왔습니다. 하드웨어 성능은 추격에 성공했지만 소프트웨어 생태계는 여전히 장벽입니다. 전 세계 AI 개발자들이 NVIDIA의 개발 도구 생태계에 익숙해져 있어 플랫폼 전환 시 코드 수정이 불가피합니다. 소프트웨어 생태계에서 정면 승부하는 것은 승산이 낮으므로, AMD는 새로운 전장을 선택했습니다. 바로 「모델 전용 칩」이라는 영역에 베팅하는 전략입니다.
경쟁사들도 가만히 있지 않았습니다. NVIDIA는 지난 12월 추론 칩 기업 Groq과 200억 달러 규모의 라이선스 계약을 체결하며 「AI 추론을 더 빠르고 저렴하게 구동한다」는 목표를 동일하게 조준했습니다. 두 거인이 같은 방향을 향해 서로 다른 포지션으로 베팅을 던지고 있는 셈입니다.
Taalas의 창업자 Ljubisa Bajic은 전 Tenstorrent CEO이자 AMD 출신 엔지니어입니다. 이번 인수는 일정 부분 친정 복귀의 성격을 띱니다. 팀 전체는 AMD의 AI 부서로 합류합니다. The Register의 추정에 따르면 AMD의 구상은 Taalas 칩과 자사의 Instinct GPU를 조합하는 형태입니다. GPU가 입력 처리와 컨텍스트 설정을 담당하고, Taalas 칩이 답변을 초고속으로 생성하는 방식입니다. AMD의 공식 입장은 절제되어 있으며, 「모든 유형의 AI 워크로드에 적합한 연산 솔루션을 제공하기 위한 인수」라고만 밝혔습니다.
사진: Taalas 공식 웹사이트의 제품 시연 화면. 출처: taalas.com
일반 사용자에게는 어떤 의미인가
AI의 운용 비용은 결국 AI 서비스의 소비자가로 이어집니다. 모델의 실리콘 각인을 통해 추론 비용을 획기적으로 절감할 수 있다면, AI 서비스는 훨씬 저렴해지고 빨라질 것이며, 이를 통해 스마트폰, TV, 자동차, 가전제품 등 대형 GPU 서버 랙을 탑재할 수 없었던 수많은 장치로 확산될 수 있습니다.
Hacker News 토론란에서는 한 사용자가 커멘트를 남겼습니다. 「Apple이 이 회사를 인수해서 스마트폰 칩에 AI 모델을 각인한다면, 배터리 소모가 거의 없이 즉각 응답하는 AI 비서가 나올 수 있을 텐데.」 매우 자연스러운 연상이지만 현실과의 거리는 아직 셉니다. HC1 테스트 보드 자체의 크기가 상당한 데다 각인된 모델 역시 2년 전 버전입니다. 스마트폰 안에 구형 모델 회로가 고정되어 있는 상황에서 신형 모델이 출시된다면 어떻게 해야 할까요? 스마트폰을 통째로 바꿔야 할까요?
이 아키텍처 노선 경쟁은 아직 결론이 나지 않았습니다. 범용 GPU는 「모델이 계속 진화할 것」에 베팅하고, 전용 칩은 「오랫동안 살아남을 핵심 모델이 존재할 것」에 베팅합니다. 전자는 유연함을, 후자는 극단의 효율성을 추구합니다. 승패는 모델의 진화 속도와 반도체 고정화 비용 간의 레이스에 달려 있습니다. 4분기 인수가 완료된 후 AMD는 실제 자본을 투입해 첫 번째 해답을 제시할 것입니다.
참고 링크:
- The Register: AMD acquires AI chip startup Taalas to boost inference performance by etching models into silicon
- Hacker News: AMD acquires Taalas 토론 쓰레드 (item?id=49201970)
- AMD 공식 보도자료: AMD Acquires Taalas to Advance Compute Solutions for Rapidly Growing AI Inference Market
- CNBC: AMD buys Taalas, startup that hardwires AI models into its silicon
- EE Times: AI Chip Startup Taalas Acquired By AMD
- Taalas 공식 웹사이트: HC1 Technology Demonstrator 제품 페이지
- Medium: A Look at Taalas’ HC1 Chip Reaching 16,000 Tokens per Second
