칩 업계에는 ‘암흑 예술(dark art)‘이라 불리는 설계 분야가 있다. 2026년 6월 IEEE Spectrum이 붙인 표현 그대로다.
이 칩을 설계할 때는 방대한 코드도 필요 없고, 표준화된 자동화 흐름도 존재하지 않는다. 오직 10년 이상 현장에서 쌓은 감각과 직관, 그리고 “이유는 모르겠지만 이렇게 하면 된다”는 경험이 전부다. 신규 칩 하나가 기획부터 테이프아웃까지 가는 데 수년, 비용은 수천만에서 수억 달러가 든다.
바로 RF 칩 — 스마트폰 안에서 5G 신호를 주고받는 그 작은 실리콘 조각이다.
그런데 프린스턴대학교 Kaushik Sengupta 연구팀이 증명해냈다. 이 암흑 예술을 AI가 배웠다. 훈련 시간은 약 일주일. 많은 경우 AI가 제로베이스에서 설계한 칩 프로토타입이 당시 인간 엔지니어의 최적 설계를 능가했다.
여기서 흥미로운 건 “AI가 또 이겼다” 같은 뻔한 제목이 아니다. 정말 궁금한 건 이것이다: RF 칩은 도대체 뭐가 그렇게 어려운가? 그리고 AI는 도대체 “공식이 통하지 않는” 영역을 어떻게 배웠을까?
디지털 칩은 블록 쌓기, RF 칩은 수리 공사
RF 칩의 난이도를 이해하려면, 먼저 ‘쉬운’ 버전인 디지털 칩을 보자. 우리가 아는 CPU와 GPU다.
디지털 칩의 논리는 2진법이다: 0과 1, 켜짐과 꺼짐. 신호는 정해진 경로를 따라 흐르고, 모든 단계의 결과는 결정적이다. 이런 결정성 덕분에 자동화 설계가 가능하다. 엔지니어가 요구사항을 작성하면 EDA 툴이 자동으로 회로 레이아웃을 생성한다. 복잡하긴 하지만, 분해 가능하고 최적화 가능한 수학 문제다.
RF 칩이 다루는 대상은 전자기파다.
28GHz(5G 스마트폰), 77GHz(차량용 레이더) 같은 주파수에서 전자기파의 거동은 몹시 ‘말을 듣지 않는다’. 신호는 배선을 따라 얌전히 흐르지 않는다. 반사하고, 결합하고, 방사하고, 간섭한다. 칩 위에서 불과 수백 마이크로미터 떨어진 두 소자도 전자기장을 통해 서로 영향을 주고받는다. IEEE Spectrum 기사의 표현을 빌리자면, 이는 맥스웰 방정식과 열역학 법칙, 재료역학의 결합 문제를 손톱만 한 공간 안에서 동시에 푸는 것과 같다.
비유하자면: 디지털 칩 설계는 블록 쌓기다. 규칙이 명확하고, 틀리면 무너진다. RF 칩 설계는 숨은 물길이 가득한 수계를 다스리는 일이다. 한쪽에 제방을 쌓으면 전혀 예상치 못한 곳에서 물이 넘친다. 카펫 한 귀퉁이를 누르면 반대편이 들려 올라온다.
바로 이 때문에 디지털 칩 분야에서는 EDA 툴이 작업의 대부분을 처리하는 반면, RF 칩은 여전히 인간의 손에 크게 의존한다. 엔지니어가 수작업으로 반복 튜닝하는 것에, “20년 동안 시행착오 끝에 겨우 터득한 노하우”에 의존한다.
AlphaGo에서 얻은 영감
2016년, AlphaGo가 이세돌을 꺾었다. 이 사건은 Sengupta 팀에 중요한 질문을 던졌다. AI가 우주 전체의 원자 수보다 더 큰 탐색 공간을 가진 바둑에서 최적해를 찾을 수 있다면, RF 칩의 ‘설계 공간’에서도 같은 일을 할 수 있지 않을까?
여기서 ‘설계 공간’이란 무엇인가? 5G 전력 증폭기를 설계한다고 상상해보자. 증폭단 수, 각 단의 트랜지스터 크기, 전송선의 길이와 폭, 매칭 네트워크의 구조 등 결정해야 할 파라미터는 셀 수 없이 많다. 각 선택은 다른 선택에 영향을 미치고, 모든 선택의 조합은 천문학적인 가능성의 공간을 형성한다. 인간 엔지니어는 ‘템플릿’으로 대응한다. 선배들이 정리해둔 회로 토폴로지를 가져와 그 틀 안에서 최적화하는 것이다.
템플릿은 유용하지만, 동시에 감옥이기도 하다. ‘정답처럼 보이는 것’의 범위를 틀 지어버린다. 진짜 답은 템플릿이 그어놓은 경계 바깥에 있을 수 있다.
프린스턴 팀이 하고자 한 것은 AI가 제로베이스에서, 인간이 설계한 템플릿을 전혀 참조하지 않고 이 공간을 스스로 탐색하게 하는 것이었다.
강화학습: 칩 설계를 게임으로 바꾸다
이들이 채택한 핵심 방법은 강화학습(Reinforcement Learning, RL)이다.
원리는 어렵지 않다. AI에게 게임을 가르치는 것과 같다. AI는 ‘좋은 칩 설계’가 뭔지 모르지만, 계속 시도할 수는 있다. 회로 파라미터를 무작위로 조합한 다음 ‘점수’(성능 지표)를 받는다. 점수가 높은 시도는 기억되고, 낮은 시도는 버려진다. 수백만 번의 시행착오 끝에 AI는 ‘어떤 설계가 높은 점수를 받는지’를 점차 파악해간다.
이 과정은 며칠에서 일주일 정도 걸린다. 일단 훈련이 완료되면 AI는 극도로 짧은 시간 안에 설계안을 제시할 수 있다.
그런데 여기 결정적인 병목이 있다. 시행착오 한 번마다 전자기 시뮬레이션을 돌려 ‘점수’를 계산해야 한다. 전통적인 전자기 시뮬레이션 툴은 한 번 돌리는 데 몇 분에서 몇 시간이 걸린다. 수백만 번의 시행착오가 필요한 강화학습에 이 속도로는 도저히 불가능하다.
AI가 물리 시뮬레이터를 대체했다
프린스턴 팀의 두 번째 돌파구는 물리 시뮬레이터 자체를 AI로 대체한 것이다.
이들은 합성곱 신경망(CNN) — 공간적 특징을 추출하는 데 뛰어난 AI 모델 — 을 훈련시켜 임의의 2차원 금속 구조가 만들어내는 전자기 거동을 예측하게 했다. 쉽게 말해, 회로 구조 이미지를 보여주면 몇 밀리초 안에 전자기파가 어떻게 움직일지 알려준다. 맥스웰 방정식을 수동으로 풀 필요가 없다.
이 AI 시뮬레이터의 훈련 데이터는 어디서 왔을까? 무작위로 생성한 수많은 픽셀화 구조에서 왔다. 각 구조는 전통적인 시뮬레이션 툴로 실제 전자기 파라미터를 라벨링했다. 일단 훈련이 끝나면 속도 향상은 그야말로 차원이 다르다. 몇 분~몇 시간 걸리던 시뮬레이션이 몇 밀리초로 단축된다.
고속 시뮬레이터가 있어야 강화학습을 대규모로 돌릴 수 있다. 이 두 기술이 결합되면 ‘요구사항 명세’부터 ‘제조 가능한 칩 레이아웃’까지 이어지는 완전한 AI 설계 파이프라인이 완성된다.
AI가 내놓은 결과물: 인간의 손길이 전혀 느껴지지 않는 칩
2023년, 팀은 첫 검증 결과를 발표했다. 30GHz에서 100GHz 대역을 커버하는 광대역 전력 증폭기다. 이 주파수 대역은 주류 5G와 레이더 주파수를 아우른다. 최종 설계는 대역폭, 출력 전력, 효율의 종합 지표에서 당시 실리콘 기반 전력 증폭기 중 최고 기록을 세웠다.
하지만 업계에 가장 큰 충격을 준 것은 칩 레이아웃의 외형이었다.
인간이 설계한 RF 칩의 전자기 구조는 보통 대칭적이고 정연하다. 레이스 문양처럼 정교하고 예측 가능하다. AI가 만들어낸 구조는 QR코드나 현대 미술 작품에 더 가까워 보였다. 대칭축도 없고, 반복 유닛도 없고, 어떤 ‘미학’도 없다.
AI에게는 그런 것들이 중요하지 않기 때문이다. AI는 전자기파가 이 구조를 통과한 후 산란 파라미터(S-parameter)가 요구사항을 충족하는지만 따진다. 보기 좋은지, 엔지니어가 이해할 수 있는지 따위는 AI의 관심사가 아니다.
흥미로운 중간 경로: 설명 가능성 다이얼
프린스턴 팀은 한 가지 문제도 인식하고 있었다. AI가 설계한 칩을 엔지니어가 전혀 이해하지 못한다면, 문제가 생겼을 때 어떻게 디버깅할 것인가? (칩의 테스트와 디버깅은 설계 자체보다 더 많은 시간이 걸리는 경우가 많다.)
그래서 이들은 Diffusion Model — Stable Diffusion이나 DALL·E 같은 AI 이미지 생성 도구의 기반 기술 — 을 도입했다. 입력은 원하는 전자기 파라미터, 출력은 회로 구조다. 핵심은 ‘공간 주파수(spatial frequency)’ 다이얼을 추가한 것이다. 엔지니어는 AI가 낮은 공간 주파수(전통적으로 정연하고 사람이 이해할 수 있는) 구조를 생성할지, 높은 공간 주파수(픽셀화되고 임의 형상의) 구조를 생성할지 선택할 수 있다.
입력에서 출력까지 전 과정이 약 6분.
이 설계의 의미는 분명하다. AI는 인류가 가보지 않은 설계 공간을 탐험할 수도 있고, 동시에 기존의 미학과 디버깅 프레임워크 안에서 작업을 가속할 수도 있다. 두 가지 모드를 하나의 도구로.
냉정하게 볼 점: AI도 ‘쓰레기’를 설계한다
논문 말미에는 정직한 고백이 실려 있다.
AI는 ‘환각(hallucination)‘을 일으킨다. 물리 법칙에 부합하지 않는 회로를 설계하는 것이다. 확률은 높지 않지만, 일단 발생하면 생산된 칩은 그냥 폐기물이다. 현재의 대응 방식은 인간 검증자가 확인하는 것이다.
그리고 더 큰 병목: 데이터.
AI 이미지 인식이 지난 10년간 비약적으로 발전할 수 있었던 핵심 전환점은 ImageNet(1400만 장의 라벨링된 이미지 데이터셋)이었다. RF 칩 설계에도 비슷한 규모의 데이터셋 — 방대한 회로 구조와 이에 대응하는 전자기 시뮬레이션 결과 — 이 필요하다. 이런 데이터는 전 세계 기업과 연구소에서 매일 생산되고 있지만, 전량 기밀유지협약(NDA) 뒤에 잠겨 있다.
기사에 따르면, 미국 CHIPS Act 산하 Natcast 프로젝트가 공유 데이터와 인프라 구축을 계획했지만 이미 폐쇄되었다. 칩 설계 분야에서 오픈소스 생태계는 아직 갈 길이 멀다.
칩을 넘어서
이 이야기 뒤에는 더 보편적인 흐름이 있다. AI가 ‘인간의 기존 안을 최적화하는 보조 도구’에서 ‘인류가 가보지 않은 설계 공간을 제로베이스에서 탐험하는 주체’로 진화할 때, 많은 산업의 작동 방식이 근본적으로 달라진다.
바둑의 정석, 체스의 오프닝 북, 단백질의 폴딩 패턴, RF 칩의 회로 템플릿 — 이것들은 모두 인류의 경험이 응축된 ‘지름길’이다. AI가 증명한 것은 이것이다: 많은 영역에서 이 지름길은 최적해가 아니라, 단지 인간 인지 능력의 한계선에 불과하다는 것.
RF 칩 설계가 암흑 예술이라 불리는 이유는 물리 법칙 자체가 신비로워서가 아니다. 맥스웰 방정식은 이미 명확하게 쓰여 있다. 인간의 뇌가, 터무니없이 거대한 설계 공간 안에서 모든 변수 간의 결합 관계를 동시에 추적할 수 없기 때문이다.
AI에게는 그런 문제가 없다. ‘이해’할 필요도 없다. 그저 계속 시도하고, 계속 점수를 매기고, 계속 조정하면 된다.
이번에 AI가 배운 것은, 인간이 한 번도 해내지 못한 일을 해내는 법이다.
참고 링크
- AI Learns the “Dark Art” of RFIC Design — IEEE Spectrum, Kaushik Sengupta, 2026-06-24
- Hacker News 토론 — 167 points, 116 comments