2026년 9월 4일, 세 가지 사건이 동시에 일어났습니다. OpenAI가 GPT-6 Astra를 공개했고, OpenAI, Claude, Grok 등 주요 3대 AI 모델 서비스가 같은 시간대에 일제히 다운되었으며, ARC Prize는 같은 날 ARC-AGI-3 공식 벤치마크를 출시하고 Astra의 성적을 공개했습니다. 해커뉴스(HN)에서 Astra 출시 게시글은 1,091포인트와 802개의 댓글을 기록했고, 서비스 장애 관련 게시글은 107포인트와 39개의 댓글을 모았습니다. 하루 사이에 주요 출시, 동시 서비스 중단, 벤치마크 점수 논란이 모두 쏟아져 나온 것입니다. 이 세 가지 사건은 하나의 본질적인 문제를 가리키고 있습니다. 모델 역량에 대한 서사는 가파르게 팽창하고 있지만, 이를 지탱해야 할 인프라와 평가 기준은 전혀 준비되지 않았다는 사실입니다.
3개 사가 동시에 다운, 아무도 원인을 명확히 설명하지 못하다
OpenAI, Anthropic(Claude), xAI(Grok) 3개 사의 모델 서비스가 GPT-6 Astra가 발표되던 바로 그 시간대에 장애를 겪었습니다. HN의 Ask HN 스레드는 107포인트와 39개의 댓글을 모았지만, 커뮤니티 내에서 명확한 결론은 나오지 않았습니다. OpenAI 출시에 따른 트래픽 급증이 상류의 공통 클라우드 및 네트워크 공급업체로 전파되었다는 추측도 있었고, 공유 인프라 노드 장애를 의심하는 의견이나 단순한 우연의 일치로 보는 시각도 있었습니다.
경쟁 관계인 3개 사가 동시에 다운되었다는 점은 무엇을 시사할까요? 적어도 한 가지는 분명합니다. 최고 수준의 모델 서비스 인프라가 외부에서 생각하는 것보다 훨씬 취약하다는 점입니다. 트래픽 폭증과 운영 부하가 겹칠 때, 여유 버퍼(리던던시)는 사용자들이 생각하는 것보다 훨씬 작습니다. 출시 주기가 점점 촘촘해지면서 인프라 팀이 감당해야 할 압박도 덩달아 치솟고 있습니다.
ARC-AGI-3는 반년 만에 포화, 모델을 따라가지 못하는 평가 잣대
ARC Prize는 같은 날 ARC-AGI-3에서 GPT-6 Astra의 공식 평가 결과를 공개했습니다. ARC-AGI를 개발한 프랑수아 숄레(François Chollet)는 과거 “ARC-AGI-3가 언제쯤 포화 상태에 이를 것으로 보느냐”는 질문을 받았을 때, “약 1년 정도”라는 일정을 제시한 바 있습니다. 그러나 그것은 불과 6개월 전에 했던 말이었습니다. Chollet은 Astra의 평가 결과를 공개하면서 “Astra가 보여준 진전은 내 예상보다 두 배나 빨랐다”고 인정했습니다.
그림: ARC-AGI-3 리더보드에서 GPT-6 Astra의 성적. 출처: ARC Prize Blog
ARC-AGI 시리즈 평가는 고정된 데이터셋에서 점수를 올리는 기존 벤치마크와 달리 ‘진정한 일반 인공지능(AGI)‘을 측정하기 위해 고안되었습니다. 하지만 설계자 본인조차 모델의 발전 속도를 과소평가했으며, 평가 기준이 따라잡히는 속도는 예상치를 훨씬 웃돌았습니다. 자로 다 재어보기도 전에 잣대 자체가 먼저 짧아져 버린 셈입니다.
하나의 리더보드, 두 개의 기준
Astra의 평가 결과가 공개되면서 ARC 점수판에는 다소 난처한 상황이 벌어졌습니다. GPT-5.6 Sol은 리더보드상에 7.8%로 표기되어 있지만, ARC 자체 설명 문서에는 “responses API harness를 사용해 추정한 결과, Sol은 약 30%에 도달할 수 있다”고 명시되어 있었습니다. 똑같은 모델임에도 평가 도구(harness)를 변경하자 점수가 거의 4배나 차이 났습니다.
이러한 격차는 리더보드 전반의 비교 가능성에 대한 의문을 불러일으켰습니다. harness 차이로 점수가 이렇게 크게 벌어진다면, 리더보드의 순위는 모델 본연의 능력을 측정하는 것일까요, 아니면 특정 평가 방식과의 궁합을 측정하는 것일까요? ARC Prize 측은 표준화를 위해 단일 harness가 필요하다는 입장이지만, 커뮤니티의 반론 역시 타당합니다. 자체적으로 30%라는 추정치를 내놓았으면서 왜 리더보드에는 7.8%를 계속 걸어두는가 하는 점입니다. 양측의 논리가 모두 설명되기는 하지만, 상반된 두 기준이 나란히 놓여 있는 모습은 누구에게나 어색하게 보일 수밖에 없습니다.
그림: ARC-AGI-3 주요 모델 간 액션과 효율성(efficiency) 비교. 출처: ARC Prize Blog
AGI의 정의는 희석되고 있는가, 전진하고 있는가?
GPT-6 Astra가 발표된 후 커뮤니티에서는 극명하게 갈리는 두 가지 반응이 동시에 나타났습니다. 한편에서는 LessWrong에서 Astra의 순환(recurrent) 아키텍처를 분석하는 기술 토론(19포인트)이 열려 장기 추론에서 이 구조가 가져오는 실제 이점을 검토했습니다. 다른 한편에서는 해커뉴스 댓글란을 중심으로 날 선 목소리가 쏟아졌습니다. ‘AGI’라는 단어가 샘 올트먼(Sam Altman)의 상장(IPO)을 위한 마케팅 수사로 전락하고 있다는 지적이었습니다. 새 모델이 나올 때마다 ‘AGI에 한 걸음 더 가까워졌다’고 선전하지만, ‘AGI’ 자체의 정의는 한 번도 명확하게 고정된 적이 없기 때문입니다.
두 시각 모두 사실에 근거하고 있습니다. Astra의 순환 아키텍처는 엔지니어링 측면에서 분명한 전진을 나타내며, Chollet이 기대 이상의 발전을 인정한 것 역시 일차적인 증거입니다. 그러나 ‘빠른 진전’과 ‘AGI 도달’ 사이에는 중대한 변수가 존재합니다. 바로 AGI의 정의를 어디에 두느냐입니다. 현재 이 기준점은 모델을 발표하는 주체에 의해 일방적으로 이동하고 있습니다. 측정 기준 또한 빠르게 변화하면서 ‘실질적 진보’와 ‘기준의 변경’ 사이의 경계가 모호해지고 있습니다.
역량 경쟁이 측정 능력을 앞질렀다
GPT-6 Astra 출시 당일의 세 가지 사건은 하나씩 뜯어보면 저마다의 원인이 있습니다. 그러나 함께 묶어보면 동일한 구조적 문제를 드러냅니다. 모델 출시 빈도와 화제성은 가속화되고 있지만, 인프라의 안정성, 평가 기준의 일관성, 그리고 ‘지능’이라는 개념의 정의는 모두 뒤따라가기에 급급합니다. Chollet이 6개월 전 예상했던 ‘1년’은 반년으로 단축되었습니다. 리더보드에는 7.8%와 30%가 공존하며 점수의 신뢰도를 갉아먹고 있습니다. 3대 서비스는 동시에 다운되며 운영 안정성의 마지노선에 부담을 주고 있습니다.
역량에 대한 서사가 부풀어 오르는 속도가 이를 객관적으로 검증하는 능력을 이미 넘어섰습니다. 다음 프론티어 모델이 등장할 때, 리더보드의 잣대가 충분히 믿을 만한지 여부는 모델 자체의 점수보다 훨씬 더 주목해야 할 부분일 것입니다.
참고 링크:
- ARC Prize Blog
- OpenAI
- LessWrong
- HN 토론 (item?id=49554643)
- HN 토론 (item?id=49555691)
