2026년 8월 7일, 제3자 평가 기관의 최신 벤치마크에서 알리바바의 신형 모델이 세계 1위에 올랐습니다. Qwen3.8 Max는 Artificial Analysis의 ‘Agentic Index(에이전트 지수)‘에서 종합 1위를 기록하며, 중국 모델로는 처음으로 ‘AI의 자율적 작업 수행’ 능력에서 미국 경쟁자들을 앞질렀습니다. 뒤를 이어 OpenAI의 GPT-5.6 Sol과 Anthropic의 Claude Fable 5가 이름을 올렸습니다.
이 소식은 Hacker News에서 빠르게 확산되었습니다. 게시물이 올라온 지 몇 시간 만에 391점의 추천과 251개의 댓글이 달렸습니다. 세계에서 가장 까다로운 엔지니어들이 모이는 커뮤니티에서 가장 많은 공감을 얻은 댓글은 “중국이 추격에 성공했다. 이것이 이번 뉴스의 핵심이다”라는 한마디였습니다.
평가 기준의 변화: 시험문제가 바뀌었다
먼저 이 벤치마크를 운영하는 주체를 살펴볼 필요가 있습니다. Artificial Analysis는 자체 모델을 판매하지 않고, 모든 모델을 동일한 표준 환경에 올려 성능 측정을 진행하는 독립 평가 기관입니다. 지난 몇 년간은 지식 질의응답이나 수학적 추론 같은 ‘지필 고사형’ 평가—질문을 던지고 정답을 맞히는 방식—를 주로 테스트해 왔습니다.
그러나 올해 6월, 평가 방식이 완전히 바뀌었습니다. 새로운 Index는 ‘에이전트(Agentic)’ 능력을 측정합니다. 모델에게 실제 컴퓨터 환경을 부여하고, 스스로 웹을 탐색하고 코드를 작성하며 프로그램을 조작해 여러 단계로 구성된 과제를 처음부터 끝까지 스스로 완료하도록 합니다. 이 평가는 9개 산업, 44개 직무에 달하는 영역을 커버하며, 자동 채점 시스템이 과제 수행 결과를 엄격하게 검증합니다. 종합 점수는 실제 업무 과제 수행 능력과 은행 시나리오에서의 다단계 도구 조작 평가를 가중 합산해 산출됩니다.
그림: Artificial Analysis Agentic Index 랭킹 (2026년 8월 7일 캡처). 출처: artificialanalysis.ai
Qwen3.8 Max는 58.4점을 받아 GPT-5.6 Sol(57.8점)과 Claude Fable 5(56.6점)를 제치고 정상을 차지했습니다. 다만 1위 자리는 매우 아슬아슬합니다. Anthropic의 또 다른 플래그십인 Opus 5와의 격차는 1점 미만으로, 최근 며칠 사이에도 선두 자리가 수시로 뒤바뀌고 있습니다. 엔지니어링 관점에서 보면 최상위 모델들의 실제 작업 수행 능력이 이미 팽팽하게 맞서고 있어, 누구도 압도적인 1위라 단언하기 어려운 상황입니다.
단순히 단일 1위에 오른 것에 그치지 않고, 랭킹 상위권에는 중국 모델들이 대거 포진해 있습니다. 상위 5개 중 2개, 상위 13개 중 4개가 중국 모델입니다. 알리바바의 Qwen 외에도 문샷 AI(Moonshot AI)의 Kimi, 딥시크(DeepSeek), 지푸 AI(Zhipu AI)의 GLM이 포함되었습니다. 2~3년 전만 해도 이러한 벤치마크 상위권은 미국 기업들이 독식하고 있었습니다.
과거에는 ‘누가 문제를 잘 맞히는가’를 겨뤘다면, 이제는 ‘누가 실제로 일을 완수하는가’를 겨루는 시대가 되었습니다. 문제를 잘 맞힌다고 일을 잘하는 것은 아니지만, 일을 완수해 낸다는 것은 지식이 실제로 활용되고 있음을 의미합니다.
대화형 AI와 실무형 AI의 차이는 무엇인가
두 방식의 차이는 크게 세 가지 지점에서 드러납니다.
첫째, 다단계 계획 수립(Multi-step planning) 능력입니다. 단순 대화가 단발성 응답이라면, 실무는 연속된 행동의 집합입니다. 인턴에게 업무를 맡기는 상황을 예로 들어봅시다. “3개 항공사의 항공권을 비교해 가장 저렴한 것을 고르고, 여정을 이메일로 보낸 뒤 호텔까지 예약하라”는 지시를 받았을 때, 매 단계마다 최종 목표를 잊지 않고 기억해야 합니다. 일반적인 대화형 모델은 작업 진행 과정에서 초기 목표를 잊어버리는 경우가 자주 발생합니다.
둘째, 도구 호출(Tool calling) 능력입니다. 사람이 일을 할 때 검색, 전화, 소프트웨어를 활용하듯, AI 에이전트 역시 스스로 브라우저를 열고 터미널 명령어를 입력하며 스프레드시트를 조작해야 합니다. Qwen3.8 Max는 ‘컴퓨터 조작’ 평가 항목에서 86.1점을 받아 GPT-5.6 Sol의 83.2점을 넘어섰습니다. 여러 코딩 보조 환경에서도 일관된 성능을 보여주었는데, 이는 특정 소프트웨어에 의존하는 것이 아니라 모델 자체에 역량이 내재되어 있음을 보여줍니다.
그림: 다양한 업무 환경에서 Qwen3.8-Max의 성능 비교. 출처: qwen.ai 공식 블로그
셋째, 실시간 자가 점검 및 피드백 수정입니다. 한 단계를 마칠 때마다 자신의 결과를 돌아봅니다. 화면 레이아웃이 어긋나면 스스로 수정하고, 방향이 잘못되면 알아서 궤도를 수정합니다. 이처럼 ‘자신의 작업을 스스로 감시하는’ 피드백 루프는 이번 세대 모델의 핵심적인 변화로, 수시간 동안 탈선 없이 연속 작업을 수행할 수 있게 해주는 동력입니다.
실제 현장에서 어느 정도 수준인가
알리바바는 실증 테스트 데이터 몇 가지를 공개했습니다. 대표적인 세 가지 결과를 정리하면 다음과 같습니다.
1년간의 전자상거래 운영 시뮬레이션: 10만 달러의 초기 자본금을 지급받은 모델이 여러 온라인 쇼핑몰을 동시에 운영했습니다. 152개의 사기 업체를 포함한 600여 개 공급업체와의 거래, 태풍으로 인한 물류 차단, 대형 프로모션 주문 폭주 등의 상황에 대응했습니다. 1년 후 최종 잔액은 41만 6천 달러로 4.16배 증가했습니다. 이는 2위 모델보다 38% 높고, 이전 세대 플래그십 모델보다 152% 향상된 수치입니다.
반도체 설계: 8,298개의 로직 게이트로 구성된 암호화 칩의 초기 회로를 제공하자, 모델은 스스로 ‘코드 수정—시뮬레이션—오류 검증’ 과정을 500회 반복 실행했습니다. 최종적으로 게이트 수를 678개로 대폭 줄여 칩 면적을 81% 축소시켰습니다.
알고리즘 경진대회: 526개 인간 팀이 참가한 알고리즘 경진대회에 24시간 동안 독립 참가하여 상위 87%의 인간 팀을 제쳤습니다. 규칙 해석부터 모델 튜닝, 45회에 달하는 제출 결정까지 전체 과정을 인공지능이 스스로 처리했습니다.
그림: Qwen3.8-Max 공식 성능 비교 차트 (GPT-5.6 Sol, Claude Opus 4.8 등과의 비교). 출처: qwen.ai 공식 블로그
이러한 수치는 알리바바가 직접 공개한 것으로, 아직 서드파티의 검증이 완료되지는 않았습니다. 엔지니어링의 기본 원칙에 따라 기술적 방향성은 신뢰할 수 있으나, 세부적인 우위 폭에 대해서는 추가 검증을 거쳐 판단할 필요가 있습니다.
뛰어난 성능, 그러나 높은 연산 비용
세계 1위 달성이 무료는 아닙니다. 평가 기관의 데이터에 따르면 Qwen3.8 Max는 이전 세대 모델이 14회 만에 끝내던 동일 과제에 평균 64회의 상호작용을 소비했습니다. 입력 토큰량은 약 15배 증가했고, 출력 토큰은 1억 4,500만 개에 달했습니다. 과제를 더 확실하게 완수하는 대신, 훨씬 더 많은 토큰과 연산 자원을 소모하게 된 것입니다.
생성 속도 역시 중간 수준입니다. Gemini 3.6 Flash가 초당 213개 토큰을 출력하는 반면, Qwen3.8 Max는 초당 67개 토큰에 그쳤습니다. 전체 에이전트 평가 라운드를 마치는 데 소요된 컴퓨팅 비용은 1,741달러에 달했습니다.
‘뛰어난 일 처리 능력’과 ‘비용 효율성’ 사이에는 아직 거리가 존재합니다. 다만 API 가격 측면에서 입력 100만 토큰당 2달러, 출력 6달러로 동급의 미국 모델들에 비해 저렴합니다. 또한 알리바바는 다음 주 모델 가중치를 오픈소스로 공개하겠다고 발표했습니다. Max급 플래그십 모델이 오픈소스로 풀리는 것은 이번이 처음입니다. 오픈소스 전환을 통해 기업들이 자체 구축할 수 있게 되면서 이용 비용은 더욱 낮아질 전망입니다.
개발자 커뮤니티의 주요 논쟁점
상위권 모델들의 점수가 촘촘해지면서 커뮤니티의 논쟁도 뜨거워지고 있습니다. 일각에서는 이를 ‘증류(Distillation)‘의 증거라고 주장합니다. 점수 차이가 줄어든 것은 중소형 모델들이 대형 모델의 출력을 학습 데이터로 활용했기 때문이라는 시각입니다. 반면 타사 모델의 출력을 학습에 사용하는 것이 불법이 아니며, 인간의 학습 과정도 이와 다르지 않다는 반론도 팽팽합니다.
한 엔지니어는 현실적인 비용 부담에 대해 언급했습니다. 15달러를 내고 DeepSeek을 활용해 복잡한 프로젝트들을 마친 후, 매월 200달러씩 지출하던 OpenAI 구독을 돌아보며 후회스럽다는 반응을 남겼습니다. 개인의 경험을 전체로 확장할 수는 없지만, 이러한 반응의 확산 자체가 시장의 기대치를 변화시키고 있습니다.
법적 분쟁에 대한 논의도 진행 중입니다. 일부 댓글에서는 과거 미국 대형 테크 기업들이 벌금은 납부하되 혐의는 인정하지 않은 사례를 언급하며 지적 재산권 문제를 지적했습니다. 또한 점수 수렴 현상이 대형 언어 모델 능력의 단기적 한계에 다다랐음을 뜻한다는 분석도 나옵니다. 기술의 한계 여부는 다음 벤치마크 개편에서 얼마나 더 까다로운 과제가 제시될지에 따라 입증될 것입니다.
일반 사용자의 AI 활용은 어떻게 달라지는가
이 경쟁에서 일반 사용자에게 가장 중요한 부분은 랭킹 수치 그 자체가 아닙니다.
지난 2년간 AI는 사용자에게 ‘답변’을 제공해 왔습니다(문장 작성, 질의응답). 하지만 이제 AI는 ‘결과물’을 만들어 제공하는 단계로 진입하고 있습니다. 영수증 뭉치를 건네면 스프레드시트로 정리해 이메일로 보내고, 출장 계획을 말하면 스스로 항공권을 검색하고 비교하여 예약을 진행합니다. 이러한 에이전트 기능이 모바일 앱에 통합되는 것은 이제 시간문제입니다.
순위표는 앞으로도 계속 바뀔 것입니다. 그러나 방향은 이미 명확해졌습니다. AI의 다음 시대는 ‘실제로 일을 끝까지 해내는 모델’이 주도하게 될 것입니다.
참고 링크:
- Artificial Analysis: Agentic Index 랭킹
- HN 토론 (item?id=49200652)
- 알리바바 클라우드 / Qwen 공식 블로그
- MarkTechPost 보도 기사
- VentureBeat 평가 보도
