2026년 10월 13일, 스탠퍼드 대학교와 투게더 AI 등의 공동 연구진이 새로운 추론 아키텍처인 HybridAgent를 발표했습니다(arXiv:2610.18861). 11개 도메인 교차 벤치마크 평가에서 8B와 14B 규모 모델이 기존 최첨단 대규모 언어 모델(LLM) 에이전트와 전용 도구 프레임워크를 뛰어넘었으며, 14B 모델은 가장 강력한 베이스라인 대비 평균 17.4% 높은 정확도를 기록했습니다. 동시에 텍스트 토큰 사용량을 순수 텍스트 베이스라인의 1/2.7 수준으로 낮추어 전체 토큰 소모량을 35.5%에서 54.7%까지 절감했습니다.
복잡한 도구 연동 작업을 수행하는 기존 자율형 에이전트는 내부의 사고 과정을 일일이 개별 텍스트 토큰으로 풀어서 출력해야 했습니다. 수백 수천 개의 중간 단어가 그래픽 메모리(VRAM)를 채우며 서비스 지연 시간을 가파르게 끌어올렸습니다. 추론 과정을 연속적인 잠재 공간(latent space)에 보존하고 외부 환경과 상호작용하는 순간에만 텍스트로 디코딩함으로써 2배 이상의 생성 속도 향상을 이루어냈습니다. 절약된 연산 자원은 긴 호흡의 상호작용에서 처리량 향상으로 직결됩니다.
내부 사고를 연속 잠재 공간에 압축: 텍스트 토큰을 3분의 1 수준으로 절감
기존 ReAct 프레임워크는 방대한 독백을 통해 작업을 진행했습니다. 에이전트는 웹 검색을 하거나 파이썬 코드를 실행하기 전 계획을 설명하는 수백 개의 토큰을 먼저 생성합니다. 이러한 중간 단어들은 외부 도구 관점에서는 상호작용 가치가 전혀 없지만, 어휘집(Vocabulary) 소프트맥스(Softmax) 투영 과정을 일일이 거쳐야만 했습니다. 자기회귀 디코딩 구조가 귀중한 메모리 대역폭을 모델 내부의 자기성찰에 소모했던 것입니다.
HybridAgent는 생각과 표현의 경계를 새로 정의했습니다. 모델은 단일 생성 과정 안에서 두 가지 모드를 매끄럽게 오갑니다. 잠재 모드는 재귀적인 내부 추론을 담당하고, 텍스트 모드는 외부 상호작용을 처리합니다. 연구진은 모드 전환의 기준점으로 <latent>와 </latent> 태그를 도입했습니다. 잠재 공간 안에서 네트워크는 단 한 번의 순전파로 잠재 벡터 상태 하나를 전진시키며, 한 번에 머무는 단계는 대개 16단계에서 256단계 사이로 설정됩니다.
논문이 제시한 효율 지표는 세 가지 영역을 망라합니다. 하이브리드 모드에서의 텍스트 토큰 사용량은 순수 텍스트 베이스라인의 1/2.7 수준으로 줄어들었고, 전체 생성 스텝 수는 최대 54% 감소했으며, 종단간(End-to-End) 추론 속도는 베이스라인 대비 2.1배 빨라졌습니다. 잠재 상태는 어휘집 투영과 재임베딩이라는 두 번의 행렬 연산을 우회하므로 그래픽 메모리 대역폭 부담이 크게 완화됩니다.
그림: 4B, 8B, 14B 모델에서 순수 텍스트 베이스라인 대비 HybridAgent의 텍스트 토큰 사용량 및 총 생성 스텝 수 변화. 출처: arXiv 2610.18861
속도 향상 외에도 인프라 비용 절감 효과가 뚜렷합니다. 연구진이 엔비디아 H100 GPU 시간당 2.50달러, BF16 최대 연산량의 10% 활용률을 기준으로 추산한 결과, 100만 건의 질문에 답하는 비용은 4B 모델에서 359달러에서 98달러로, 8B 모델에서 439달러에서 121달러로, 14B 모델에서 470달러에서 176달러로 감소하여 각각 3.7배, 3.6배, 2.7배의 비용 효율을 기록했습니다. 이 계산은 단순히 줄어든 텍스트 토큰 수만 센 것이 아니라, 잠재 스텝이 백본 네트워크에서 소모한 연산 자원까지 정밀하게 반영한 결과입니다.
그림: 세 가지 모델 규모에서 나타난 HybridAgent의 추론 시간 가속 배수. 출처: arXiv 2610.18861
잔차 매핑으로 두 맥락을 연결: KV 캐시 재인코딩 제거
연속 벡터와 개별 텍스트 토큰이 동일한 신경망 내부에서 원활히 흐르도록 하려면 표현 차원의 연결 문제를 풀어야 합니다. 연구진은 HybridLink라는 가벼운 잔차 어댑터 계층을 설계했습니다. 이 모듈은 모델 마지막 계층의 은닉 상태를 입력 임베딩 공간으로 직접 매핑합니다. 잠재 상태가 텍스트로의 역디코딩을 거치지 않고도 다음 연산 단계의 입력 벡터로 곧바로 활용될 수 있는 구조입니다.
이러한 설계는 여러 턴에 걸친 작업 기억의 연속성을 온전히 보존합니다. 입력 프롬프트, 잠재 추론 벡터, 도구 실행 결과가 단일 연속 키-값(KV) 캐시에 통합 저장됩니다. 에이전트가 도구 호출을 마친 뒤에도 맥락을 비우고 다시 인코딩할 필요가 없습니다. 기존 메모리 캐시 위에서 곧바로 후속 추론을 연산하므로 불필요한 중복 순전파 비용이 사라집니다.
이 하이브리드 시스템을 학습시키기 위해 전용 2단계 파이프라인이 개발되었습니다. 1단계인 HybridSFT는 자기조건부 2패스 훈련 방식을 취합니다. 첫 번째 패스에서는 교사 강요(Teacher Forcing)로 목표 잠재 입력을 생성하고, 두 번째 패스에서는 실제 임베딩을 모델 자체의 예측값으로 대체합니다. 텍스트 위치에는 교차 엔트로피 손실을, 잠재 상태 위치에는 회귀 손실을 적용하여 백본 네트워크와 HybridLink를 함께 최적화합니다. 2단계인 HybridRL에서는 이를 기반으로 강화학습을 적용하여 잠재 공간에서 사고할 시점과 텍스트로 행동할 시점을 모델이 스스로 판단하도록 고도화합니다.
이 구현은 verl과 vLLM 프레임워크를 기반으로 확장되었으며, 32장의 엔비디아 H100 GPU 환경에서 대규모 훈련이 진행되었습니다. 중간 추론을 텐서 코어 내부에서 온전히 처리함으로써 메모리 컨트롤러는 반복적인 어휘 읽기/쓰기 병목에서 벗어나 외부 상호작용에 자원을 집중할 수 있게 되었습니다.
잠재 벡터의 해석과 검증: 의미론적 명확성을 유지하는 내부 은닉 상태
잠재 공간 추론에 대한 엔지니어링 진영의 가장 큰 우려는 블랙박스 문제입니다. 사고 과정이 부동소수점 벡터 배열로만 남는다면 디버깅과 안전성 감사가 불가능해질 수 있기 때문입니다. 그러나 본 연구가 제시하는 복원 경로는 별도의 디코더 신경망을 필요로 하지 않습니다. HybridLink로 매핑된 각 잠재 단계를 어휘집의 토큰 임베딩들과 코사인 유사도로 비교하여 가장 가까운 토큰을 찾으면 사람이 읽을 수 있는 의사 텍스트가 복원됩니다. 논문의 공식 5는 이 매핑을 어휘집에 대한 argmax 연산으로 정의하며, 잠재 공간의 종료 신호인 </latent> 역시 동일한 기준으로 판별됩니다.
가독성은 잠재 벡터와 가장 가까운 토큰 임베딩 간의 평균 코사인 유사도로 정량화됩니다. 값이 1에 가까울수록 특정 토큰과 정확히 일치함을 뜻합니다. 연구진은 2,000개의 가우시안 무작위 벡터로 노이즈 기준선을 잡고 200개의 하위 작업을 검증했습니다. 맥락 특이성은 의사 텍스트가 원래 질문과 겹치는 단어 비율을 무관한 다른 질문과의 중복도와 비교한 값으로, 1을 넘어야 잠재 사고가 해당 문제를 정확히 겨냥하고 있음을 입증합니다. 노이즈 기준선 이상이면서 특이성 1을 초과하는 영역이야말로 사람이 신뢰하고 감사할 수 있는 잠재 사고입니다.
그림: 잠재 공간 벡터의 의미 탐색 분포 및 다단계 도구 호출 실행 궤적 예시. 출처: arXiv 2610.18861
자기조건부 훈련의 효용은 여기서 가장 극적으로 증명됩니다. 동일한 Qwen3-14B-Base 백본을 사용할 때 단순 서식 프롬프트 상태에서는 AIME25, AIME26, MATH500 벤치마크 점수가 20.6, 19.8, 62.4에 머물렀지만, HybridLink를 활성화하면 23.8, 22.5, 73.8로 오르고, 자기조건부 훈련까지 더하면 32.5, 31.7, 84.2로 수직 상승합니다. 복원된 잠재 사고의 가독성 또한 훈련 단계에 비례하여 명확해집니다.
잠재 사고에는 무작위 기하학적 노이즈가 아니라 토큰 임베딩 공간에서 방향성을 갖춘 의미가 온전히 보존되어 있습니다. 자기조건부 훈련을 거치지 않은 방식은 임베딩 공간에서 내용을 파악하기 힘든 파편만을 생성합니다. 잠재 상태를 인간이 해석할 수 있느냐는 잠재 공간 접근법 자체의 한계가 아니라 훈련 설계 방식에 달려 있습니다.
11개 복합 벤치마크 검증: 다중 턴 상호작용 비용 3배 절감
평가 환경은 파이썬 샌드박스와 타빌리(Tavily) 웹 검색 도구를 연동한 실전 상호작용 환경으로 구축되었습니다. 각 탐색 과정마다 최대 10회의 도구 호출을 허용하고, 검색마다 상위 10개의 웹페이지 요약을 수집하도록 했습니다. 평가 및 요약 추출에는 GPT-5.6-Luna가 심사 모델로 활약했습니다.
벤치마크는 GAIA, WebWalker, HLE, SealQA, AIME 수학 경시대회 등 11개 과제를 아우릅니다. 5회 독립 실행 결과 정확도의 표준편차는 ±0.014, 95% 신뢰구간은 ±0.017(수학 과제 ±0.031, 정보 검색 ±0.018)로 매우 안정적이었습니다. 8B 및 14B 모델 규모에서 첨단 LLM 에이전트와 도구 프레임워크들을 압도했으며, 14B 모델은 최강 베이스라인 대비 평균 17.4% 뛰어난 성과를 냈습니다. 동일 파라미터와 동일 학습 예산 조건에서 HybridSFT와 HybridRL은 텍스트 및 잠재 공간 베이스라인 대비 각각 18.5%, 10.4% 향상된 수치를 기록했습니다.
과금 대상이 되는 텍스트 토큰 수는 잠재 공간 추론의 비중이 늘어날수록 줄어듭니다. 긴 호흡의 과제에서는 수십 번의 도구 호출이 빈번하게 일어나므로, 각 단계에서 절감된 비용이 누적되어 실질적인 운영 비용을 크게 낮춥니다.
하이브리드 추론이 재편하는 엔지니어링 경계: 훈련과 인프라 전환의 과제
잠재 공간 추론 노선은 기술적 논쟁의 중심에 서 있습니다. 찬성 측은 텍스트 자기회귀 방식이 이미 공학적 한계에 부딪혔다고 지적합니다. 다중 에이전트의 빈번한 협업과 수십 단계의 장기 탐색 작업은 텍스트 기반 방식에서 문맥 길이를 지나치게 팽창시킵니다. 내부 연산을 텐서 코어에 맡겨 메모리 대역폭 점유율을 크게 낮추는 것이 대규모 확장을 위한 필수 경로라는 분석입니다.
반면 보수적인 엔지니어들은 인프라 전환 비용을 우려합니다. 현재 상용 환경은 성숙한 텍스트 API를 바탕으로 구축되어 있으며 모니터링, 디버깅, 안전 필터링 도구가 모두 텍스트 파싱을 기반으로 작동합니다. HybridAgent는 전용 미세조정과 특화된 추론 런타임을 요구하므로 폐쇄형 상용 모델에 바로 적용하기는 어렵습니다. 기반 인프라를 전면 개편하는 데 드는 비용이 하드웨어에서 얻는 이익을 부분적으로 상쇄할 수도 있습니다.
테스트 시점 연산(Test-time compute) 확장 실험은 이 논쟁에 시사점을 더합니다. 고난도 수학과 과학 문제 100건을 대상으로 샘플링 수 k를 4에서 64까지 늘렸을 때, 하이브리드 아키텍처의 pass@k 곡선은 꾸준히 우상향하며 순수 강화학습 텍스트 에이전트보다 뛰어난 연산 효율을 보였습니다. 연속 잠재 상태가 고도화된 추론 탐색을 충분히 담아낼 수 있어, 테스트 연산 투입량이 커질수록 격차는 더욱 벌어집니다.
자율 에이전트의 병목은 추론 정보를 담아내는 표현 매체에 있습니다. 중간 추론을 억지로 텍스트 문자로 풀어내는 방식은 메모리 대역폭을 낭비합니다. 연속 잠재 공간으로 내부 논리를 전개하면서도 외부 환경을 향해서는 텍스트 도구 인터페이스를 유지할 수 있습니다. 컴퓨팅 자원이 한정된 장기 상호작용 작업에서 불필요한 내부 독백을 걷어내는 것이 처리량을 끌어올리는 핵심 해법입니다.
참고 링크:
- arXiv 논문: Hybrid Reasoning Agents (2610.18861)
- 스탠퍼드 대학교 및 Together AI 공동 연구 프로젝트
