종합 통과율 19.2%: 초안은 써내지만, 날인 가능한 의견서는 아니다
19.2%. 국내외 AI 모델을 로펌의 실무 파이프라인에 투입했을 때 얻은 전체 프로세스 통과율(all-pass rate) 수치다. 2026년 10월 12일, Zhipu AI는 법률 실무 전용 에이전트 모델인 GLM-Legal을 공개했다. 24개 전문 실무 영역을 포괄하는 Harvey LAB 벤치마크 테스트에서 이 수치는 베이스 모델 대비 12.5%포인트 향상되었다. 그럼에도 불구하고 80% 이상의 복잡한 실무 과제는 여전히 문턱을 넘지 못했다.
이 ‘올패스(all-pass)’ 평가는 전체 다단계 업무 체인에 걸쳐 일체의 성능 저하나 오류가 없어야 통과로 인정된다. 12.5%포인트의 상승은 전문 도메인의 사후 학습(post-training)이 실질적인 효과를 거두었음을 입증하지만, 19.2%라는 상한선은 냉정한 한계를 명확히 긋는다. 구조가 잘 잡힌 컴플라이언스 초안은 뽑아낼 수 있어도, 바로 직인을 찍어 효력을 발휘할 수 있는 법률 의견서 단계에는 도달하지 못한다는 뜻이다.
그림: 복잡한 실행, 법률적 추론, 실제 문서 작성 3대 축에서 GLM-Legal의 공식 벤치마크 성능. 출처: Zhipu z.ai 공식 블로그
제공사들은 이러한 역량을 ‘전문적 협업’이라 부른다. Zhipu가 공개한 비교 차트에서 GLM-Legal은 복잡한 실행, 법률적 추론, 실제 문서 작성의 세 영역 모두에서 최상위 프런티어 시스템들을 바짝 뒤쫓고 있다. 산출물 작성 비용은 바닥으로 떨어지고 있으나, 정작 책임의 최전선에 서 있는 것은 서명 펜을 쥔 변호사다.
법률 업무 파이프라인에는 단 한 번의 환각도 허용되지 않는다
코드를 짤 때의 버그는 비교적 잡아내기 쉽다. 프로그램을 실행하면 예외 에러가 발생하거나 테스트 케이스에 걸린다. 반면 소송에서는 소멸시효 하나를 놓치거나 입증책임을 거꾸로 판단하는 순간 재판 전체를 망칠 수 있다.
계약서 속 오류는 훨씬 더 찾아내기 힘들다. 모호한 배상 조항을 담은 채 날인해도 즉각적인 문제는 발생하지 않는다. 몇 년 뒤 본격적인 분쟁이 벌어져야 비로소 청구서가 날아온다. 이처럼 ‘뒤늦게 터지는’ 특성 때문에 법률 실무는 다른 어떤 지식 노동보다 엄격한 정확성을 요구한다.
Zhipu는 법률 업무를 ‘사실관계, 법령, 추론, 최종 납품물’이라는 4단계 체인으로 요약한다. 이 네 단계는 완벽하게 맞물려 돌아가야 한다. 시스템은 수백 쪽의 서류에서 쟁점을 도출하고, 방어 가능한 논증을 세운 뒤, 요구 규격에 맞춰 문서를 완성해야 한다. 중간 단계 하나만 어긋나도 문서 전체는 휴지조각이 된다.
벤치마크 결과 역시 이 과정의 높은 난도를 방증한다. 전문 계약서와 M&A 신고서, 사법 판단을 분석하는 LegalBench에서 GLM-Legal은 최상위 폐쇄형 프런티어 시스템들과 대등한 성적을 거두었다. 중국 법률 자문 벤치마크인 PLawBench에서도 최상위권에 올랐다. 특히 주목할 점은 훨씬 가벼운 파라미터 규모로 이와 같은 점수를 달성했다는 사실이다.
경량 모델의 강화학습: 법조문을 실행 가능한 체크리스트로 전환하다
GLM-Legal은 경량 기반 모델인 GLM-5.3-Flash를 토대로 구축되었으며, 개발팀은 훨씬 작은 파라미터 크기를 강점으로 내세운다. 가벼운 체급은 온프레미스 프라이빗 배포의 진입 장벽을 낮추고, 로펌의 일상적인 연산 비용을 예측 가능하게 만든다.
중간 학습 단계에서 연구진은 고품질 법률 말뭉치를 대폭 확충해 ‘사실관계—규범—결론’으로 이어지는 연역적 연결 고리를 탄탄히 다졌다. 사후 학습 단계에서는 수만 개의 실제 법률 환경 시뮬레이션에서 강화학습을 거쳤으며, 런타임 오케스트레이션 프레임워크(Harness)와 함께 반복 훈련을 진행했다. 프레임워크가 모델의 약점을 드러내면, 모델이 역으로 프레임워크의 병목을 찾아내는 방식이었다.
현업 법률가들은 산출물에 대해 4가지 수용 기준을 세웠다. 핵심 쟁점과 엣지 케이스를 모두 포괄하는가, 논증에 근거가 있고 인용이 타당한가, 결과물이 업무 규격을 엄격히 충족하는가, 그리고 후속 팀이 재작업 없이 즉시 쓸 수 있는가이다. 특히 마지막 기준은 주관적인 ‘문장력’ 평가를 측정 가능한 재작업 비용으로 치환해 놓았다.
그림: 추상적 법조문을 구체적인 실행 단계로 세분화한 크로스보더 개인정보 컴플라이언스 체크리스트. 출처: Zhipu z.ai 공식 블로그
위 이미지가 바로 공식 제공된 실제 적용 사례다. 해외 진출 시 준수해야 할 개인정보 보호 요구사항을 국가별 실행 절차로 분류하고 P0 작업 목록으로 재정리했다. AutoClaw를 기반으로 사용자가 비즈니스 배경을 입력하면 현장에 바로 하달할 수 있는 업무 지침이 나온다.
모델은 틀려도 면허가 취소되지 않지만, 서명한 변호사는 모든 책임을 진다
기술 지표는 상승 곡선을 그리지만, 실무 현장의 긴장감은 줄어들지 않는다. 개발자 커뮤니티에서는 대형 로펌에 매달 최소 500달러의 자문료를 내고도 AI가 사전 고지 없이 작성한 진행 경과 이메일을 받았으며, 중요 사실관계가 누락되거나 왜곡되어 있었다는 경험담이 공유되었다.
더 위험한 문제는 판례와 판시 사항의 완전한 날조(환각)다. 모델은 종종 존재하지 않는 선례를 지어낸다. 이를 검토하는 변호사가 미처 걸러내지 못하고 법원에 제출할 경우 사법 징계가 기다리고 있다. 반면 프로그램의 반응은 “말씀이 맞습니다, 존재하지 않는 사건을 지어내지 말았어야 했습니다”라고 공손히 시인하는 것이 전부다. 책임 사슬의 끝에는 언제나 인간이 서 있으며, 코드는 그 사슬 밖에 있다.
일각에서는 이러한 도구를 과거의 판례 검색 데이터베이스에 비유하며 위험이 과장되었다고 주장한다. 그러나 둘의 결정적 차이는 역할에 있다. 데이터베이스는 검토할 후보 자료를 펼쳐놓을 뿐 논증 구조는 변호사가 직접 세운다. 반면 에이전트는 검색부터 작성까지 완성본을 통째로 내놓는다. 인용과 형식, 결론을 모델이 정하더라도, 책임은 오직 서명란에 이름을 적은 사람이 짊어져야 한다.
작성 비용은 제로에 수렴하지만, 서명하는 펜의 무게는 더 무거워진다
장문의 법률 문서를 작성하는 한계비용은 빠르게 0으로 떨어지고 있다. 그에 따른 필연적인 결과는 변호사 책상 위에 쌓이는 초안이 폭발적으로 늘어나는 반면, 검토 시간은 단 1초도 줄어들지 않는다는 점이다. 산출 속도는 무한히 빨라질 수 있지만, 무엇이 올바르게 작성되었는지 검증하는 과정은 단축될 수 없다.
변호사의 업무가 획기적으로 편해질 것이라는 낙관론도 있지만, 반대편의 현실을 지적하는 목소리도 높다. 품질로 차별화하기 어려워지면 경쟁은 처리 건수라는 양적 경쟁으로 변질되고, 로펌은 변호사에게 더 많은 서명을 압박할 것이다. 책임은 온전히 개인의 몫인데 읽을 시간은 줄어든다. 덜 읽고 더 많이 서명하는 것, 이것이 시스템이 마주한 가장 위험한 함정이다.
GLM-Legal이 보여준 19.2%의 통과율은 데이터 재구축과 강화학습을 통해 작은 특화 모델도 무결성이 요구되는 전문 영역에서 쓸 만한 초안을 낼 수 있음을 입증한 탄탄한 공학적 성과다. 그러나 이 기술의 궁극적인 무게는 출발점부터 책임 소재의 분배 문제에 실려 있다.
법률 문서의 법적 효력은 그것이 얼마나 신속하게 생성되었는가에 결코 좌우되지 않는다. 유효한 모든 법률 의견서 뒤에는 자신의 직업 면허를 담보로 건 변호사가 있다. 기계는 초안을 던져주고 사람은 결과를 감당한다. 책임 분담의 체계가 마련되기 전까지, 서명 펜을 쥔 손은 과거 어느 때보다 더 강하게 힘을 줄 수밖에 없다.
참고 링크:
- Zhipu z.ai 공식 블로그
- Harvey LAB 평가 벤치마크 가이드
- Hacker News 커뮤니티 토론
