“자전거 타는 펠리컨” 테스트 졸업 선언… AI는 정말 물리 공간을 이해했는가

8월 2일, 전 세계 AI 업계에서 가장 유명했던 이미지 생성 테스트 하나가 공식적으로 “졸업”을 선언받았다. 선언한 인물은 전 테슬라 AI 디렉터이자 OpenAI 창립 멤버인 안드레이 카파시(Andrej Karpathy)다. 그는 X(구 트위터)를 통해 “우리는 ‘자전거를 타는 펠리컨’을 그려보게 해서 AI를 평가하던 시대에서 벗어나기 시작했다”고 밝혔다. 이 게시물은 24시간 만에 274만 회 이상 조회되었고, 기술 커뮤니티 해커뉴스(Hacker News)에서 400점에 가까운 추천과 300개가 넘는 댓글을 기록하며 당일 가장 뜨거운 주제로 떠올랐다.

그러나 열기 띤 댓글란에 모로미스트(Morromist)라는 닉네임의 사용자가 찬물을 끼얹었다. “나는 자전거를 타는 펠리컨을 안정적으로 그려내는 AI를 단 한 번도 본 적이 없다. 아무리 훌륭하게 그린 이미지라도 자세히 뜯어보면 늘 결함이 존재한다. 두 다리가 자전거의 같은 쪽에 몰려 있거나 부리가 두 개 달려 있는 식이다.”

시험은 졸업을 선언했지만, 시험장 안의 펠리컨은 여전히 사고를 내고 있다. 도대체 이 사이에 무슨 일이 벌어지고 있는 것일까?

이 “펠리컨 테스트”란 무엇이었나

2024년 말, 개발자 사이먼 윌리슨(Simon Willison)이 가볍게 제안한 작은 테스트에서 시작되었다. AI에게 “자전거를 타는 펠리컨 이미지”를 생성하도록 요청하는 것이었다. 농담처럼 시작된 이 프롬프트는 2년 만에 AI 이미지 생성을 대표하는 비공식 벤치마크로 자리 잡았다. 130개가 넘는 기술 아티클에 언급되었고, 새로운 비전 모델이 출시될 때마다 반드시 거쳐야 하는 통과의례가 되었다.

이 프롬프트가 이토록 어려웠던 이유는 무엇일까? 구성 요소를 분해해 보면 명확해진다. 펠리컨이라는 생물학적 구조, 자전거라는 기계적 조립체, 그리고 “위에 탄다”는 두 대상 간의 공간적 상호작용. 이 세 가지가 합쳐지는 순간 AI는 혼란에 빠진다.

AI의 이미지 생성 본질은 패턴 흉내내기에 가깝다. 인터넷상의 수많은 새 이미지와 자전거 이미지를 학습했지만, 인류 역사상 자전거를 타는 펠리컨의 실제 사진은 거의 존재하지 않는다. 모델은 학습 데이터를 단순히 베낄 수 없으며, 펠리컨과 자전거라는 두 요소를 물리학적 법칙에 맞추어 현장에서 즉석 조립해야 한다. 그리고 이러한 “미지의 구조에 대한 물리적 조립”이야말로 확산 모델의 치명적인 약점이다. 익숙한 장면을 흉내 내는 것은 뛰어나지만, 보지 못한 부품들을 물리적 제약 조건에 맞게 조립하라고 요구하면 약점이 드러난다. 자전거를 한 번도 타본 적 없는 사람이 “자전거 타는 사람”을 그리는 것과 같다. 사람 형태와 자전거 형태는 흉내 내더라도 페달, 체인, 브레이크의 위치는 순전히 짐작에 의존할 수밖에 없다.

2년간 이어진 실패의 명장면들

지난 2년간 “펠리컨 답안지”에는 수많은 실소 유발 장면들이 수집되었다. 두 다리가 자전거의 한쪽 페달에만 가 있는 모습(실제라면 몇 초도 못 버티고 넘어진다), 한 몸에 부리가 두 개 달린 펠리컨, 바퀴살이 사라진 바퀴, 공중에 떠 있는 자전거 프레임, 공중에 홀로 연결된 핸들바 등이다.

사진: 주요 모델의 기본 모드 답안. 펠리컨이 자전거를 타고 있는 것이 아니라 자전거 위에 떠 있다. 출처: simonwillison.net

초소형 모델들은 추상화 수준의 백지 답안을 제출하기도 했다. 파란색 원 두 개, 갈색 직사각형 하나, 주황색 미상의 덩어리 하나를 내놓고 “자전거 타는 펠리컨”이라고 주장하는 수준이었다.

사진: 초소형 모델이 동일한 문제에 대해 작성한 답안. 펠리컨과 자전거의 형체를 형체조차 알아보기 어렵다. 출처: simonwillison.net

지난달 말 사이먼 윌리슨이 최신 모델을 다시 실측했을 때도, 기본 모드에서는 펠리컨이 여전히 공중에 떠 있고 자전거 프레임은 해체되어 있었다. “생각하는 시간” 스위치를 높여 추론 모드를 작동시킨 후에야 비로소 그럴듯한 한 장의 이미지가 나왔다. 댓글란에서는 “클로드(Claude)가 그린 펠리컨은 18개월 동안 뚜렷한 진전이 보이지 않는다”는 구체적인 지적도 나왔다.

그렇다면 왜 지금 “졸업”을 선언했는가

카파시가 말한 의미는 AI가 완벽해졌다는 뜻이라기보다, “이 문제로는 더 이상 모델 간의 성능 차이를 변별할 수 없다”는 것에 가깝다.

평가 설계에서 시험의 가치는 변별력에 달려 있다. 학급 전체가 30점을 맞을 때는 점수가 의미를 가지지만, 모두가 95점을 맞게 되면 해당 시험지는 무용지물이 된다. 누가 진짜 실력자인지 구분할 수 없기 때문이다. 펠리컨 테스트가 바로 이 지점에 도달했다. 주요 모델들 모두 겉보기엔 그럴듯한 펠리컨을 그릴 수 있게 되면서, 사람들의 논쟁은 “누가 오류를 범했는가”에서 “누가 그린 펠리컨이 더 예쁜가”라는 취향의 영역으로 옮겨갔다. 능력 검증이 취향 논쟁에 밀려난 것이다.

이에 카파시는 문제를 새로 바꿨다. AI에게 『반지의 제왕』 첫 단락 텍스트를 주어 100만 개의 추론 토큰(약 10달러 상당의 연산 비용)을 할당한 뒤, 3D 기술을 사용해 스토리 전체를 직접 둘러볼 수 있는 가상 공간으로 구현하도록 했다. AI는 2시간 동안 작업을 수행하며 5,500줄의 코드를 작성했고, 실제로 탐방 가능한 3D 호비튼 마을을 만들어냈다. 톰 봄바딜의 노래까지 배경 음악으로 탑재되어 있었다. 카파시는 “조심해라, ‘GTA 호비튼’이 ‘GTA VI’보다 먼저 출시될지도 모른다”며 농담을 던졌다.

사진: 동일 모델, 동일 프롬프트에서 추론 강도를 높인 결과물. 위의 기본 모드 결과와 확연히 대비된다. 출처: simonwillison.net

시험 만점과 실제 능력의 격차

여기에는 일반인이 자칫 간과하기 쉬운 함정이 있다. 시험 졸업과 실제 표현 능력은 별개의 문제라는 점이다.

첫 번째 이유는 “시험 족보 학습(벤치마크 오염)” 효과다. 펠리컨 테스트가 2년간 화제가 되면서 인터넷상에는 수많은 모범 답안이 퍼졌고, AI의 학습 데이터 속에 이미 이 이미지들이 포함되었을 가능성이 크다. 만점을 받은 것은 공간과 물리 법칙을 이해해서가 아니라 단순 암기의 결과일 수 있다는 뜻이다. 이는 추측에 그치지 않는다. 한 연구팀이 7개 주요 모델을 대상으로 48가지 “동물 + 이동수단” 조합(스케이트보드를 타는 플라밍고, 보트를 모는 왜가리 등)을 테스트한 결과, 펠리컨이 다른 동물에 비해 특별히 더 잘 그려지지 않는다는 결론을 얻었다. 모델이 진짜 공간 구성을 터득했다면 왜 오직 펠리컨 프롬프트에서만 성과가 나타나겠는가? 이 문제가 반복 학습되어 오염되었음을 시사한다.

두 번째 이유는 시험 문제가 공개되고 유출되면, “모두의 실력이 향상된 것”과 “모두가 답안을 외운 것”을 점수상으로 구분할 수 없게 된다는 점이다. 널리 퍼진 벤치마크는 능력 테스트에서 단순 숙련도 테스트로 퇴화한다. 카파시가 출제 문제를 바꾼 것 역시 펠리컨 시험지가 오염되어 더 이상 검증 가치가 없음을 인정한 셈이다.

세 번째 이유는 AI 고유의 한계가 여전히 남아있다는 점이다. 카파시 본인도 인정했듯, AI가 3D 공간을 구축할 때 스스로의 결과물을 실시간으로 직접 “보면서” 작업하지 못한다. 주기적으로 캡처 이미지를 찍어 부분 확인을 거칠 뿐이며, 그 확인 과정조차 오판을 내리기 일쑤다. 자신이 그린 결과물의 오류를 스스로 알아채지 못하는 눈먼 상태야말로 펠리컨이 자전거 한쪽에 두 다리를 몰아넣고도 모르는 근본 원인이다.

사용자에게 주는 시사점

앞으로 AI가 생성한 이미지를 접할 때, 특히 기계 구조, 동작, 여러 사물 간의 상호작용이 포함된 이미지라면 한 번 더 유심히 살펴볼 필요가 있다. 풍경, 포스터, 일러스트처럼 “분위기”를 전달하는 영역에서 AI는 이미 매우 뛰어난 성과를 보인다. 하지만 “자전거를 타는 사람”, “조립 설명도”, “제품 상세 이미지”처럼 정밀한 공간 감각이 필요한 영역에서는 여전히 디테일에서 치명적인 오작동이 숨어있을 수 있다.

2년 전 펠리컨 테스트가 처음 나왔을 때 사람들은 “AI가 이런 기본적인 것조차 못 그리는가”라며 놀라워했다. 2년이 지나 테스트 졸업이 선언된 지금, 사람들은 “AI가 정말로 이해하고 그리는가”를 두고 다시 토론하고 있다. 이 펠리컨 벤치마크가 남긴 진정한 유산은 한 가지 사실을 상기시켜 준다는 점이다. 시험 점수는 졸업할 수 있지만, 기술의 진정한 능력 검증에는 졸업이 없다는 사실이다. 다음 시험의 감독관은 이미 고사장 문 앞에 서 있다.

참고 링크:

• Karpathy의 X 게시물 (펠리컨 테스트 은퇴 선언 및 『반지의 제왕』 3D 구현 시연)
• HN 토론 쓰레드 (“Karpathy’s Pelican”, 약 400점, 댓글 300여 개)
• Simon Willison: pelican-riding-a-bicycle 태그 페이지 (관련 글 130여 편)
• Simon Willison: Kimi K3, 그리고 펠리컨 벤치마크에서 배울 수 있는 것들
• Dylan Castillo: AI 연구소들은 암암리에 “펠리컨 족보 맞춤 학습(pelicanmaxxing)“을 하고 있는가