“1812년 12월 19일, 《Java Government Gazette》 3면 2열: M 대위는 뇌우 구름에서 떨어진 진귀한 돌을 보관하고 있다. 사흘 전(8월 6일) 코쿠르가움 마을 인근에 떨어진 것이다. 무게는 최소 4파운드이며 크기에 비해 매우 무겁고, 철 성분이 다량 함유되어 있으며, 마치 주변에서 화약이 폭발한 것처럼 얇고 검은 껍질로 덮여 있다. 땅속으로 1피트 깊이 파고들어 있었다.”
신문 스캔본 속에 잠들어 있던 이 짧은 단신을 로컬 환경에서 실행되는 AI 워크플로가 발굴해냈다. 만약 전문가들의 검증을 거쳐 공인을 받는다면, 인도 마하라슈트라주 코쿠르가움 마을에 떨어진 이 운석은 해당 지역의 가장 오래된 운석 낙하 기록을 26년 앞당기게 된다.
소프트웨어 엔지니어 제시 웨이츠(Jesse Waites)는 이 자동화 파이프라인을 네덜란드 동인도회사(VOC) 고문서 435만 쪽과 200년 치의 미국·네덜란드 신문 자료에 투입했다. 사람이 하루 8시간, 페이지당 2분씩 읽는다면 약 70년이 걸릴 방대한 분량이었지만, 그가 구축한 시스템은 하룻밤 12시간 동안 한 차례 실행되는 것만으로 전체 자료를 모두 훑어냈다.
파이프라인이 찾아낸 것은 운석뿐만이 아니었다. 실론으로 운송되던 도중 목숨을 잃은 세 마리의 코뿔소 기록과, 전 세계 표준 화산 카탈로그에 등재되지 않은 세 건의 분화 사건 흔적까지 건져 올렸다. 이 모든 탐색은 두 가지 엄격한 공학적 제약 위에 세워졌다. 미지의 사건을 찾기 전에 이미 알려진 사실로 파이프라인을 검증할 것, 그리고 모든 결론을 실제 원본 스캔본에 단단히 고정할 것.
미지의 사건을 찾기 전, 반드시 대조군을 세운다
대규모 언어 모델을 수백만 쪽의 방대한 문서에 무작정 투입해 새로운 발견을 시도하면 환각의 덫에 빠지기 쉽다. 허위 탐지를 걸러내기 위한 사전 기준점 테스트가 핵심 안전장치로 작동했다.
역사학자 벤저민 브린(Benjamin Breen)은 이전에 Opus 5.5 모델을 사용해 VOC 아카이브에서 1615년 모리셔스에 상륙한 선원들이 도도새를 포획했다는 목격담을 찾아낸 바 있다. 웨이츠는 우선 이 탐색 과정을 그대로 재현해 파이프라인의 기준 검색 능력을 확립했다.
이어 시스템은 1711년 상기헤 제도의 아우(Awu) 화산 분화 사건을 정확히 찾아냈다. 138명의 사망자를 냈다는 구체적인 수치는 스미스소니언 글로벌 화산 프로그램의 수록 날짜와 하루 단위까지 일치했다.
대조군 실험의 성공은 한 가지 핵심을 증명했다. 흩어져 있는 개인의 파편화된 기록 속에서 현대 과학 기록과 교차 검증할 수 있는 핵심 사실을 추출해낼 역량이 파이프라인에 갖춰져 있다는 점이었다. 이로써 아직 정리되지 않은 ‘후보’ 사건들을 탐색할 정당성을 확보하게 되었다.
3단계 읽기 파이프라인으로 연산 비용 통제하기
17세기 네덜란드어에서 ‘코뿔소(rhinoceros)‘를 표기하는 철자는 약 15가지에 달했다. 단순 키워드 검색 방식으로는 첫 단계에서 수많은 단서를 놓칠 수밖에 없었다.
웨이츠는 435만 쪽의 문서를 잘게 나누어 570만 개의 의미 지문(Semantic Fingerprint)을 생성했다. 임베딩 모델을 활용해 의미적 거리를 기반으로 위치를 파악함으로써, 15가지에 달하는 철자 변형이 고차원 벡터 공간에서 동일한 영역으로 수렴하도록 만들었다.
진짜 난제는 수만 건에 달하는 후보군 속에서 저비용으로 유효한 사실을 추려내는 일이었다. 웨이츠는 3단계 읽기 파이프라인을 배치했다. 1단계에서는 작고 빠른 ‘시스템 1(System One)’ 의사결정 모델인 Jev를 투입해 (“이것이 실제 동물인가? 야생 동물인가? 어디에 있는가?”와 같은) 매우 좁은 질문에만 답하도록 했다. Jev가 코끼리와 관련된 5만 9,000개의 문단을 읽는 데 들어간 비용은 고작 3달러였다.
Jev가 선별한 문단만이 2단계로 넘어가 클로드 하이쿠(Claude Haiku)가 정독과 네덜란드어 번역, 시기와 장소 추출을 수행했다. 최종 단계에서는 클로드 코드(Claude Code) 에이전트가 필사본 원본 스캔 이미지를 직접 열어 텍스트 변환의 정확성을 대조하고, 권위 있는 학술 카탈로그와 교차 검증을 거쳤다.
실론으로 향하는 항로에서 죽은 세 마리의 코뿔소
파이프라인은 18세기 동물 외교 실패의 전말을 복원해냈다. 1738년, 네덜란드 동인도회사는 시나몬 무역 관계를 유지하기 위해 스리랑카 캔디 왕국의 국왕에게 보낼 선물로 자바코뿔소 한 마리를 생포했다.
코뿔소는 인도양을 건너 콜롬보에 무사히 도착했으나 고산 지대인 캔디까지 올라가지 못했다. 1740년 VOC 회계 장부의 ‘말 마구간(De Paardenstal)’ 항목에는 한 줄의 기록이 적혀 있었다. “1738년 마구간에서 코뿔소 한 마리가 폐사하여 결손 처리함.” 콜롬보 총독은 코뿔소의 급사를 본국에 보고하며 그 빈자리를 메우기 위해 페르시아산 준마를 추가로 보냈다.
그림: VOC 아카이브의 코뿔소 관련 원본 문서 스캔. 출처: 네덜란드 국립문서관(Nationaal Archief)
1740년 7월 5일, 로베렌달(Loverendaal)호가 암수 코뿔소 두 마리를 싣고 바타비아를 떠나 실론으로 출항했다. 그러나 출항 사흘 만에 수컷 코뿔소가 숨을 거두었고, 열흘 뒤에는 암컷 코뿔소(‘t wijfje)마저 죽었다. 선박 장교들과 갑판장은 콜롬보 법정에 서서 선서를 마친 후 한 치의 거짓 없이 원문 그대로의 진술을 유지했다.
캔디 궁정의 사절에게 보낸 총독의 훈령에는 아쉬움과 유감이 묻어났다. 네덜란드산 돼지 몇 마리(어린 수퇘지 한 마리와 암퇘지 두 마리)를 보태어 보내며 두 마리의 코뿔소가 항해 도중 사망한 소식을 전했다. 3년 뒤 인도 남부 람나드 궁정의 사절은 “캔디 국왕에게 보냈던 것처럼 우리에게도 어린 코뿔소를 보내달라”고 요구했다. 끝내 도달하지 못한 선물이 다른 나라와의 외교 협상에서 새로운 압박 카드가 된 것이다.
스미스소니언 카탈로그가 놓친 세 차례의 화산 분화
파이프라인이 발굴한 다른 후보군들은 현대 지구과학 데이터베이스의 맹점을 드러냈다. 표면에 검은 껍질이 덮인 앞서의 운석이 1819년 클라드니의 초기 목록, 대영박물관 카탈로그, 1933년 인도 운석 목록은 물론 오늘날의 운석학 공보(Meteoritical Bulletin)에도 등재되지 않았음이 밝혀진 것에 더해, 시스템은 명확한 화산 분화 기록 세 건을 찾아냈다.
첫 번째는 1722년 2월 3일 감코노라(Gamkonora) 화산 분화다. 테르나테 총독이 그해 7월 7일에 보낸 서한에는 측량 장교 야코프 엥겔스(Jacob Engels)가 작성한 현장 조사 기록이 첨부되어 있었으며, 산이 폭발해 갈라진 모습이 묘사되어 있었다.
그림: 1722년 7월 7일 테르나테에서 보낸 네덜란드어 필사 서한. 합철 문서에 보관된 감코노라산 분화 기록의 출처. 출처: 네덜란드 국립문서관(Nationaal Archief)
두 번째는 1712년 초 서부 자바의 치레마이(Ciremai) 화산 분화다. 서부 자바 일대에서 불꽃은 보이지 않은 채 짙은 연기가 수주 동안 피어올랐고, 남동부 대지는 얇은 청회색 화산재로 뒤덮였다. 기록에 따르면 농작물이 막대한 피해를 입었고 가축들이 화산재 묻은 풀을 먹지 않았으며, 현지 영주는 과거에도 유사한 사건이 있었다고 회고했다. 세 번째는 1780년 2월 중부 자바 슬라멧(Slamet) 화산의 이상 활동으로, “한때 불타던 테갈의 산”이 전례 없는 맹렬한 기세로 타올랐다고 전한다.
그림: 1812년 12월 19일자 《Java Government Gazette》 3면 2열 신문 스캔 발췌본. 1812년 8월 26일자 《Bombay Gazette》의 M 대위 운석 기록 전재. 출처: Delpher / 네덜란드 국립도서관
현재 스미스소니언 카탈로그와 대조한 결과, 당대인들이 직접 목격하고 종이에 남겨둔 이 세 차례의 분화 기록은 현대 과학 목록에서 300년 동안 빠져 있었다. 현재 이 기록들은 ‘후보군’으로 분류되어 있으며, 웨이츠는 운석 큐레이터와 역사학자 케이스 룩마커(Kees Rookmaaker), 화산학자들에게 연락을 취해 두었다. 정식 역사로 공인받기 위해서는 전문가들의 엄격한 심사 과정을 거쳐야 한다.
1809년 미지의 분화 검색이 남긴 공백의 의미
수많은 후보 증거를 찾아냈음에도 불구하고 이 도구가 만능은 아니다. 웨이츠가 1808년 또는 1809년의 미확인 거대 분화 미스터리를 풀기 위해 시스템을 가동했을 때, 탐색은 벽에 부딪혔다.
빙하 코어 분석에 따르면 1808~1809년 사이에 지난 500년 중 최대 규모의 화산 분화가 일어났지만, 그 구체적인 위치는 여전히 베일에 싸여 있다. 웨이츠는 미국과 네덜란드의 신문, 항해 일지, 식민지 시대 남미 정기간행물, 그리고 바타비아 최초의 신문에 실린 633편의 기사 전체를 탐색하도록 워크플로를 총동원했으나 결과는 완전한 백지였다.
하지만 이 실패는 공학적으로 또 다른 확실성을 안겨주었다. 동일한 파이프라인이 아우, 감코노라, 치레마이 화산 기록을 오차 없이 포착해냈기에, 이 미스터리에서 아무것도 건지지 못했다는 사실은 당시 해당 지역에서 1809년의 기이한 하늘에 대해 글을 남긴 이가 아무도 없었을 가능성이 매우 높다는 결론을 가리킨다. 현재 남은 유력한 단서는 아직 텍스트화되지 않은 동인도회사의 필사본 항해 일지 1,235권뿐이다.
웨이츠는 이 워크플로를 안티퀴티(Antiquity)라는 이름의 오픈소스 툴킷으로 공개했다. 이번 실험은 단순하면서도 분명한 교훈을 남긴다. 그와 브린이 파고든 것은 완전히 동일한 아카이브 데이터베이스였다. 브린은 도도새를 찾겠다는 목표를 품고 들어가 1615년의 목격 기록을 찾아냈고, 웨이츠는 운석과 잃어버린 화산 분화를 찾겠다는 목표로 뛰어들어 땅속의 검은 돌과 폭발한 산의 흔적을 찾아냈다.
수백만 쪽의 고문서는 본래 침묵 속에 머물러 있다. 기록 보관소는 스스로 입을 열어 말하지 않는다. 그것은 오직 엔지니어가 질문을 던질 줄 알았던 그 구체적인 물음에만 답할 뿐이다.
참고 링크:
- I pointed AI at 400 years of archives
