2026년 6월, Ryan Findley라는 엔지니어가 자택 지하실에서 Google이 새로 내놓은 대형 언어모델 Gemma 4(파라미터 260억 개)를 2013년에 출고된 오래된 서버에 밀어 넣었다. 그래픽카드도 없고 AI 가속칩도 없이, 낡은 인텔 제온(Xeon) CPU 두 개만으로 돌린 것이다. 결과는: 초당 5토큰을 토해낸다.
맞다, 잘못 본 게 아니다. 5토큰. 당신이 이 문장을 다 읽는 동안, 기계는 딱 다음 단어 하나를 내뱉는다.
하지만 이 기계는 실제로 돌아갔다. HN에서 추천 209개, 댓글 139개를 받았다. 사람들이 흥분한 지점은 이거다: 폐기 하드웨어로 최신 AI를 돌릴 수 있느냐, 없는 거냐?
이 기계는 얼마나 낡았나?
이 ‘늙은 친구’의 사양부터 보자. 원래 HP의 스토리지 서버였다. 당시 기업들이 파일 전용으로 사들였던 기계로, 설계 목표는 ‘하드디스크를 꽉 채우는’ 것이지 ‘수학 문제를 푸는’ 것이 아니었다. 제온 E5-2690 v2 CPU 두 개, 2013년 제품이고 메모리는 그 이전 세대인 DDR3 규격이다. 기계 전체의 중고 가격은 지금 300달러(약 2,000위안)도 안 한다.
더 결정적인 것은, 거의 모든 현대 AI 소프트웨어가 당연히 ‘있을 것’으로 가정하는 명령어 세트 하나가 빠져 있다는 점이다 — 바로 AVX2. 인텔이 2014년에야 CPU에 추가한 가속 명령어 집합으로, 대규모 벡터 연산을 전담한다. 이것이 없으면, 덧셈뺄셈밖에 모르는 초등학생에게 미적분을 풀게 하는 격이다. 계산은 당연히 할 수 있지만, 한 단계마다 수없이 많은 작은 걸음으로 쪼개야 한다.
원저자도 처음에는 실패했다. 다른 기술 블로거가 2016년형 제온에서 돌려 본 방법을 그대로 따라 해봤지만, 프로그램은 바로 크래시됐다. 그의 표현을 빌리자면: “안 돌아간다.”
그렇다면 어떻게 돌아간 걸까?
여기에 하나의 디테일이 있는데, 아마도 이 일에서 가장 흥미로운 부분일 것이다.
저자는 C++ 프로그래머가 아니다. 그는 저수준 코드에 빼곡한 벡터 명령어들을 이해하지 못한다. 하지만 그는 한 가지를 했다. 바로 오류 메시지를 AI 비서 Claude에게 던지고 “왜 터졌어?”라고 물은 것이다.
Claude는 남의 코드를 다 읽고 원인을 진단했다 — 저자의 CPU는 상대방 것보다 한 세대 오래된 탓에 AVX2 명령어가 없는데, 코드 안에는 ‘반드시 AVX2가 있어야만 지나갈 수 있다’고 박아둔 핵심 계산 경로가 두 개나 있었다. 더 나쁜 것은, 이 두 경로가 조용히 건너뛴다는 점이다 — 프로그램은 정상 가동하는 것처럼 보이지만, 출력 결과는 이미 엉망진창인 난수 더미가 된다. Claude가 이 현상을 묘사한 원문이 재미있다: “모델은 태국어, 한국어, 깨진 기호, 영어 파편을 똑같이 즐겁게 내뱉는다.” 마치 뇌에 풀을 부은 사람처럼, 뭐든 말은 막 하되 맞는 말은 하나도 없다.
그런 다음 저자는 더 어려운 일을 했다. Claude에게 그 두 코드 블록을 다시 쓰게 해서, ‘반드시 AVX2가 있어야 한다’는 딱딱한 요구를 ‘있으면 쓰고, 없으면 느린 예비 경로로 간다’로 바꾼 것이다. 패치 세 개를 적용하자, 모델은 난잡한 난수 더미에서 또렷하고 유창한 영어 답변으로 변했다.
전체 과정에서 저자가 맡은 역할은 ‘실험자’이자 ‘심판’이었다 — 테스트를 돌리고, 출력을 보고, ‘이 결과가 맞느냐’를 판단했다. 진짜로 코드를 고친 것은, 다른 기계 위의 또 다른 AI였다.
한 AI가 낡은 하드웨어 위에서 다른 AI의 코드를 고쳐냈다. 13년 전의 CPU와 몇 달 전에 발표된 모델이, 중개자의 주선 아래 화해를 이루었다.
느리지만, 쓸모는 있다
초당 5토큰이 무슨 뜻일까? ChatGPT 유료 버전은 보통 초당 30~60토큰을 토해내고, 빠를 때는 100토큰을 넘는다. 5토큰은, 지하철에서 기사를 천천히 읽는 속도쯤 된다.
일상 대화에는 당연히 부족하다. 답장 하나 기다리는 동안 차 한 잔 우려 먹기 충분하다. 하지만 저자는 몇 가지 실제 시나리오를 제시한다. 유료 API(프로그램 인터페이스)가 다운됐을 때의 예비 대책, 아니면 시간에 쫓기지 않는 배치 작업 — 예를 들어 밤새 문서 한 묶음을 처리하게 해놓고 다음 날 아침에 결과를 보는 식이다. 이런 상황에서는 느린 것이 문제가 아니라, 돌아가느냐가 문제다.
HN 커뮤니티에서는 더 낙관적인 전망도 나왔다. 2027년 중반이면 파라미터 2,000억 개 이상의 대형 언어모델도 일반 소비자용 기기에서 돌아갈 수 있다는 것이다. 반대자는 파라미터가 많다고 해서 성능이 센 것은 아니며, 너무 심하게 압축한 모델은 품질이 떨어진다고 경고했다. 하지만 양측의 공감대는 명확하다: 대형 언어모델은 클라우드에서 아래로 침투하고 있으며, 그 속도는 대부분이 예상한 것보다 빠르다.
천문학적 가격의 GPU vs 폐기된 CPU
지난 2년간 AI 업계에는 자명한 등식이 있었다. AI를 한다 = 그래픽카드를 산다 = 돈을 태운다. 엔비디아 H100 가속카드 한 장이 3~4만 달러에 팔리고, 기업들은 수백 수천 장씩 사들였다. AI의 입장권은 가격표가 붙어 있었다.
하지만 이 블로그 글은 다른 창을 열었다. 300달러짜리 고철 더미가, 어떤 가속카드도 꽂지 않고도 260억 파라미터 대형 언어모델을 그대로 돌려버린 것이다. 이것은 대안이 아니다 — 초당 5토큰은 클라우드 서비스의 속도와 품질에 한참 모자란다. 이건 차라리 하나의 존재 증명이다. 진입 장벽이 상상만큼 높지 않음을, ‘반드시 최신 하드웨어가 있어야 한다’는 말이 절대 진리가 아님을 증명한다.
이런 긴장감이 토론장 전체를 관통한다. 한쪽에는 천문학적 가격의 GPU가 받치는 클라우드 AI 제국 — 빠르고, 강력하고, 비싸다. 다른 쪽에는 지하실의 낡은 서버 — 느리고, 둔하고, 하지만 공짜다. 이것이 뭘 뒤집는 것도, 혁명이라 부를 만한 것도 아니지만, 적어도 AI를 ‘돈 주고 구독한다’는 기본 옵션에서 잠시 떼어내어, 또 다른 가능성을 보여준다.
이게 우리와 무슨 상관이란 말인가?
당신은 아마 13년 된 서버를 사서 집에 가져와 AI를 돌리지는 않을 것이다. 하지만 이 블로그 글이 던진 진짜 신호는, 그 300달러짜리 가격표와는 별로 상관이 없다.
진짜 주목할 만한 것은, 13년 된 기계를 되살린 그 과정 자체다. 저수준 코드를 쓸 줄 모르는 사람이, 또 다른 AI의 도움을 받아 남의 코드를 읽고, 아주 깊숙이 숨은 버그를 찾아내고, 패치를 썼다. 이것은 ‘원클릭 수정’의 마법이 아니다 — 저자는 실험을 반복하고, 출력을 비교하고, 방해 요인을 걸러내어, 결과가 맞다는 것을 확인할 때까지 갔다. AI가 가장 힘든 머리 쓰는 일을 했지만, ‘이게 과연 맞느냐’를 결정한 것은 끝까지 사람이었다.
필자 생각에, 이것이야말로 이 일에서 가장 조용하면서도 가장 중요한 부분이다. AI의 추론 능력이 갈수록 강해지면서, ‘코드를 쓸 줄 아느냐’와 ‘기계가 제대로 일하게 만들 수 있느냐’ 사이의 간격이 벌어지고 있다. 후자의 능력이란, 때로는 새벽 두 시에 오류 로그를 들여다보려는 의지 하나인 경우도 있다.
그리고 그 사람은, 반드시 실리콘밸리 사무실에 앉아 있지 않아도 된다. 지하실에서, 13년 전이면 은퇴했어야 할 서버를 지키며 있을 수 있다.
참고 링크:
- NeoMind Labs: Running Gemma 4 26B on a 13-year-old Xeon
- HN 토론 (item?id=48922434)
- “A 10 year old Xeon is all you need” 원문(이 글에 영감을 준 프로젝트)