16GB 공유 메모리에서 11.44GiB 장치 힙을 직접 확보하다
2026년 10월 16일, 개발자 cobanov가 오픈소스 프로젝트 PS5LM v0.9.0을 공개했습니다. 출시된 지 약 6년이 지난 PlayStation 5에서 llama.cpp를 네이티브로 실행하는 프로젝트입니다. 콘솔 내장 RDNA 2 아키텍처 GPU를 직접 호출해 모델 추론을 수행함으로써, 거실의 엔터테인먼트 기기를 11.44 GiB 비디오 메모리를 갖춘 로컬 추론 노드로 탈바꿈시켰습니다.
PS5LM 엔지니어링의 핵심은 통합 메모리와 그래픽 처리 장치 사이의 직접 경로를 개척한 데 있습니다. PS5는 16 GB GDDR6 메모리를 탑재하고 있으며, CPU와 GPU가 동일한 버스를 공유해 이론 대역폭이 448 GB/s에 달합니다. 프로젝트는 오픈소스 ps5-payload-dev 툴체인으로 크로스 컴파일을 수행해, llama-server를 기존의 메모리 제약이 심했던 페이로드 방식 대신 콘솔에 정식 설치되는 네이티브 타이틀(title ID PPSA99581) 형태로 패키징했습니다.
이 아키텍처 선택이 사용 가능한 비디오 메모리 상한을 결정지었습니다. 단순 페이로드 환경에서는 내부에서 64 MiB 수준의 비디오 버퍼만 얻을 수 있었고, 12 GiB에 달하는 메인 다이렉트 메모리와 GPU 직접 접근 권한을 얻지 못했습니다. 네이티브 타이틀로 패키징하면서 모델을 메모리에 넉넉히 올릴 수 있게 되었고, 27B 규모 모델 구동도 이 단계 덕분에 가능해졌습니다.
연산 파이프라인에는 Mesa를 기반으로 재구성한 비공식 RADV Vulkan 드라이버와 ggml-Vulkan 백엔드가 결합되었습니다. RADV 드라이버는 공유 메모리를 11.44 GiB의 단일 GPU 디바이스 힙으로 직접 인식합니다. 통합 메모리 아키텍처 덕분에 외장 그래픽 카드에서 발생하는 PCIe 버스 간 가중치 전송 오버헤드가 완전히 사라집니다. 메모리 매핑이 완료되면 모델 가중치 로딩 속도는 오직 내장 SSD와 시스템 버스 대역폭의 물리적 한계에 의해서만 결정됩니다.
동일 가격대의 소비자용 PC 외장 그래픽 카드는 보통 8 GB의 비디오 메모리만 제공합니다. 비디오 메모리 용량 부족은 로컬 대규모 언어 모델의 기동 자체를 가로막는 가장 큰 물리적 장벽입니다. PS5가 제공하는 11.44 GiB의 여유 공간은 파라미터 규모가 큰 모델을 실행하는 데 필요한 하드웨어 병목을 단번에 해소했습니다.
27B 모델 실측 20 tok/s와 64k 컨텍스트 지원
PS5 Slim 기기에서 파라미터 규모별로 뚜렷한 성능 계층이 확인되었습니다. 4096 컨텍스트 설정에서 0.8B 규모의 Qwen3.5는 비디오 메모리를 0.5 GB만 점유하면서 디코딩 속도가 207 tok/s에 달했습니다. 5.3 GB를 사용하는 9B 모델은 55 tok/s의 생성 속도를 꾸준히 유지했습니다. 이러한 경량 모델은 콘솔 하드웨어에서 탁월한 처리량을 보여주며 빈번한 상호작용도 매끄럽게 소화합니다.
비디오 메모리 스케줄링의 실질적 상한선은 27B급 대형 모델입니다. 테스트 결과에 따르면 Qwen3.8 27B UD-Q2_K_XL 버전은 9.2 GB 비디오 메모리를 점유하며 실측 20 tok/s의 디코딩 속도를 기록했습니다. 여유 메모리 덕분에 시스템은 최대 64k에 달하는 긴 컨텍스트 윈도우를 안정적으로 유지할 수 있습니다. 초당 20 토큰의 생성 속도는 실시간 대화형 상호작용의 체감 기준선을 가뿐히 넘어섭니다.
양자화 포맷 선택도 콘솔의 실제 처리량에 큰 영향을 미칩니다. 27B의 IQ2_XXS 포맷은 메모리를 절약하지만 디코딩 속도가 약 15 tok/s에 머뭅니다. 반면 UD-Q2_K_XL 포맷은 메모리를 약간 더 쓰는 대신 20 tok/s의 빠른 속도와 훨씬 안정적인 텍스트 품질을 제공합니다. 가벼운 시각 인식 작업의 경우, d1 Omni 600M 모델이 1.1 GB 메모리를 사용해 3개 질문에 대한 답변을 0.3초 만에 끝마쳤습니다.
그림: 대시보드 화면. 현재 로드된 모델, 생성 속도 및 실시간 요청 상태 표시. 출처: PS5LM 프로젝트 저장소.
PS5LM은 매 추론 응답마다 프롬프트 평가(Prefill) 시간과 토큰 디코딩 속도를 분리하여 출력합니다. 초기 네이티브 타이틀 빌드(10월 9일)에서는 27B UD-IQ2_XXS 가중치 로딩에 82초가 걸렸고 디코딩 속도는 9에서 21 tok/s 사이를 오갔습니다. 이처럼 세분화된 모니터링 정보를 통해 개발자는 성능 병목이 메모리 대역폭 한계인지 순수 연산력 포화인지 명확하게 진단할 수 있습니다.
듀얼 API 제공으로 상시 거실 컴퓨팅 노드 역할 수행
단순히 저수준 연산을 구동하는 것만으로는 실제 개발 환경과의 연동을 해결하기 어렵습니다. PS5LM은 자체 웹 서버를 내장하여 콘솔을 로컬 네트워크의 공유 추론 게이트웨이로 전환합니다. OpenAI와 Anthropic의 표준 인터페이스 규격을 모두 지원하므로, Claude Code와 같은 로컬 코딩 도구에서도 엔드포인트 주소만 바꾸면 콘솔의 연산력을 그대로 활용할 수 있습니다.
그림: 웹 콘솔 화면. 전력 소비량, 온도, GPU 및 CPU 부하 곡선을 실시간으로 모니터링. 출처: PS5LM 프로젝트 저장소.
웹 콘솔은 모델 스케줄링을 관리하는 동시에 TV에 상시 띄워둘 수 있는 모니터링 대시보드 역할을 겸합니다. 화면에는 콘솔 온도, 소비 전력, 프로세서 부하 곡선이 실시간으로 그려지며 최근 2분과 1시간 간격으로 관찰 범위를 전환할 수 있습니다. 가벼운 판단 라우팅 작업을 위해 /v1/systemone 엔드포인트를 통한 Ollaya 라우팅도 함께 지원합니다.
처음 모델을 불러올 때 시스템은 LM Studio의 범용 샘플링 프리셋을 자동으로 동기화합니다. 온도와 생성 패널티 등 널리 쓰이는 매개변수가 그대로 반영됩니다. 범용 GGUF 가중치 포맷을 채택하여 특정 생태계 종속에서도 벗어났습니다. 개발자는 번거로운 포맷 변환 작업 없이 기존 양자화 파일을 콘솔로 복사해 곧바로 구동할 수 있습니다.
그림: 모델 관리 화면. 로컬에 저장된 GGUF 가중치 파일 관리 및 전환 지원. 출처: PS5LM 프로젝트 저장소.
펌웨어 제한과 비공식 드라이버가 만드는 유지관리 장벽
가정용 게임 콘솔을 추론 서버로 개조하는 과정에는 엄격한 제약이 따릅니다. PS5LM은 펌웨어 버전 7.00에서 13.60 사이의 탈옥된 기기에서만 구동됩니다. 최신 공식 펌웨어가 설치된 기기에서는 서명되지 않은 바이너리를 실행할 수 없습니다. 하드웨어 진입 장벽이 그래픽 카드 구매 경쟁에서 특정 펌웨어 버전의 콘솔을 찾는 일로 옮겨간 셈입니다.
복잡한 툴체인 구성도 일상적인 안정성에 도전 과제를 안깁니다. 구동 환경을 조성하려면 kstuff-lite 커널 패치와 etaHEN 같은 확장 도구를 순서대로 로드해야 합니다. 비공식 이식된 RADV Vulkan 드라이버는 동시 요청이 몰리는 부하 환경에서 엔터프라이즈급 안정성을 제공하지 못합니다. 드라이버 오류가 커널 정지로 이어져 전원을 껐다 켜고 다시 탈옥 과정을 거쳐야 하는 일도 자주 발생합니다.
프로젝트는 법적 라이선스 규정을 철저히 준수하도록 설계되었습니다. 저장소에는 소니 고유의 SDK 코드나 암호화 키, 덤프된 공식 펌웨어 파일이 일절 포함되어 있지 않습니다. RADV 드라이버 코드는 사용자의 콘솔 기기 내부에서 직접 컴파일되므로 지적재산권 재배포 위험을 피했습니다. 오픈소스 라이선스는 GPL-3.0을 적용했으며, 커밋 기록에는 Claude Opus 5.5가 공동 개발자로 명시되어 있습니다.
로컬 AI의 경쟁축, 실리콘에서 드라이버와 펌웨어 권한으로
PS5LM은 상용 소비자용 하드웨어에 잠들어 있던 고대역폭 통합 메모리의 잠재력을 명확히 보여주었습니다. PS5가 갖춘 16 GB 통합 GDDR6 메모리는 27B 모델의 일상적인 로컬 추론을 소화하기에 충분합니다. 로컬 AI 배포의 장벽은 메모리 하드웨어의 부족에서 드라이버 지원과 펌웨어 실행 권한의 문제로 전환되고 있습니다.
20 tok/s의 디코딩 속도는 가벼운 코딩 및 대화형 보조 작업에 충분한 성능을 발휘합니다. 그러나 검증된 정식 컴퓨팅 생태계가 뒷받침되지 않는다면 실무 메인 시스템으로 안착하기는 어렵습니다. 저수준 인터페이스가 폐쇄된 환경이 지속되는 한, 거실 하드웨어는 해커들의 실험용 장난감이라는 위치를 한동안 벗어나기 힘들 것으로 보입니다.
참고 링크:
- PS5LM GitHub 저장소
- Hacker News 커뮤니티 토론
