11,44 GiB Device-Heap direkt aus 16 GB Unified Memory zugewiesen
Am 16. Oktober 2026 veröffentlichte der Entwickler cobanov das Open-Source-Projekt PS5LM v0.9.0. Fast sechs Jahre nach Verkaufsstart der Konsole ermöglicht das Projekt die native Ausführung von llama.cpp auf der PlayStation 5. Es spricht den integrierten RDNA-2-Grafikprozessor direkt für Modellinferenz an und verwandelt eine Gaming-Konsole aus dem Wohnzimmer in einen lokalen Rechenknoten mit 11,44 GiB nutzbarem VRAM.
Das Herzstück der Ingenieursleistung von PS5LM liegt in der direkten Anbindung des Unified Memory an die GPU-Pipeline. Die PS5 ist mit 16 GB GDDR6-Speicher ausgestattet, den sich CPU und GPU über einen gemeinsamen Bus mit einer theoretischen Bandbreite von 448 GB/s teilen. Mittels der Open-Source-Toolchain ps5-payload-dev kompiliert das Projekt llama-server als regulär installierten nativen Konsolentitel (Title-ID PPSA99581), anstatt auf frühere speicherbeschränkte Payloads zurückzugreifen.
Diese architektonische Entscheidung definiert die Speicher-Obergrenze. Im herkömmlichen Payload-Betrieb standen Entwicklern lediglich rund 64 MiB Videopuffer zur Verfügung; direkter Zugriff auf den 12-GiB-Hauptspeicher sowie die GPU blieben verwehrt. Erst als nativer Titel lässt sich der Speicher voll erschließen – und macht den Betrieb von Modellen der 27B-Klasse überhaupt erst möglich.
Für die Rechenpipeline setzt das Projekt auf einen inoffiziellen, auf Mesa basierenden RADV-Vulkan-Treiber in Kombination mit dem ggml-Vulkan-Backend. Der RADV-Treiber erkennt den geteilten Speicherpool als einzelnen GPU-Device-Heap von 11,44 GiB. Die Unified-Memory-Architektur eliminiert den Flaschenhals des Gewichtetransfers über den PCIe-Bus, wie er bei dedizierten Grafikkarten üblich ist. Nach dem Speichermapping wird die Ladegeschwindigkeit der Modellgewichte ausschließlich durch die NVMe-SSD und die interne Busbandbreite begrenzt.
Vergleichbare Consumer-PC-Grafikkarten im gleichen Preissegment bieten meist lediglich 8 GB VRAM. Dieser Mangel an Grafikspeicher verhindert oft schon das initiale Laden größerer Sprachmodelle. Mit den auf der PS5 nutzbaren 11,44 GiB VRAM wird diese physische Hürde für parameterstarke Architekturen beseitigt.
27B-Modell im Praxistest: 20 tok/s bei 64k Kontextfenster
Auf einer PS5 Slim zeigen Modelle unterschiedlicher Parametergrößen eine klare Performanz-Staffelung. Bei einem Kontextfenster von 4096 Tokens belegt das 0,8B-Modell Qwen3.5 lediglich 0,5 GB VRAM und decodiert mit 207 tok/s. Ein 9B-Modell mit 5,3 GB Speicherbelegung erreicht kontinuierliche 55 tok/s. Solche leichtgewichtigen Modelle bieten auf der Konsole einen herausragenden Durchsatz und bewältigen interaktive Dialoge mühelos.
Die praktische Obergrenze liegt bei Modellen der 27B-Klasse. Messungen zeigen, dass Qwen3.8 27B in der UD-Q2_K_XL-Quantisierung 9,2 GB VRAM belegt und eine Decodiergeschwindigkeit von 20 tok/s erzielt. Der verbleibende Speicher reicht aus, um ein Kontextfenster von bis zu 64k Tokens aufrechtzuerhalten. Eine Generierungsrate von 20 Tokens pro Sekunde überschreitet die entscheidende Schwelle für flüssige Echtzeit-Interaktionen.
Das gewählte Quantisierungsformat beeinflusst den realen Durchsatz erheblich. Zwar spart das IQ2_XXS-Format bei 27B VRAM ein, liefert jedoch nur rund 15 tok/s. Der Mehraufwand an Speicher für UD-Q2_K_XL wird durch stabile 20 tok/s und spürbar präzisere Textqualität belohnt. Bei einfachen Bilderkennungsaufgaben benötigt d1 Omni 600M 1,1 GB VRAM und beantwortet 3 Anfragen in nur 0,3 Sekunden.
Abbildung: Die Dashboard-Oberfläche visualisiert das geladene Modell, die Generierungsgeschwindigkeit und Echtzeitanfragen. Quelle: PS5LM-Repository.
PS5LM gibt nach jeder Inferenzanfrage separat die Prefill-Latenz und die Generierungsrate aus. In frühen Builds (vom 9. Oktober) benötigte das Laden der 27B-UD-IQ2_XXS-Gewichte 82 Sekunden, während die Decodierrate zwischen 9 und 21 tok/s schwankte. Diese differenzierte Telemetrie erlaubt es Entwicklern, Engpässe exakt einzugrenzen – sei es eine begrenzte Speicherbandbreite oder eine Sättigung der Rechenleistung.
Dual-API integriert Konsole als dauerhaften Heim-Inferenzknoten
Das reine Beherrschen hardwarenaher Befehle genügt nicht für produktive Entwicklungs-Workflows. PS5LM bringt daher einen integrierten Webserver mit, der die Konsole in ein geteiltes Inferenz-Gateway im lokalen Netzwerk verwandelt. Das System ist sowohl zu OpenAI- als auch Anthropic-API-Spezifikationen kompatibel. Lokale Programmierwerkzeuge wie Claude Code müssen lediglich auf die lokale IP der PS5 umgeleitet werden, um die Rechenleistung transparent abzurufen.
Abbildung: Die Webkonsole überwacht Leistungsaufnahme, Temperatur sowie GPU- und CPU-Auslastungskurven in Echtzeit. Quelle: PS5LM-Repository.
Die Weboberfläche übernimmt die Modellverwaltung und dient gleichzeitig als Telemetrie-Dashboard für einen angeschlossenen Bildschirm. Auf dem Monitor werden Temperatur, Stromverbrauch und Prozessorauslastung in konfigurierbaren Zeitfenstern von 2 Minuten und 1 Stunde grafisch dargestellt. Für leichtgewichtige Routing-Aufgaben wird über den Endpunkt /v1/systemone zudem Ollaya-Routing bereitgestellt.
Beim ersten Laden eines Modells synchronisiert das System automatisch gängige Sampling-Presets aus LM Studio, einschließlich Temperatur- und Penalty-Werten. Das universelle GGUF-Format befreit Entwickler von proprietären Plattformabhängigkeiten. Quantisierte Modelldateien lassen sich direkt übertragen und ausführen, ohne langwierige Formatkonvertierungen.
Abbildung: Modellverwaltungsseite zur Organisation und zum Umschalten lokaler GGUF-Modelldateien. Quelle: PS5LM-Repository.
Firmware-Hürden und Out-of-Tree-Treiber erschweren den Dauerbetrieb
Der Umbau einer Spielekonsole zum Inferenzserver unterliegt strengen Systemgrenzen. PS5LM erfordert eine modifizierte Konsole mit Firmware zwischen 7.00 und 13.60. Auf Geräten mit aktueller offizieller Firmware lässt sich kein unsignierter Code ausführen. Die Einstiegshürde verlagert sich somit vom Grafikkartenmarkt auf das Aufspüren kompatibler Konsolenrevisionen.
Auch die komplexe Toolchain fordert ihren Tribut bei der Alltagsstabilität. Das Starten der Umgebung erfordert das sukzessive Laden von Kernel-Patches wie kstuff-lite und Modulen wie etaHEN. Der inoffiziell portierte RADV-Vulkan-Treiber verfügt unter hoher Nebenläufigkeit nicht über Ausfallsicherheit auf Enterprise-Niveau. Treiberabstürze führen gelegentlich zu Kernel-Panics, die einen Kaltstart und erneuten Jailbreak-Vorgang erzwingen.
Rechtlich wahrt das Projekt klare Grenzen. Das Repository enthält keinerlei proprietäre Sony-SDK-Dateien, Krypto-Schlüssel oder extrahierte Firmware-Abbilder. Der RADV-Treiber wird direkt auf der Konsole des Endnutzers kompiliert, wodurch urheberrechtliche Risiken bei der Softwareverteilung umgangen werden. Das Projekt steht unter der GPL-3.0-Lizenz und führt in seinen Git-Commits sogar Claude Opus 5.5 als Co-Autor auf.
Lokale KI-Infrastruktur: Das Ringen verlagert sich auf Treiber und Firmware-Rechte
PS5LM demonstriert eindrucksvoll, welches Potenzial an schneller Unified Memory in herkömmlicher Heimelektronik schlummert. Die 16 GB GDDR6-Gesamtspeicher der PS5 reichen problemlos aus, um 27B-Modelle im Alltag auszuführen. Der Engpass bei der Bereitstellung lokaler KI-Modelle verschiebt sich zusehends von reinen Hardware-Ressourcen hin zur Offenheit von Treibern und Firmware-Zugriffsrechten.
Mit 20 tok/s Decodiergeschwindigkeit ist die Konsole für Entwicklungs- und Assistenzaufgaben gerüstet. Doch ohne ein ausgereiftes, offizielles Computing-Ökosystem bleibt der produktive Dauereinsatz heikel. Solange die Low-Level-Schnittstellen herstellerseitig verschlossen bleiben, dürfte Wohnzimmer-Hardware vor allem eine faszinierende Spielwiese für Hacker und Technikbegeisterte bleiben.
Weiterführende Links:
- PS5LM GitHub-Repository
- Hacker News Community-Diskussion
