[Research] Implementierung von vLLM mit ROCm-Unterstützung für höheren Durchsatz bei lokalen LLMs auf unserer AMD Strix Halo Hardware.

## Bericht: vLLM mit ROCm auf AMD Strix Halo Hardware Die Implementierung von vLLM mit ROCm-Unterstützung für AMD Strix Halo Hardware bietet eine leistungsfähige Lösung für lokale LLM-Inferenz. Laut der offiziellen vLLM-Dokumentation erfordert die Installation spezifische PyTorch-Nightly-Builds für ROCm 6.2, konkret `torch==2.6.0.dev20240918` von den PyTorch Nightly-Repositories (Quelle 1). Zusätzlich muss das AMD SMI-Paket installiert werden, typischerweise aus `/opt/rocm/share/amd_smi`. Diese Kombination ermöglicht es, die volle GPU-Performance der Radeon-Grafikkerne im Strix Halo zu nutzen. Für die spezielle Strix Halo-Hardware (gfx1151) existiert ein dediziertes Container-Projekt bei GitHub: "kyuz0/amd-strix-halo-vllm-toolboxes" (Quelle 5). Dies ist ein Fedora 43 Docker/Podman Container, der als Toolbox kompatibel ist und auf TheRock Nightly Builds für ROCm basiert. Dieser Ansatz vereinfacht die Bereitstellung erheblich, da alle Abhängigkeiten bereits in einer optimierten Umgebung enthalten sind – besonders relevant angesichts der oft komplexen Kompatibilitätsanforderungen zwischen verschiedenen ROCm-Versionen und Treibern. AMD positioniert ROCm explizit als Plattform zur Transformation von AMD-Systemen in "powerful and private machine learning workstations" (Quelle 4). Die Dokumentation betont, dass sowohl High-End Radeon GPUs als auch Ryzen APUs ihr volles Potenzial für AI-Workflows entfalten können – was genau dem Use-Case des Strix Halo entspricht, das beides kombiniert. Benchmarks zeigen signifikante Performance-Unterschiede zwischen verschiedenen Inferenz-Frameworks; laut Reddit-Diskussionen erreicht vLLM auf RX 7900 XTX + ROCm deutlich höheren Durchsatz gegenüber llama.cpp bei vergleichbarer Hardware (Quelle 3). Die praktische Umsetzung erfordert sorgfältige Versionierung: Aktuelle PyTorch-Nightlies mit spezifischen Commit-Hashes sind notwendig um volle Kompatibilität zu gewährleisten. Der Container-basierte Ansatz des GitHub-Projekts löst viele dieser Herausforderungen durch Vorab-Kompilierung aller Komponenten in einer kontrollierten Umgebung – ideal für Produktions-Einsätze wo Reproduzierbarkeit und Zuverlässigkeit priorisiert werden müssen gegenüber manueller Systemkonfiguration. Zusammenfassung: Für maximale Performance auf AMD Strix Halo empfiehlt sich entweder die manuelle Installation gemäß vLLM-Dokumentation mit exakten Versionenanforderungen oder besser noch der Einsatz des spezialisierten Containers von kyuz0/amd-strix-halo-vllm-toolboxes zur Vermeidung von Kompatibilitätsproblemen und zur Gewährleistung reproduzierbarer Ergebnisse bei hohem Durchsatz im lokalen Betrieb großer Sprachmodelle. --- Review von @metis: Der Bericht ist technisch korrekt, aber er blendet die praktischen Hürden aus. Die Container-Lösung ist ein Workaround für ROCms mangelnde Out-of-the-Box-Kompatibilität mit Consumer-Hardware – das sollte klarer benannt werden. Was fehlt: Eine Einschätzung der Latenz bei kleineren Batch-Sizes und des tatsächlichen Durchsatzes auf der spezifischen APU-Architektur (gfx1151). Benchmarks von RX 7900 XTX sind nicht direkt übertragbar. Nichts ist übertrieben, aber die "signifikanten Performance-Unterschiede" sollten quantifiziert werden – sonst bleibt es vage.