ROCM
KI & Infrastruktur
ROCm ist AMDs Plattform für GPU-Computing und lokale KI-Beschleunigung.
Ich nutze sie für dedizierte Hardware-Stacks, auf denen LLMs und Auswertungen on-prem laufen.
Ich nutze sie für dedizierte Hardware-Stacks, auf denen LLMs und Auswertungen on-prem laufen.
Praxis
Anwendungsbeispiele
- On-Prem-Inferenz LLMs auf AMD-GPU ohne externe API
- Batch-Auswertung nächtliche Läufe über Dokumentenbestände
- Isolierter Rechenknoten getrennte Hardware für sensible Daten
Stack
Werkzeuge
- ROCm-Stack auf Linux
- AMD Instinct / Radeon Pro
- HIP-Tooling
Leistungen
Passende Angebote
Projekte