Server-Dimensionierung für KI-Workloads: Kapazität richtig planen

Das Problem: Fehleinschätzung bei der Hardware-Planung

Wer KI-Automatisierung auf eigener Infrastruktur betreibt, steht vor einer zentralen Frage: Wie viel Rechenleistung braucht das System wirklich? Die meisten Mittelständler überschätzen den Bedarf massiv und bestellen Server mit vier GPUs, obwohl ein Modell mit 16 GB RAM völlig ausreicht. Andere unterschätzen die Last und erleben nach drei Monaten, dass die Pipeline regelmäßig abstürzt, weil der Speicher voll läuft.

Beide Szenarien sind teuer. Im ersten Fall zahlen Sie Miete für Hardware, die zu 80 Prozent ungenutzt bleibt. Im zweiten Fall verlieren Sie Verfügbarkeit, müssen nachbessern und stoßen auf Akzeptanzprobleme im Team. Dieser Artikel zeigt, wie Sie Server für KI-Workloads so dimensionieren, dass Kapazität, Kosten und Sicherheit im Gleichgewicht bleiben.

Was KI-Workloads von klassischen Anwendungen unterscheidet

Klassische Webanwendungen skalieren in der Regel linear: Mehr Nutzer bedeuten mehr Requests, die über Load-Balancing verteilt werden. KI-Workloads verhalten sich anders. Ein einzelnes Modell kann beim Inferenz-Vorgang mehrere Gigabyte RAM belegen, GPU-Zyklen beanspruchen und dabei nur wenige Sekunden laufen. Danach ist die Ressource wieder frei.

Die Last ist bursty, also stoßweise. Eine OCR-Pipeline zur Belegerfassung läuft nachts für 200 Dokumente, tagsüber passiert nichts. Ein RAG-System (Retrieval-Augmented Generation) läuft bei einem Embedding-Vorgang für 50.000 Textfragmente auf Volllast, danach nur noch bei einzelnen Kundenanfragen. Diese Unregelmäßigkeit macht statische Überdimensionierung unwirtschaftlich und Unterdimensionierung riskant.

Die vier Dimensionen der Server-Planung

RAM: Arbeitsspeicher für Modell und Kontext

Der RAM bestimmt, welche Modellgröße Sie lokal laden können. Ein Modell mit 7 Milliarden Parametern (7B) benötigt in quantisierter Form etwa 4 bis 6 GB RAM. Ein 13B-Modell liegt bei 8 bis 12 GB, ein 70B-Modell bei 40 bis 60 GB. Hinzu kommt der Speicher für Kontextfenster, Embeddings und temporäre Vektoren.

Rechenregel: Modellgröße in GB mal 1,5 als Mindestwert, plus 8 GB für Betriebssystem und Basis-Dienste. Ein Server für ein 13B-Modell sollte also mindestens 24 GB RAM haben, besser 32 GB, um parallele Anfragen zu puffern.

CPU: Für Inferenz und Orchestrierung

Moderne KI-Modelle können auf CPU inferieren, wenn keine GPU verfügbar ist. Das ist langsamer, aber für viele Workflows völlig ausreichend. Ein Dokument durch ein OCR-Modell zu schicken dauert auf CPU 3 bis 5 Sekunden statt 0,5 Sekunden auf GPU. Wenn Sie nur 200 Belege pro Nacht verarbeiten, ist CPU-Inferenz wirtschaftlicher.

Wichtig: Achten Sie auf AVX2- oder AVX-512-Support der CPU. Diese Instruktionssätze beschleunigen Matrixoperationen erheblich. Ein Intel Xeon der dritten Generation oder ein AMD EPYC ab Zen 3 sind solide Basis. Für leichte Workloads reichen 8 Kerne, für parallele Pipelines mit mehreren Modellen sind 16 bis 24 Kerne sinnvoll.

GPU: Nur wenn echte Parallelität nötig ist

Eine GPU ist sinnvoll, wenn Sie viele Anfragen gleichzeitig verarbeiten oder große Modelle in Echtzeit nutzen wollen. Beispiel: Ein Kundenservice-Chatbot mit 50 parallelen Sessions profitiert von einer NVIDIA A4000 (16 GB VRAM) oder T4 (16 GB). Für Batch-Verarbeitung nachts reicht CPU.

Beachten Sie: GPU-Treiber, CUDA-Toolkit und Modell-Frameworks müssen kompatibel sein. Das erhöht die Komplexität im Betrieb. Wenn Sie keine GPU-Erfahrung im Team haben, starten Sie ohne und erweitern nur bei messbarem Bedarf.

Storage: Schnell und groß genug für Modelle und Logs

Modelle werden einmalig geladen, aber Logs, Embeddings und Vektordatenbanken wachsen kontinuierlich. Ein 13B-Modell benötigt 8 bis 12 GB auf der Platte, eine Vektordatenbank mit 100.000 Einträgen weitere 5 bis 10 GB. Audit-Logs nach DSGVO summieren sich auf mehrere Gigabyte pro Monat.

Empfehlung: NVMe-SSD mit mindestens 500 GB, besser 1 TB. Halten Sie 60 Prozent der Kapazität frei, um Performance-Einbußen durch volle Platten zu vermeiden. Logs rotieren Sie nach 90 Tagen auf Archiv-Storage oder ins Backup.

Beispielkonfigurationen für typische Workloads

OCR-Pipeline für Belegerfassung (200 bis 500 Dokumente pro Tag)

• CPU: 8 Kerne (z. B. Intel Xeon E-2388G)
• RAM: 32 GB
• GPU: keine
• Storage: 500 GB NVMe SSD
• Kosten (Bare-Metal, EU-Rechenzentrum): 80 bis 120 Euro pro Monat

RAG-System für Kundenservice (10 bis 50 gleichzeitige Anfragen)

• CPU: 16 Kerne (z. B. AMD EPYC 7302P)
• RAM: 64 GB
• GPU: NVIDIA T4 (16 GB VRAM) oder ohne GPU bei CPU-Inferenz
• Storage: 1 TB NVMe SSD
• Kosten (Bare-Metal, EU-Rechenzentrum): 180 bis 280 Euro pro Monat mit GPU, 120 bis 160 Euro ohne

Multi-Modell-Pipeline (mehrere Modelle parallel, z. B. OCR, NER, Sentiment)

• CPU: 24 Kerne (z. B. AMD EPYC 7443P)
• RAM: 128 GB
• GPU: NVIDIA A4000 (16 GB VRAM)
• Storage: 2 TB NVMe SSD
• Kosten (Bare-Metal, EU-Rechenzentrum): 350 bis 500 Euro pro Monat

Monitoring und Anpassung im laufenden Betrieb

Server-Dimensionierung ist kein einmaliger Vorgang. Überwachen Sie kontinuierlich:

• RAM-Auslastung: Bleibt dauerhaft über 85 Prozent, drohen Swapping und Performance-Einbrüche.
• CPU-Load: Ein Load Average über der Anzahl der Kerne signalisiert Engpässe.
• IOPS und Disk-Latenz: Über 10 ms bei NVMe deutet auf volle Platten oder fehlerhafte Blocks hin.
• GPU-Auslastung: Liegt dauerhaft unter 30 Prozent, ist die GPU vermutlich überdimensioniert.

Setzen Sie Schwellwerte in Ihrem Monitoring-Tool (z. B. Prometheus, Grafana, Checkmk) und lassen Sie sich bei Überschreitung automatisch informieren. Passen Sie die Konfiguration quartalsweise an, nicht ad hoc bei jedem kleinen Ausschlag.

Was nicht funktioniert

Einfach die größte Maschine mieten. Sie zahlen für Kapazität, die Sie nie nutzen, und die Komplexität steigt ohne Gegenwert.

Keine Reserven einplanen. Wenn RAM oder CPU dauerhaft zu 95 Prozent ausgelastet sind, fehlt Puffer für Lastspitzen oder Updates.

GPU kaufen, ohne Treiber-Know-how im Team. Sie verlieren Wochen mit Kompatibilitätsproblemen und Driver-Updates.

Auf Consumer-Hardware setzen. Workstation-GPUs und Desktop-CPUs haben keine ECC-Fehlerkorrektur und kürzere Lebenszyklen. Für produktive KI-Systeme ungeeignet.

Nächster Schritt

Server-Dimensionierung für KI-Workloads ist Ingenieursarbeit, keine Glaubensfrage. Wenn Sie unsicher sind, welche Konfiguration für Ihre Pipeline passt, oder wenn Sie Lastprofile aus bestehenden Systemen auswerten möchten, sprechen Sie uns an.

Sprechen Sie mit uns

Sie möchten das in Ihrem Betrieb umsetzen? Wir bauen die passende Maschine mit Ihnen.

Telefon: 040 468 967 680
E-Mail: info@whitefox-automations.com
Oder über unser Kontaktformular.