Customer Service mit KI: RAG auf eigenen Dokumenten und Eskalationslogik

Das Problem: Support-Anfragen ohne Ende, Wissen liegt brach

Sie kennen das: Derselbe Kunde fragt dreimal nach der Wartungsanleitung, der neue Kollege im Service sucht 20 Minuten in SharePoint, und die technische Dokumentation liegt in acht verschiedenen PDF-Dateien. Gleichzeitig steigt die Erwartung, dass eine Anfrage in unter zwei Stunden beantwortet wird. Mehr Personal ist keine Lösung, denn die Einarbeitung dauert Monate, und spezifisches Produktwissen steckt oft nur in den Köpfen weniger Kolleginnen und Kollegen.

Der Reflex, einfach ein ChatGPT-Plugin zu aktivieren, endet in der Regel mit drei Problemen: Das System halluziniert Garantiefristen, die Sie nie zugesagt haben. Kundendaten fließen in die USA. Und im Zweifel antwortet die KI mit generischem Wissen statt mit Ihren eigenen Prozessen und Produktspezifikationen.

Was RAG leistet und was nicht

Retrieval Augmented Generation, kurz RAG, ist ein Verfahren, bei dem ein Sprachmodell nicht aus dem Gedächtnis antwortet, sondern vorher gezielt relevante Textpassagen aus Ihrer eigenen Dokumentenbasis abruft und diese als Kontext für die Antwort nutzt. Das verhindert Halluzinationen weitgehend und sorgt dafür, dass die KI auf Basis Ihrer Handbücher, FAQ-Datenbanken, Ticket-Historien und internen Wikis antwortet.

Technisch läuft das in drei Schritten ab:

1. Indexierung: Ihre Dokumente werden in kleinere Abschnitte zerlegt und in Vektoren umgewandelt. Diese liegen in einer Vektordatenbank, zum Beispiel Qdrant, Weaviate oder Milvus.
2. Retrieval: Bei jeder Anfrage wird eine semantische Suche durchgeführt. Die relevantesten Abschnitte werden ermittelt und an das Sprachmodell übergeben.
3. Generation: Das Modell formuliert eine Antwort, die sich eng an den gefundenen Passagen orientiert. Idealerweise wird auch die Quelle zitiert, sodass der Mitarbeitende oder der Kunde nachvollziehen kann, woher die Information stammt.

RAG ist kein Allheilmittel. Es setzt voraus, dass Ihre Dokumentation aktuell, strukturiert und vollständig ist. Wenn die Wartungsintervalle in der PDF von 2018 anders stehen als im aktuellen System, wird die KI widersprüchlich antworten. Und wenn sensible Preislisten oder vertrauliche Verträge im selben Datenbestand liegen, brauchen Sie eine saubere Zugriffskontrolle auf Dokumentebene.

Eskalationslogik: Wann die KI schweigen muss

Die zweite Säule eines sicheren Customer-Service-Systems ist die Eskalationslogik. Sie definiert, wann die KI eine Anfrage nicht selbst beantwortet, sondern an einen Menschen weiterreicht. Das ist kein Zeichen von Schwäche, sondern von Professionalität.

Typische Eskalationskriterien:

• Confidence-Score: Wenn die semantische Suche keine Passage mit einem Ähnlichkeitswert über 0,75 findet, wird nicht geantwortet.
• Konflikt-Detektion: Wenn zwei oder mehr Dokumente widersprüchliche Informationen enthalten, markiert das System die Anfrage für manuelle Prüfung.
• Sentiment-Analyse: Erkennt die KI Ärger, Dringlichkeit oder rechtliche Begriffe wie “Anwalt” oder “Schadensersatz”, wird sofort eskaliert.
• Themenfilter: Anfragen zu Garantiefällen, Kündigungen, Datenlöschung oder personenbezogenen Daten werden grundsätzlich an einen Menschen geroutet.
• Zeitliche Schwelle: Wenn ein Ticket länger als 48 Stunden offen ist, erfolgt automatisch ein interner Hinweis an die Teamleitung.

Diese Regeln werden in der Workflow-Plattform, etwa n8n oder Make, als Bedingungen hinterlegt. Das System prüft bei jeder eingehenden Anfrage alle Kriterien, bevor überhaupt eine KI-Antwort generiert wird.

DSGVO und Auftragsverarbeitung

Sobald Kundendaten im Spiel sind, gelten strenge Anforderungen. Ein Self-Hosted RAG-System, betrieben auf EU-Servern, bietet hier die größte Kontrolle. Sie nutzen ein Open-Source-Modell, etwa Mistral 8x7B oder Llama 3.1, das lokal läuft, und eine Vektordatenbank, die ebenfalls im eigenen Rechenzentrum oder bei einem deutschen Hoster steht.

Wenn Sie auf Cloud-Dienste setzen, etwa Azure OpenAI Service in der Europa-Region, brauchen Sie einen Auftragsverarbeitungsvertrag mit Microsoft. Achten Sie darauf, dass keine Trainingsdaten-Klausel aktiv ist und dass die Daten die EU nicht verlassen. Ein Datenfluss-Diagramm, das zeigt, welche personenbezogenen Daten wohin fließen, ist Pflicht und erleichtert die Kommunikation mit dem Datenschutzbeauftragten.

Protokollieren Sie jede KI-Antwort mit Zeitstempel, verwendeter Quelle und Confidence-Score. Das schafft Nachvollziehbarkeit und hilft bei der Fehleranalyse. Löschen Sie Kundendaten in Tickets nach Ablauf der gesetzlichen Aufbewahrungsfristen automatisch, auch aus der Vektordatenbank.

Implementierung in fünf Schritten

1. Dokumentenbasis bereinigen: Sammeln Sie alle relevanten Service-Dokumente, prüfen Sie auf Aktualität und entfernen Sie widersprüchliche oder veraltete Inhalte. Legen Sie fest, welche Dokumente öffentlich, welche intern und welche vertraulich sind.
2. Vektordatenbank aufsetzen: Installieren Sie Qdrant oder Weaviate auf einem EU-Server. Indexieren Sie die Dokumente mit einem Embedding-Modell, zum Beispiel sentence-transformers/paraphrase-multilingual-mpnet-base-v2, das gut mit deutschem Text funktioniert.
3. RAG-Pipeline bauen: Nutzen Sie n8n oder Make, um eingehende E-Mails oder Tickets zu erfassen, die Anfrage in Vektoren umzuwandeln, relevante Passagen abzurufen und diese an ein Sprachmodell zu senden. Mistral oder Llama 3.1 laufen auf einem dedizierten Server mit 24 GB RAM.
4. Eskalationsregeln definieren: Hinterlegen Sie Confidence-Schwellen, Themenfilter und Sentiment-Analyse im Workflow. Alle eskalierten Tickets landen in einem separaten Kanal, etwa per Webhook in Microsoft Teams oder per E-Mail an die Service-Leitung.
5. Pilotbetrieb starten: Beginnen Sie mit einer niedrig priorisierten Anfrage-Kategorie, zum Beispiel allgemeine Produktfragen. Lassen Sie die KI Antworten vorschlagen, die ein Mitarbeitender vor dem Versand prüft. Nach vier bis sechs Wochen analysieren Sie Genauigkeit, Eskalationsrate und Kundenfeedback.

Realistische Outcomes

In unseren Projekten sehen wir typischerweise eine Entlastung von 30 bis 45 Prozent der Anfragen nach drei Monaten Betrieb. Das bedeutet nicht, dass 45 Prozent aller Tickets vollautomatisch beantwortet werden, sondern dass die KI in diesem Anteil der Fälle eine so präzise Vorlage liefert, dass der Mitarbeitende nur noch eine kurze Prüfung vornimmt und auf “Senden” klickt.

Die durchschnittliche Bearbeitungszeit pro Ticket sinkt um 40 bis 60 Sekunden. Bei 200 Tickets pro Woche entspricht das einer Zeitersparnis von rund drei bis vier Stunden. Gleichzeitig steigt die Konsistenz: Jeder Mitarbeitende hat Zugriff auf dieselbe Wissensbasis, unabhängig von Erfahrung oder Abteilung.

Eskalationen an Menschen erfolgen in rund 20 bis 25 Prozent der Fälle, vor allem bei komplexen technischen Problemen, Garantiefragen und emotionalen Situationen. Das ist gewollt. Die KI übernimmt die Routine, der Mensch kümmert sich um die Ausnahmen.

Was nicht funktioniert

Folgende Ansätze scheitern regelmäßig:

• Ungefilterte Cloud-APIs: Wenn Sie alle Anfragen ungeprüft an ein US-Modell senden, riskieren Sie DSGVO-Verstöße und Datenlecks.
• Veraltete Dokumentation: Wenn Ihre Handbücher nicht aktuell sind, antwortet die KI falsch. Kein Modell kann fehlende oder widersprüchliche Informationen kompensieren.
• Fehlende Eskalation: Ein System, das immer antwortet, wird zwangsläufig auch dann antworten, wenn es nicht sollte. Das führt zu Ärger und Vertrauensverlust.
• Keine Quellenangabe: Wenn die KI eine Antwort ohne Verweis auf das Ursprungsdokument liefert, kann niemand die Richtigkeit prüfen. Transparenz ist Pflicht.
• Zu hohe Erwartung: RAG ist keine allwissende Maschine. Es ist ein Werkzeug, das nur so gut ist wie die Daten, die Sie ihm geben, und die Regeln, die Sie definieren.

Fazit und nächster Schritt

Ein RAG-basiertes Customer-Service-System auf eigenen Dokumenten ist technisch machbar, DSGVO-konform umsetzbar und wirtschaftlich sinnvoll, wenn Sie mit realistischen Erwartungen starten. Die Kombination aus lokaler Kontrolle, durchdachter Eskalationslogik und sauberer Dokumentenbasis sorgt dafür, dass die KI entlastet, ohne Risiken zu schaffen.

Wenn Sie prüfen möchten, ob Ihr aktueller Dokumentenbestand für ein RAG-System geeignet ist und welche Eskalationsregeln in Ihrer Branche sinnvoll sind, sprechen Sie uns an.

Sprechen Sie mit uns

Sie möchten das in Ihrem Betrieb umsetzen? Wir bauen die passende Maschine mit Ihnen.

Telefon: 040 468 967 680
E-Mail: info@whitefox-automations.com
Oder über unser Kontaktformular.