Eine Kundin fragt deinen Chatbot nach ihrer Kündigungsfrist. Der Bot antwortet in zwei Sekunden, klingt souverän und nennt eine Frist, die seit der letzten AGB-Anpassung nicht mehr stimmt. Der Fall landet trotzdem im Service, jetzt allerdings mit einer falschen Auskunft, die jemand wieder einfangen muss.
Genau dann wird KI nicht als Entlastung wahrgenommen, sondern als zusätzliche Last. Die Ursache liegt dabei selten im Sprachmodell. Entscheidend ist, auf welche Informationen der Chatbot zugreift, wie diese gefunden und gewichtet werden und was passiert, wenn eine belastbare Grundlage fehlt.
Woran du erkennst, dass es an den Daten liegt
Bevor du in Technik investierst, lohnt ein ehrlicher Blick auf die Symptome. Diese Muster deuten auf die Datenebene hin:
- Der Bot beantwortet allgemeine Fragen gut, scheitert aber an allem, was spezifisch für dein Unternehmen ist.
- Antworten klingen plausibel, enthalten aber veraltete Preise, Fristen oder Ansprechpartner.
- Auf dieselbe Frage kommen je nach Formulierung unterschiedliche Antworten.
- Mitarbeitende korrigieren regelmäßig dieselben Themen nach.
- Der Bot sagt nie „das weiß ich nicht“, sondern findet immer irgendetwas.
Der letzte Punkt ist der kritischste. Eine selbstbewusst formulierte falsche Antwort richtet im Kundenkontakt mehr Schaden an als ein ehrliches „Dazu liegen mir keine Informationen vor“.
Dahinter stecken meist dieselben Ursachen: Wichtige Inhalte liegen gar nicht in der angebundenen Wissensbasis, Dokumente sind veraltet oder in mehreren Versionen vorhanden, relevante Passagen werden bei der Suche nicht gefunden oder falsch gewichtet, und der Chatbot erkennt nicht, wann eine Anfrage besser an einen Menschen geht.
Warum Prompt-Optimierung oft nicht reicht
Wenn die Antwortqualität nicht stimmt, wird zuerst am Prompt geschraubt. Das hilft bei Ton, Format und Verhalten, ersetzt aber keine fehlende Information. Steht der benötigte Inhalt in keinem angebundenen System oder findet die Suche ihn nicht, erzeugt auch die beste Anweisung keine verlässliche Antwort.
Eine Möglichkeit ist Retrieval-Augmented Generation, kurz RAG. Dabei wird die Anfrage zunächst mit passenden Informationen aus definierten Wissensquellen angereichert, bevor das Sprachmodell antwortet. Der Vorteil liegt in der Aktualität, denn gepflegt wird die Quelle und nicht das Modell.
Was RAG nicht leistet, ist die Reparatur schlechter Quellen. Findet das Retrieval ein veraltetes Dokument, wird die veraltete Information sauber belegt und überzeugend formuliert ausgegeben.
Ohne bereinigte Daten kein verlässlicher Chatbot
Deshalb steht am Anfang jeder Chatbot-Optimierung die Datenbasis. Für den Betrieb dürfen ausschließlich bereinigte Daten verwendet werden. Konkret heißt das, vor der Anbindung zu klären, welche Dokumentenstände gültig sind, Dubletten und Altversionen auszusortieren, Widersprüche aufzulösen und vertrauliche oder personenbezogene Inhalte gezielt auszuschließen. Wer diesen Schritt überspringt, skaliert vorhandene Fehler nur schneller.
Die vier Ebenen der Chatbot-Optimierung
Fast jedes Antwortproblem lässt sich einer dieser vier Ebenen zuordnen.
Quellen. Welche Systeme sind angebunden und welche fehlen? Neben klassischen Wissensdatenbanken kommen je nach Anwendungsfall SharePoint, Dokumentenablagen, Datenbanken oder CRM-Systeme in Frage. Wichtig ist weniger Vollständigkeit als die Entscheidung, welche Quelle für welchen Fragetyp führend ist.
Aufbereitung. Lange Dokumente sinnvoll segmentieren, Metadaten zu Gültigkeit und Verantwortlichkeit ergänzen, gescannte Unterlagen per OCR erschließen. Diese Ebene wird am häufigsten unterschätzt und bringt oft den größten Sprung.
Suche. Rein semantische Suche versagt bei Artikelnummern, Produktbezeichnungen und Abkürzungen. Hybride Verfahren aus Volltext- und Vektorsuche, Re-Ranking und eine klare Quellenpriorisierung sorgen dafür, dass das richtige Dokument oben landet.
Antwortlogik. Ein guter Chatbot weiß nicht nur, was er antworten kann, sondern erkennt auch, wann die Informationslage nicht ausreicht. Quellenangaben, definierte Fallbacks und eine saubere Übergabe an Mitarbeitende halten Vertrauen aufrecht, statt Fehler an Kunden weiterzureichen.
Wo deine Daten verarbeitet werden
Sobald Unternehmensdokumente in einen Chatbot fließen, wird die Frage nach Verarbeitungsort und Zugriffsrechten relevant. Besonders wichtig ist, dass Berechtigungen mitwandern. Wenn ein Mitarbeiter ein SharePoint-Dokument nicht öffnen darf, darf der Chatbot ihm dessen Inhalt auch nicht vorlesen. Je nach Schutzbedarf kommen europäisches Hosting, ein Betrieb in der eigenen Microsoft-Umgebung oder eine lokale Lösung in Frage. Diese Entscheidung gehört an den Anfang und nicht in die Nachbesserung.
Was ein besserer Chatbot für dein Unternehmen verändert
- Verlässlichere Antworten. Relevante Unternehmensinformationen fließen gezielt in die Antwort ein, mit nachvollziehbarer Quelle.
- Entlastung für dein Team. Weniger Nacharbeit, weil weniger falsche Auskünfte korrigiert werden müssen.
- Bessere Nutzung vorhandener Daten. Wissen, das heute in PDFs, SharePoint und Altsystemen liegt, wird abrufbar.
- Aktuellere Informationen. Angebundene Quellen lassen sich pflegen, ohne das Sprachmodell neu zu trainieren.
- Sinnvollere Eskalation. Was der Bot nicht sicher beantworten kann, geht mit Kontext an einen Menschen.
Das Ziel ist nicht, einen Chatbot möglichst viel reden zu lassen. Das Ziel ist ein System, das relevante Informationen findet, Antworten nachvollziehbar erzeugt und seine Grenzen kennt.
Damit „besser“ dabei nicht Gefühlssache bleibt, lohnt es sich, vorher einen Ausgangswert zu erheben: Wie viele Anfragen werden ohne menschliches Zutun abgeschlossen, wie hoch ist die Eskalationsrate und wie viel Zeit investiert dein Team aktuell in Korrekturen?
Für wen sich eine Chatbot-Optimierung lohnt
Besonders relevant ist das Thema für Unternehmen, deren Chatbot bereits in Kundenservice, Vertrieb, auf der Website oder im internen Support läuft, aber hinter den Erwartungen zurückbleibt. Wenn Mitarbeitende regelmäßig nacharbeiten oder Kunden bei denselben Fragen immer wieder weitergeleitet werden, lohnt der Blick auf die gesamte Verarbeitungskette.
Auch wenn ein Chatbot bisher nur mit wenigen Dokumenten arbeitet, kann eine Erweiterung der Datenquellen sinnvoll sein. Unternehmenswissen liegt meist verteilt in Webseiten, PDFs, SharePoint, Wissensdatenbanken oder CRM-Systemen. Eine KI-Beratung analysiert zunächst, welche Daten vorhanden und belastbar sind und wie sie sich für einen konkreten Use Case nutzen lassen. Neu entwickeln muss man deshalb selten, denn der größere Hebel liegt meist im Bestand.
Dein Chatbot soll helfen, nicht zusätzliche Arbeit verursachen
Wenn dein Chatbot schnell antwortet, aber regelmäßig daneben liegt, liegt die Ursache fast immer vor dem Modell, nämlich bei den Daten, der Aufbereitung, der Suche oder der Verbindung der Informationsquellen. Genau diese Bereiche lassen sich systematisch analysieren und verbessern.
Join verbindet dafür Data- und Search-Expertise mit KI-Beratung und betrachtet Datenlandschaften, Prozesse und KI-Lösungen im Zusammenhang, etwa mit CompanyGPT als Grundlage für einen Chatbot auf Basis eigener Unternehmensdaten. Du möchtest wissen, woran dein Chatbot aktuell scheitert?