Wie aktualisierst du veraltete Quellen in einer KI-Wissensdatenbank?

Kurz gesagt: Veraltete Quellen aktualisierst du in zwei unterschiedlichen Fällen, die unterschiedliche Prüfschritte brauchen: Ändert sich ein Dokument nur inhaltlich, ist es eine Versionsänderung – die Kontrollfrage muss danach die neue Antwort liefern. Fällt ein Dokument ganz weg, ist es ein vollständiges Entfernen – die Kontrollfrage darf danach keine Antwort mehr liefern oder muss auf eine fehlende Quelle hinweisen. In beiden Fällen brauchst du die Kontrollfrage und die davor gültige Antwort schon vor der Änderung schriftlich, sonst merkst du eine hängengebliebene alte Antwort erst, wenn sich jemand im Betrieb darauf verlassen hat.

Dieser Beitrag spielt beide Fälle als fiktive Übung durch – anhand der Löschmechanik, wie sie gängige technische Grundlagen von KI-Wissensdatenbanken tatsächlich beschreiben. Die Übung wurde nicht an einem konkreten Kundensystem ausgeführt; die zitierten technischen Verhaltensweisen stammen aus den unten genannten Originalquellen. Ergänzend zum bestehenden Beitrag Eine Wissensdatenbank, die tatsächlich benutzt wird, der erklärt, warum Wissensdatenbanken überhaupt genutzt werden – hier geht es nur um den Moment, in dem sich eine Quelle ändert oder wegfällt.

Voraussetzungen

• Eine Liste der wichtigsten Quellen mit Stand oder Version und einer verantwortlichen Person, die über Änderungen entscheidet.
• Zugriff auf das System, das die Wissensdatenbank speist – bei den meisten KI-gestützten Lösungen eine Verbindung zwischen Dateiablage und einer durchsuchbaren Datenbank für die Inhalte.
• Für jedes wichtige Dokument mindestens eine Kontrollfrage, deren aktuell richtige Antwort schon vor der Änderung feststeht und notiert ist.

Fiktive Übung: eine Versionsänderung durchspielen

Angenommen, ein Betrieb hat eine „Reklamationsrichtlinie Version 3“ in seiner Wissensdatenbank, und eine neue Version 4 ändert die Reklamationsfrist.

1. Kontrollfrage vorher festlegen. Zum Beispiel: „Wie lange hat ein Kunde Zeit, eine Sonderanfertigung zu reklamieren?“ Die dokumentierte Antwort nach Version 3 lautet 14 Tage.
2. Alte Datei durch die neue ersetzen. Version 3 wird aus der aktiven Verknüpfung genommen, Version 4 an ihrer Stelle eingebunden.
3. Neu einlesen lassen. Damit die neue Version überhaupt auffindbar wird, muss das System sie erst verarbeiten – bei vielen Lösungen läuft das automatisch beim Hochladen, bei manchen braucht es einen eigenen Anstoß.
4. Kontrollfrage erneut stellen. Erwartetes Ergebnis: die neue Frist, möglichst mit einem Hinweis auf Version 4 oder ein aktuelles Datum in der Quellenangabe.
5. Bei Verzögerung nicht sofort von einem Fehler ausgehen. Laut der Pinecone-Dokumentation zum Löschen von Daten sind solche Systeme „eventually consistent“ – neue oder geänderte Einträge können mit einer kurzen Verzögerung sichtbar werden. Ein zweiter Test nach wenigen Minuten gehört deshalb zur Prüfung dazu.

Fiktive Übung: ein Dokument vollständig entfernen

Angenommen, eine Preisliste aus dem Vorjahr ist überholt und soll komplett aus der Wissensdatenbank verschwinden.

1. Kontrollfrage vorher festlegen. Zum Beispiel: „Was kostet Leistung X laut aktueller Preisliste?“ Dokumentiert wird, dass die Wissensdatenbank aktuell noch die alte Antwort liefert.
2. Verknüpfung zur Wissensdatenbank entfernen. Das Dokument wird aus der aktiven Anbindung gelöst.
3. Prüfen, ob damit wirklich alles erledigt ist. Nach einem Bericht in der OpenAI Developer Community reicht das Entfernen aus der Wissensdatenbank bei manchen Systemen allein nicht aus: Die zitierte Dokumentation besagt ausdrücklich, dass die Datei selbst dabei nicht gelöscht wird, sondern nur ihre Verknüpfung – ein zusätzlicher, separater Löschvorgang für die Datei selbst ist nötig. Wer nur den ersten Schritt macht, hat unter Umständen weiterhin eine auffindbare Kopie im System.
4. Kontrollfrage erneut stellen. Erwartetes Ergebnis ist entweder gar keine Antwort mehr oder ein klarer Hinweis, dass dazu keine aktuelle Quelle vorliegt – nicht eine geratene Antwort ohne Quellenangabe.
5. Bei Löschungen über eine Filterregel die Anzahl prüfen. Wer nicht ein einzelnes Dokument, sondern zum Beispiel „alle Preislisten vor 2026“ auf einmal entfernen will, sollte die vom System gemeldete Anzahl gelöschter Einträge mit der erwarteten Zahl abgleichen. Laut Pinecone-Dokumentation werden bestimmte Textabgleich-Operatoren für solche Filterlöschungen nicht unterstützt, was leicht dazu führt, dass ein Filter weniger trifft als gedacht.

Kontrollfragen, die vorher feststehen sollten

• Welche konkrete Frage prüft dieses Dokument, und was ist die aktuell richtige Antwort dazu?
• Zeigt die Antwort nach der Änderung ein aktuelles Datum oder eine Versionskennung, statt nur allgemein zu klingen?
• Verschwindet eine alte Antwort vollständig, oder taucht sie nach einer Wartezeit noch einmal auf?
• Ist bei einem entfernten Dokument auch die zugrunde liegende Datei gelöscht, nicht nur die Verknüpfung zur Wissensdatenbank?
• Bei mehreren Kanälen oder Sprachversionen: Wurde die Änderung überall wirksam, nicht nur im getesteten Kanal?

Was in der Praxis am häufigsten schiefgeht

Die Verzögerung durch verzögerte Konsistenz wird oft mit einem echten Fehler verwechselt, weil direkt nach der Änderung getestet wird. Das Entfernen einer Verknüpfung wird mit dem endgültigen Löschen der Datei verwechselt, obwohl beides laut den oben genannten Quellen bei manchen Systemen getrennte Schritte sind. Und bei Filterlöschungen wird die gemeldete Trefferzahl selten kontrolliert, obwohl sie der einfachste Hinweis darauf ist, ob wirklich alles Gemeinte erfasst wurde.

Grenze: was hier keine Automatik entscheiden sollte

Ob ein Dokument fachlich veraltet ist, ist eine inhaltliche Entscheidung, die kein System von selbst trifft. Bei Inhalten mit rechtlicher oder sicherheitsrelevanter Bedeutung – etwa zu Gewährleistungsfristen, Arbeitsschutz oder vertraglichen Zusagen – sollte die endgültige Freigabe zum Entfernen oder Ersetzen einer Quelle bei einer benannten, fachlich verantwortlichen Person liegen, nicht bei einer automatischen Regel, die zum Beispiel nur nach Alter des Dokuments löscht. Eine Kontrollfrage kann prüfen, ob die Technik funktioniert hat – sie ersetzt nicht die fachliche Entscheidung, was inhaltlich richtig ist.

Der nächste Schritt

Wenn unklar ist, wie eure vorhandene Ablage überhaupt an eine durchsuchbare Wissensdatenbank angebunden werden könnte, ist das eine gute Frage für die KI-Beratung. Wie eine Wissensdatenbank grundsätzlich aufgebaut sein sollte, damit sie nach der Einrichtung auch benutzt wird, steht im Beitrag Eine Wissensdatenbank, die tatsächlich benutzt wird.