Ein KI-Assistent kann gute Arbeit leisten, ohne dass sein System etwas daraus lernt. Die Antwort überzeugt, das Dokument ist fertig, die Entscheidung vorbereitet. Doch beim nächsten Chat ist das Ergebnis verschwunden. Der einzelne Einsatz war erfolgreich, das Wissen blieb trotzdem nicht erhalten.

Ich habe diese Lücke in meinem eigenen System gemessen. Von 79 abgeschlossenen Chats hatten acht ein wichtiges Ergebnis hervorgebracht, das später nicht mehr verfügbar war. In drei Fällen lag eine vollständige und geprüfte Analyse im Chatverlauf. Kurz darauf entdeckte ich einen zweiten Fehler: Mein Assistent hatte 99 Newsletter-Ausgaben gelesen, konnte aber ein darin beschriebenes Produkt nicht wiederfinden.

Beide Vorgänge wirkten zunächst korrekt. Der Assistent hatte einmal um Erlaubnis gefragt und einmal eine Datenschutzregel befolgt. Gerade diese vermeintliche Sorgfalt machte die Fehler so schwer erkennbar.

Die höfliche Frage, an der Wissen verloren ging

Das Gedächtnis meines Assistenten besteht aus einfachen Textdateien, geordnet nach Themen. Beginnt ein neuer Chat, liest er die passenden Dateien und kann frühere Entscheidungen, Erkenntnisse und offene Fragen wieder aufgreifen. Ich nenne diesen Stapel meinen Aktenschrank.

Anfang September prüfte ich 79 Chats, deren Inhalte noch nicht abschließend ausgewertet waren. Für jeden Chat ließ ich zwei Fragen beantworten: War ein wichtiges Ergebnis entstanden? Und war es anschließend im Aktenschrank gelandet? Achtmal lautete die Antwort auf die zweite Frage: nein.

Die Ursache war jedes Mal dieselbe. Am Ende des Chats hatte der Assistent gefragt: Soll ich das ablegen? Soll ich das eintragen? Ich hatte nicht mehr geantwortet. Für mich war die Arbeit erledigt, also schloss ich das Fenster. Für den Assistenten fehlte damit die Erlaubnis zum Speichern.

Das Wissen ging nicht verloren, weil die Analyse schlecht oder unvollständig war. Es scheiterte am Übergang vom fertigen Ergebnis in das Gedächtnis. Eine höfliche Rückfrage verschob diesen Schritt auf später. Bei mir bedeutete später: nie.

Die erste Konsequenz war eine klarere Grenze für selbstständiges Handeln. Ergebnisse darf der Assistent in seine eigenen Dateien übertragen und mir danach berichten, was er gespeichert hat. Sobald eine Handlung andere Menschen erreicht, etwa eine Nachricht oder ein veröffentlichter Text, braucht er weiterhin mein ausdrückliches Ja.

Eine neue Regel reichte jedoch nicht. Eine ähnliche Anweisung hatte bereits bestanden, als die acht Ergebnisse verloren gingen. Deshalb prüft nun ein kleiner automatischer Schritt, ob ein Chat mit einer reinen Ablagefrage endet. Ist das der Fall, muss der Assistent zuerst speichern und anschließend berichten. Der Mechanismus hat beim Schreiben dieses Artikels einmal zu viel ausgelöst. Er wirkt, ist aber noch nicht fehlerfrei.

Gespeichert, aber nicht mehr auffindbar

Der zweite Fehler war schwerer zu erkennen, denn diesmal war das Wissen tatsächlich in den Dateien angekommen. Mein Assistent liest Newsletter, wählt relevante Aussagen aus und ordnet sie den passenden Themen zu. Quelle und Datum bleiben erhalten. Nach 99 Ausgaben hatte ich keinen Grund anzunehmen, dass dieser Ablauf nicht funktionierte.

Dann fragte ich nach TrueForge, einem Werkzeug für KI-Agenten, über das zwei Ausgaben von AlphaSignal berichtet hatten. Der Assistent fand keinen Treffer, obwohl er die Ausgaben verarbeitet und die Ablage bestätigt hatte.

Ein Blick in die Dateien zeigte, was passiert war. Die Aussagen standen dort, aber in den Stichproben fehlten die Eigennamen. An ihrer Stelle standen nur noch Bezeichnungen wie ein Chiphersteller, ein führendes KI-Labor oder ein herstellerneutrales Entwicklerwerkzeug.

Auslöser war eine Datenschutzregel, die der Assistent zu weit auslegte. Namen von Personen sollten nicht in den Wissensdateien stehen. Er übertrug diese Vorgabe auch auf Firmen, Produkte und Studien. Die Zusammenfassungen lasen sich weiterhin gut, hatten aber ihre wichtigsten Suchbegriffe verloren.

Damit entstand eine trügerische Sicherheit. Das System meldete eine erfolgreiche Ablage, und ich glaubte ihm. Erst die spätere Frage zeigte, dass ein gut formulierter Text noch lange kein nutzbares Gedächtnis ergibt. Ein Produkt, dessen Name beim Speichern verschwindet, lässt sich später auch nicht beim Namen finden.

Heute bleiben die Namen von Firmen, Produkten und Studien erhalten. Vor jeder Wissensfrage sucht ein einfacher Prüfschritt nach den Begriffen aus meiner Frage und zeigt dem Assistenten die Fundstellen. Seine Antwort muss Quelle und Datum nennen. Diese Suche erkennt keine Synonyme und kann an unterschiedlichen Schreibweisen scheitern. Dafür lässt sich nachvollziehen, warum sie einen Treffer liefert oder eben nicht.

Ich testete den neuen Ablauf zunächst in zwei frischen Chats, einmal mit TrueForge und einmal mit einer Rechtsfrage aus einer anderen Ausgabe. Beide Antworten nannten Quelle und Datum. Anschließend weitete ich den Test auf 15 Durchläufe ohne Vorwissen aus. Zehn Antworten waren vollständig, fünf nur teilweise vollständig. Keine Antwort war falsch, und keine Frage blieb ohne Ergebnis.

Auch dieses Resultat war nicht perfekt. Die fünf schwächeren Antworten zeigten, dass bereits beim Zusammenfassen Informationen verloren gegangen waren. Der neue Prüfschritt machte damit nicht nur den ursprünglichen Fehler sichtbar, sondern deckte den nächsten auf.

Nutzung ist noch kein Lernen

Meine beiden Fälle sagen nichts darüber aus, wie häufig solche Lücken in Unternehmen auftreten. Sie zeigen jedoch einen Unterschied, der bei der Einführung von KI leicht übersehen wird: Ein erfolgreicher Chat und dauerhaft verfügbares Wissen sind zwei verschiedene Ergebnisse.

Nutzungszahlen messen, ob ein Werkzeug angenommen wird. Die Zahl der Chats, aktive Nutzer und Zufriedenheitswerte können dafür sinnvoll sein. Sie beantworten aber nicht, wie viel von der geleisteten Denkarbeit einen Monat später noch verfügbar ist. Genau das entscheidet, ob eine Organisation mit jedem Einsatz dazulernt oder dieselben Fragen immer wieder neu bearbeitet.

Für mich ist deshalb der Abruf die wichtigere Kennzahl. Kann ein neuer Chat eine frühere Entscheidung samt Quelle wiederfinden? Erkennt der Assistent ein Produkt oder eine Studie, die bereits durch das System gelaufen ist? Und lässt sich nachvollziehen, worauf seine Antwort beruht?

Daran schließt sich die Frage nach den Grenzen der Autonomie an. Was darf ein Assistent selbstständig speichern, was braucht eine Freigabe, und wer prüft, ob diese Freigabe erfolgt? Hängt der letzte Schritt allein davon ab, dass ein Mensch am Ende eines Chats noch einmal reagiert, wird ein Teil des Wissens dort liegen bleiben. In meinem Test betraf das acht von 79 Chats.

Der Gegencheck ist einfach. Nimm einige Entscheidungen, Bewertungen oder Analysen aus dem vergangenen Monat und frage in einem neuen Chat ohne weitere Erklärung danach. Wie viele Ergebnisse findet der Assistent wieder? Wie viele kann er mit einer Quelle belegen? Und wie viele sind verschwunden?

Wer nur zählt, wie oft ein KI-Assistent genutzt wurde, weiß, wie beschäftigt das System war. Nicht, ob die Organisation etwas gelernt hat.