Wer eine KI in seinem Namen sprechen lässt, sollte sie testen wie ein Produkt. Stichproben nach Gefühl reichen nicht, denn KI schreibt sehr gut Text, der richtig klingt. Ich habe das an meiner eigenen Website gemerkt, wo seit Monaten ein Chat in meinem Namen antwortet. Der Test hat die KI auf vier Arten beim Scheitern erwischt. Probleme bei der KI hatte ich erwartet, aber nicht, dass der Test auch eins bei mir findet.

Ich glaube, das betrifft jede Organisation, die ein System in ihrem Namen sprechen lässt. Mein Chat antwortet rund um die Uhr, ohne dass ich dabei bin. Eine Handvoll Antworten hatte ich gelesen, sie klangen richtig. Ob sie gut waren, wusste ich nicht. Also habe ich aufgehört, nach Gefühl zu lesen, und angefangen zu messen.

Beim Lesen wurden die Fehlermuster sichtbar

Die Versuchung ist groß, mit einer Metrik anzufangen, aber ich würde ihr widerstehen. Ich habe so angefangen, wie Hamel Husain es lehrt. Er nennt das einen Eval: echte Fragen stellen, jede Antwort lesen und von Hand labeln. Erst danach entscheidest du, was "schlecht" überhaupt bedeutet.

Also habe ich mich mit Fragen hingesetzt, die ein neugieriger Besucher wirklich stellt. Was macht Adrian eigentlich beruflich? Hat er Erfahrung mit GenAI in Unternehmen? Was glaubt er über KI-Adoption? Die Antworten habe ich langsam gelesen, so wie ein Fremder sie lesen würde. Ich habe nicht nach Fakten gesucht, die ich ohnehin kannte, sondern darauf geachtet, was die Antwort tatsächlich vermittelt.

Das Ergebnis war ernüchternd. Die Fehler fielen in Muster, für die ich vorab nie Checks entworfen hätte.

Der Chat beantwortete deutsche Fragen zuverlässig auf Englisch. Ein Besucher fragt "Was macht Adrian eigentlich beruflich?" und bekommt einen polierten englischen Absatz zurück. Die Ursache lag in der Technik, nicht in der Intelligenz des Modells. Am Ende des Prompts, also der Anweisung an die KI, überschrieb die Spracheinstellung der Website die Sprache des Besuchers. Es war eine einzige Zeile an der falschen Stelle. Evals finden also nicht nur Qualitätsprobleme, sondern auch Integrationsfehler, die kein noch so gutes Prompt-Tuning beheben würde.

Er gab Listen aus, wo die Frage nach einer Geschichte verlangte. Auf "Hat er Erfahrung mit X?" kam eine Aufzählung von Tätigkeiten, technisch korrekt und völlig leblos. Niemand stellt diese Frage, weil er ein Inventar will. Man will wissen, was passiert ist, was schwer war und was sich verändert hat.

Er war generisch. Manche Antworten hätten Wort für Wort jeden KI-Verantwortlichen in jedem deutschen Unternehmen beschreiben können. Ich nenne das inzwischen den Namens-Test. Wenn du einen anderen Namen einsetzen kannst und die Antwort noch funktioniert, sagt die Antwort nichts.

Er verwechselte die Perspektive. Auf Fragen über Adrian antwortete der Chat manchmal in der Ich-Form. Das ist eine Kleinigkeit, liest sich aber sehr seltsam. Eine KI, die nicht im Blick behält, wer gerade spricht, weckt wenig Vertrauen in alles andere, was sie sagt.

Jede Regel muss sagen, wann sie nicht gilt

Aus den Mustern wurden vier Fehlermodi, also vier Fragen an jede Antwort. Antwortet der Chat in der richtigen Sprache? Erzählt er Erfahrungen als Geschichte? Nennt er konkrete Details? Spricht er aus der richtigen Perspektive? Jeder Fehlermodus bekam eine strenge Definition.

Festzulegen, wann die Regeln gelten, hat länger gedauert als ihre Definition. Jede Regel braucht eine ausdrückliche Antwort auf die Frage, wann sie NICHT gilt. "Erzähl mir von seiner Erfahrung" verdient eine Geschichte, "Wie viele Leute hat er geschult?" verdient eine Zahl. Wer die Zahl bestraft, weil sie keine Geschichte ist, bringt dem System nur Füllmaterial bei. Ohne Geltungsbereiche meldet ein automatischer Richter so lange Fehlalarme, bis du ihm nicht mehr traust, und dann bist du wieder beim Bauchgefühl.

Die schwammigste Kategorie war "generisch". Ich habe sie in drei Ja-Nein-Checks zerlegt: den Namens-Test, einen Check auf differenzierende Details und die Buzzword-Dichte. Beim zweiten Check zählen Zahlen oder Rollenbezeichnungen allein nicht, konkrete Entscheidungen und Situationen dagegen schon. Vage Kriterien ergeben einen Richter, dem du nicht widersprechen kannst. Mit klaren Ja-Nein-Kriterien kannst du sein Urteil hinterfragen.

Der Richter muss zuerst meine Urteile reproduzieren

Dann habe ich die Bewertung automatisiert, mit einer KI als Richter. Einem ungetesteten Richter zu vertrauen, ist aber auch nur Bauchgefühl, mit ein paar Zwischenschritten mehr.

Deshalb musste sich der Richter den Job erst verdienen. Ich habe von Hand ein Golden Set gelabelt, also Frage-Antwort-Paare mit sauberen Treffern, absichtlichen Fehlern und Grenzfällen. Zu jedem Paar gehört mein eigenes Urteil für jeden Fehlermodus. Bevor der Richter neue Antworten bewerten durfte, musste er diese Labels reproduzieren. Die erste Version schaffte vier von fünf. Über das fünfte haben der Richter und ich gestritten, und der Streit war nützlich, weil er eine schlampige Definition in meinen eigenen Kriterien offengelegt hat.

Erst als der Richter bei meinen gelabelten Antworten mit mir übereinstimmte, durfte er Antworten bewerten, die ich nicht kannte.

Der Fix lag in der Wissensbasis

Als die Auswertung lief, zeigte sich ein Muster, das ich nicht vorhergesagt hätte. Enge Faktenfragen bestanden, breite Fragen fielen durch. Modell, Prompt und Wissensbasis waren dabei dieselben. Die Wissensbasis ist die Datei, aus der der Chat seine Antworten zieht.

Die Ursache lag in der Wissensbasis selbst. Ich hatte sie geschrieben wie eine Datenbank: dicht, sachlich und vollständig. Jeder Fakt war drin, aber es fehlten die Zusammenhänge. Warum führte eins zum anderen? Was stand auf dem Spiel? Was wäre sonst passiert? Ein Modell, das Antworten aus einzelnen Fakten baut, liefert genau das zurück: einzelne Fakten.

Also habe ich die Wissensbasis Geschichte für Geschichte umgeschrieben. Jede bekam dasselbe Gerüst aus Situation, Spannung und Ergebnis, dazu ein Detail, das spezifisch genug ist, damit der Namens-Test in die richtige Richtung ausschlägt. Die Eval-Ergebnisse zeigten mir, welche Geschichte zuerst dran war und ob jede Überarbeitung die Antworten verbessert hat.

Der Test hat auch einen Fehler bei mir gefunden

Dann kam der Teil, mit dem ich nicht gerechnet hatte. Beim Labeln habe ich eine der Quellgeschichten neu gelesen. Dabei merkte ich, dass ich sie so aufgeschrieben hatte, wie ich sie mir gewünscht hätte. Sie war glatter als die Wirklichkeit, ein Konflikt war etwas zu sauber aufgelöst. Die KI hatte meine eigene Schönfärberei treu wiedergegeben. Sie kann deine Geschichte schreiben, aber nicht wissen, welche Version davon wahr ist. Ich habe die Quelle korrigiert.

Die letzten zwei Fehler hatten nichts mit Wissen zu tun

Nach der Überarbeitung bestanden die meisten Fragen stabil. Zwei wechselten weiter zwischen bestanden und durchgefallen, ohne dass sich dazwischen etwas geändert hatte.

Die Begründungen des Richters zeigten den Grund. Die Fakten waren alle da, aber die Antwort war falsch aufgebaut. Bei bestimmten breiten Fragetypen fiel das Modell ins Aufzählen zurück, obwohl es Geschichten zu erzählen hatte. Die Ursache war eine Lücke im Prompt. Meine Regel "antworte als Geschichte, nicht als Lebenslauf" nannte die Formulierungen, bei denen sie greifen sollte. Diese zwei Fragetypen passten auf keine davon, deshalb griff die Regel bei ihnen nie.

Diese Unterscheidung gilt weit über meine kleine Website hinaus. Was ein System weiß und wie es eine Antwort aufbaut, sind zwei verschiedene Ebenen. Sie versagen auf unterschiedliche Weise, und die Begründungen der Evals geben dir einen Hinweis, welche Ebene betroffen ist. Ohne sie schreibst du Inhalte um, wo du den Prompt reparieren müsstest, oder umgekehrt. Dann dauert alles viermal so lang.

Ich bin für jeden Satz verantwortlich, den der Chat schreibt

Ich mache das wegen des Prinzips, nicht wegen der Website. Ich glaube, dass KI autonom arbeiten soll, aber nie eine Blackbox sein darf. Das ist eine von drei Überzeugungen auf dieser Seite. Ein Chat, der ungeprüft in meinem Namen antwortet, ist genau so eine Blackbox. Ich bin für jeden Satz verantwortlich, den er schreibt, ob ich ihn gelesen habe oder nicht. Ihn zu testen ist der Preis dafür, dass er für mich sprechen darf.

Und ehrlich gesagt liegt die Messlatte da draußen sehr niedrig. Die meisten Chatbots gehen live, nachdem jemand in einer Demo drei Fragen gestellt und genickt hat.

Fazit

Die Methode, die meinen Website-Chat repariert hat, übe ich auch bei Produktivsystemen in der Arbeit. Sie ist nicht schwer: Lies echte Antworten und label sie von Hand. Definiere genau, was ein Fehler ist, und auch, wann eine Regel nicht gilt. Lass den Richter sich dein Vertrauen verdienen, bevor du ihm vertraust. Repariere die Ebene, auf die die Belege zeigen.

Das Ziel war nie ein perfekter Chatbot. Ich wollte genau wissen, wie mein System versagt, bevor ein Fremder es für mich herausfindet. Für mich ist das der Unterschied zwischen autonom und außer Kontrolle.

Wann hat zuletzt jemand die Antworten deiner KI selbst geprüft? Und weißt du, ob dein Richter deine eigenen Urteile reproduzieren kann?

Die Zahlen

Wie im letzten Post lege ich die Zahlen offen.

  • Golden Set: 8 von Hand gelabelte Einträge, gestartet mit 5. Das ist wenig, aber mit jedem einzelnen habe ich persönlich gerungen.
  • Fehlermodi: 4, jeder mit ausdrücklichem Geltungsbereich und Ja-Nein-Checks.
  • Übereinstimmung des Richters: 4/5 in der ersten Version. Danach habe ich die Kriterien korrigiert, nicht den Richter.
  • Vorher: 5 von 8 Fragen bestanden. Die schwächste fiel in jedem einzelnen Lauf durch.
  • Nachher: 8 von 8, drei Läufe in Folge, 24 von 24 Urteilen.
  • Kosten pro vollem Eval-Lauf: Centbeträge. Teuer war das Labeln von Hand, es hat ein paar Abende gekostet. Der Richter läuft für weniger als einen Kaffee.

Zum Nachbauen

So steht die Prüfung auf "generisch" im Prompt des Richters, gekürzt um interne Beispiele. Wenn eine KI in deinem Namen spricht, kannst du sie fast unverändert übernehmen. Du tauschst den Namen, passt die Vergleichsgruppe an und bist fertig.

Prompt
F3: Generic
Definition: The answer stays at the level of generic claims and buzzwords instead of concrete, differentiating details that set Adrian apart from any other German AI leader.
Scope: applies to questions about experience, competence or concrete work. Does NOT apply to pure factual questions. If out of scope, return verdict "na".

Verdict determined by three checks. FAIL if 2 or more checks trigger.

Check A, Name Test: Could the answer be word-for-word identical if it were about any other German AI leader (e.g. someone at Otto, Telekom, Allianz, SAP)? If yes, Check A is triggered.

Check B, Differentiating Details Missing: Are there NO concrete, differentiating details that go beyond what a standard LinkedIn profile would say? Numbers alone and named roles alone do NOT count as differentiating. Stakeholder names alone do NOT count. Specific decisions, named constraints, concrete situations, conflicts or unusual choices DO count. If the answer has no differentiating detail, Check B is triggered.

Check C, Buzzword Density: Is the answer heavy with interchangeable management phrases ("strategisch", "nachhaltig", "ganzheitlich", "Change Management", "Transformation", "Hands-on") WITHOUT concrete examples behind them? If yes, Check C is triggered.

Pass: 0 or 1 checks triggered.
Fail: 2 or 3 checks triggered.