%20(2).png)
- Ein fester Testsatz aus echten Fragen ist die Grundlage – ohne ihn ist jede Verbesserung nur ein Gefühl.
- Prüfen Sie vier Dinge getrennt: Ist es richtig, ist es vollständig, ist es belegt, und ist der Ton passend?
- Die wichtigste Kategorie sind Fragen, auf die es keine Antwort gibt – ein gutes System sagt das, ein schlechtes erfindet etwas.
- Quellenangaben sind der wirksamste Schutz gegen Halluzinationen, weil sie Fehler prüfbar machen.
- Nach dem Live-Gang hört das Testen nicht auf: Jede Änderung an Daten oder Prompt braucht einen erneuten Durchlauf.
Woran erkennt man gute Antwortqualität?
Nicht daran, dass eine Antwort flüssig klingt. Sprachmodelle formulieren überzeugend, auch wenn der Inhalt falsch ist – das ist der Kern des Problems. Prüfbar wird Qualität erst, wenn man sie in Teilfragen zerlegt: Stimmt die Aussage? Fehlt etwas Wesentliches? Ist nachvollziehbar, woher die Information kommt? Und passt die Antwort in Ton und Länge zum Einsatz?
Diese vier Kriterien lassen sich einzeln bewerten, und genau das macht den Unterschied zu einem Gesamteindruck. Ein System kann inhaltlich richtig und trotzdem unbrauchbar sein, weil es dreimal so lang antwortet wie nötig. Ein anderes ist knapp und freundlich und liegt inhaltlich daneben. Beides sind verschiedene Probleme mit verschiedenen Lösungen.
Der Testsatz: zwanzig Fragen, die wirklich vorkommen
Grundlage jeder Prüfung ist eine feste Liste von Fragen mit hinterlegter Soll-Antwort. Sie muss nicht groß sein – zwanzig bis fünfzig echte Fragen aus dem Alltag reichen für den Anfang –, aber sie muss stabil bleiben. Nur wenn dieselben Fragen vor und nach einer Änderung gestellt werden, lässt sich sagen, ob die Änderung geholfen hat.
Die Fragen sollten aus echten Quellen kommen: Supportmails, Telefonnotizen, Suchanfragen im Intranet. Selbst erfundene Testfragen treffen den Tonfall und die Unschärfe echter Anfragen nicht. Wichtig ist eine bewusste Mischung – und dass jede Kategorie vertreten ist:
| Kategorie | Was geprüft wird | Erwartetes Verhalten |
|---|---|---|
| Standardfragen | Grundfunktion | korrekte, knappe Antwort mit Quelle |
| Fragen mit mehreren Teilen | Vollständigkeit | alle Teile beantwortet, nicht nur der erste |
| Fragen ohne Antwort im Bestand | Umgang mit Nichtwissen | sagt, dass es die Information nicht gibt |
| Veraltete Informationen | Aktualität | nutzt die gültige Version, nicht die alte |
| Grenzfälle und Ausnahmen | Robustheit | verweist auf einen Menschen statt zu raten |
| Fragen außerhalb des Themas | Abgrenzung | lehnt freundlich ab |
Die wichtigste Kategorie: Fragen ohne Antwort
Der häufigste Fehler in der Praxis ist nicht die falsche Antwort auf eine beantwortbare Frage, sondern eine erfundene Antwort auf eine, zu der es keine Information gibt. Dieses Verhalten findet man nur, wenn man bewusst danach sucht – also Fragen stellt, deren Antwort im Datenbestand nachweislich fehlt.
Ein System, das in diesen Fällen „dazu liegt mir keine Information vor“ sagt, ist produktionsreif. Ein System, das stattdessen eine plausible Antwort konstruiert, ist es nicht – unabhängig davon, wie gut es bei den anderen Fragen abschneidet. Diese Kategorie gehört deshalb mit ausreichend Beispielen in jeden Testsatz.
Quellenangaben machen Fehler prüfbar
Der praktisch wirksamste Hebel gegen falsche Antworten ist nicht ein besseres Modell, sondern eine Antwort, die ihre Belege mitliefert. Wenn jede Aussage auf ein Dokument, einen Abschnitt oder einen Datensatz verweist, kann ein Mitarbeiter in Sekunden prüfen, ob der Beleg zur Aussage passt. Fehler werden dadurch sichtbar, statt unentdeckt weitergegeben zu werden.
Nebeneffekt: Quellenangaben verbessern die Antworten selbst, weil sie die Prüfung beim Aufbau erzwingen – und sie erhöhen die Akzeptanz, weil Nutzer nicht glauben müssen, sondern nachsehen können.
Nach dem Live-Gang
Qualität ist kein Zustand, sondern ein Verlauf. Dokumente ändern sich, Prozesse ändern sich, Modelle werden aktualisiert – und jede dieser Änderungen kann Antworten verschieben, auch ohne dass jemand am System gearbeitet hat. Deshalb gehört der Testsatz in den Betrieb: einmal nach jeder relevanten Änderung, zusätzlich in festem Rhythmus.
Dazu kommt eine Rückmeldemöglichkeit für die Nutzer. Ein einfacher Daumen-runter mit Kommentarfeld liefert über Monate die besten neuen Testfälle – nämlich genau die, an die beim Aufbau niemand gedacht hat.
Vorgehen
- Zwanzig bis fünfzig echte Fragen aus dem Alltag sammeln.
- Je Frage eine Soll-Antwort hinterlegen, abgestimmt mit dem Fachbereich.
- Alle Kategorien abdecken – besonders Fragen ohne Antwort im Bestand.
- Antworten getrennt nach Richtigkeit, Vollständigkeit, Beleg und Ton bewerten.
- Schwelle festlegen, ab der ausgerollt wird.
- Quellenangaben verpflichtend machen und stichprobenartig gegenprüfen.
- Nach jeder Änderung an Daten, Prompt oder Modell erneut durchlaufen.
- Nutzerrückmeldungen einsammeln und in den Testsatz übernehmen.
Häufige Fragen (FAQ)
Wie viele Testfragen braucht man?
Für den Start reichen zwanzig bis fünfzig, wenn sie alle Kategorien abdecken. Wichtiger als die Menge ist, dass der Satz stabil bleibt und dass Fragen ohne hinterlegte Antwort enthalten sind. Mit der Zeit wächst er durch echte Nutzerfälle von selbst.
Kann man die Bewertung automatisieren?
Teilweise. Bei Fragen mit eindeutiger Soll-Antwort lässt sich maschinell vergleichen; bei offenen Antworten hilft eine automatische Vorbewertung, die eine Person dann nur noch stichprobenartig prüft. Ganz ohne menschliche Kontrolle wird es unzuverlässig, gerade bei fachlichen Feinheiten.
Was tun, wenn das System halluziniert?
Zuerst prüfen, ob die Information überhaupt im Datenbestand vorhanden ist – häufig ist die Lücke die Ursache. Danach helfen klare Anweisungen zum Umgang mit Nichtwissen, verpflichtende Quellenangaben und eine engere Eingrenzung des Themenbereichs.
Wie oft sollte im Betrieb getestet werden?
Immer nach einer Änderung an Datenbestand, Prompt oder Modellversion – und zusätzlich in festem Rhythmus, zum Beispiel monatlich. Der feste Rhythmus fängt die Veränderungen auf, die niemand als Änderung wahrgenommen hat.
Ein Testsatz ist der Unterschied zwischen „wir glauben, es ist besser geworden“ und „wir wissen es“. Wie wir Wissensbestände so aufbauen, dass Antworten belegt und prüfbar sind, zeigt die Seite KI-Wissensdatenbank. Für eine Einordnung Ihres Anwendungsfalls nutzen Sie den Kontakt.