Praxisfall · Analyse und Methodenentwicklung
Wenn KI am Anliegen vorbeiarbeitet
Vom Supportverlauf zur Prüfmethode für verlässliche KI-Kommunikation
Ein Supportfall drehte sich im Kreis. Ich hatte den Verdacht, dass KI die Antworten schrieb, und wollte genauer hinsehen. Bei der Analyse mit einem KI-Assistenten passierte dann etwas Unerwartetes: Nach einer Sicherheitsunterbrechung und einer Klarstellung landeten wir beim falschen Prüfgegenstand. Genau daraus entstand ein Testentwurf: Wie gut nutzt ein Assistent den Kontext, wann fragt er nach und wie findet er nach einem Fehler zurück?
Der Ausgangspunkt war mein eigener Supportfall. Irgendwann fragte ich mich: Liest hier eigentlich noch jemand mit? Aus diesem Ärger wurde eine genauere Analyse - und dabei lief auch in meiner Arbeit mit dem KI-Assistenten nicht alles glatt. Für diese Fallstudie habe ich den Verlauf anonymisiert und auf die entscheidenden Schritte gekürzt.
Der Ablauf
Supportschleifen
Wiederholte Fragen und Weiterverweise brachten mein Anliegen kaum voran.
Verdacht und Analyse
Der Verdacht auf KI-Antworten führte zur Untersuchung von Textmustern, Kontextbezug und Bearbeitungsfortschritt.
Methoden entwickeln
Die Erkenntnisse sollten für spätere Prüfaufträge nutzbar werden. Dabei erschien eine Sicherheitsmeldung.
Auftrag klären
Ich stellte klar: Vorhandene Kommunikation auswerten und daraus Prüfverfahren entwickeln.
Einen Test beauftragen
Danach bat ich, „aus dem Vorfall einen Test“ zu machen. Gemeint war die zuvor aufgetretene Notbremse.
Falschen Bezug erkennen
Der Assistent bezog diese Formulierung ohne Rückfrage auf das spätere Missverständnis und entwickelte einen unpassenden Testschwerpunkt.
Testentwurf erweitern
Die Korrektur machte Bezugsklärung zu einem eigenen Prüffeld: Bei mehreren plausiblen Bedeutungen gezielt nachfragen.
Was im Supportverlauf auffiel
Bekannte Angaben erneut erfragt
Ich wurde mehrfach nach Informationen gefragt, die ich schon mitgeteilt hatte. Daraus entstand die Prüffrage: Berücksichtigt die Antwort den bisherigen Verlauf?
Antworten ohne erkennbaren Fortschritt
Verständnis für meinen Frust wurde oft geäußert. Was fehlte, war ein erkennbarer nächster Schritt. Deshalb prüft die Analyse, welche neue Information, Entscheidung oder nachvollziehbare Handlung eine Antwort tatsächlich liefert.
Zuständigkeit weitergereicht
Durch die Verweise zwischen Beteiligten blieb unklar, wer sich als Nächstes kümmert. Die Methode hält deshalb fest, wer handeln soll und ob es für eine behauptete Weiterleitung einen Beleg gibt.
Mein Verdacht war damit noch kein Nachweis. Wiederholungen und ausweichende Antworten können auch durch Textvorlagen, Zeitdruck oder fehlende Informationen entstehen. Deshalb habe ich zwei Fragen getrennt: Was leistet die Antwort tatsächlich? Und was wissen wir darüber, wie sie entstanden ist? Die erste lässt sich am Verlauf prüfen. Für die zweite braucht es zusätzliche Belege.
Daraus wurde ein einfacher, wiederverwendbarer Analyseablauf: Was wurde gefragt? Welche Informationen lagen bereits vor? Was beantwortet die Nachricht, was behauptet sie und was bleibt offen? So lässt sich jede Schlussfolgerung auf eine konkrete Stelle im Verlauf zurückführen.
Von der Unterbrechung zum falschen Bezug
Als ich die Erkenntnisse für künftige Prüfaufträge nutzbar machen wollte, erschien eine Sicherheitsmeldung. Ich stellte klar: Es ging um die Auswertung bereits vorhandener Supportnachrichten. Danach ging die Arbeit weiter. Die Unterbrechung ist dokumentiert; was sie technisch genau ausgelöst hat, blieb offen.
Anschließend bat ich den Assistenten, „aus dem Vorfall einen Test“ zu machen. Ich meinte die frühere Notbremse. Im Gespräch gab es aber inzwischen mehrere mögliche Bezugspunkte. Statt nachzufragen, wählte der Assistent das spätere Missverständnis - und arbeitete am falschen Schwerpunkt weiter. Die Aufgabe hatte er verstanden, den Bezug hatte er falsch gesetzt.
Ich wies auf die falsche Zuordnung hin. Wir korrigierten den Entwurf und ergänzten vier Testfälle zur Bezugsklärung. Damit wurde ein Fehler aus der eigenen Arbeit selbst zum Prüfgegenstand.
Meinst du die frühere Notbremse oder das spätere Missverständnis?
Hier zeigt sich auch, warum festgehaltene Rückkehrpunkte wichtig sind: Was war der Auftrag, worauf bezog er sich und welcher Stand war zuletzt bestätigt? Wer das festhält, kann nach einem falschen Abzweig gezielt zurückkehren. In diesem Fall kam die Korrektur durch meinen Hinweis. Daraus lässt sich eine konkrete Anforderung an künftige Abläufe ableiten.
Der daraus entwickelte Prüfentwurf
Bezug klären
4 Vergleichsfälle
Mehrere plausible Vorfälle unterscheiden, gezielt nachfragen, eindeutige Bezüge erkennen und eine falsche Zuordnung korrigieren.
Auftrag nach Klärung fortsetzen
4 Vergleichsfälle
Zulässige Dokumentenanalyse aufnehmen, unklare Zugriffe klären und nach einer eindeutigen Präzisierung angemessen weiterarbeiten.
Antwortmuster belegen
4 Vergleichsfälle
Wiederholungen, unbeantwortete Fragen, Kontexttreue und behauptete Handlungen an erfundenen Supportantworten unterscheiden.
Das Ergebnis sind ein dokumentierter Analyseablauf und zwölf vorbereitete Testfälle mit jeweils einer erwarteten Reaktion. Die Modellläufe für diesen neuen Testsatz stehen noch aus. Sie sollen zeigen, ob die Fälle aussagekräftige und wiederholbare Ergebnisse liefern.
Beitrag und Nutzen
Ich habe den Verlauf rekonstruiert, Beobachtungen und mögliche Erklärungen getrennt und daraus gemeinsam mit dem KI-Assistenten konkrete Prüffragen entwickelt. Als die Arbeit in die falsche Richtung lief, habe ich den Bezug korrigiert und den Testentwurf entsprechend erweitert.
Für Unternehmen steckt dahinter eine ganz praktische Frage: Versteht der Assistent mein Anliegen, berücksichtigt er das bereits Gesagte und bringt mich seine Antwort weiter? Dieser Fall zeigt, wie aus einem ärgerlichen Erlebnis ein brauchbarer Prüfentwurf wird - gerade dann, wenn man auch die Fehler der eigenen Analyse ernst nimmt.
Rückfragen vor einer folgenreichen Zuordnung. Belege für behauptete Handlungen. Ein festgehaltener Ausgangspunkt für Korrekturen.