KI-Qualitätssicherung im Team etablieren: Workshop für Prüfkriterien und Freigaben

Montag, 9:15 Uhr: Ein KI-Agent hat über Nacht Kundeninformationen zusammengefasst, Prioritäten vorgeschlagen und Entwürfe für Antworten vorbereitet. Im Team wirkt das Ergebnis auf den ersten Blick überzeugend. Doch bevor jemand prüft, ob Quellen, Zahlen und Tonalität stimmen, wird eine Antwort versendet. Später stellt sich heraus: Eine wichtige Einschränkung aus dem Vertrag fehlt. Nicht die KI allein hat versagt. Es fehlten vereinbarte Qualitätskriterien, ein klarer Kontrollpunkt und eine Person mit Freigabeverantwortung.

Viele Teams nutzen KI längst für Recherche, Texte, Analysen, Dokumentation oder automatisierte Abläufe. Gerade bei agentischen Workflows wird die Frage der Qualität dringlicher: Ein System erzeugt nicht nur einen Entwurf, sondern verarbeitet Informationen, trifft Zwischenschritte und stößt gegebenenfalls weitere Aktionen an. Ein Workshop zur KI-Qualitätssicherung hilft dir, aus diffusen Vorsichtsappellen einen praktikablen Prozess zu machen.

Infografik zu KI-Qualitätssicherung im Team etablieren: Workshop für Prüfkriterien und Freigaben (KI-generiert).

Warum allgemeine KI-Regeln nicht reichen

Regeln wie „Bitte Ergebnisse immer prüfen“ sind richtig, aber im Alltag zu ungenau. Was genau muss geprüft werden? Wann genügt ein schneller Plausibilitätscheck? Wann braucht es eine fachliche Kontrolle? Und wer darf ein Ergebnis freigeben, wenn es externe Folgen haben kann?

Ohne Antworten entstehen oft zwei problematische Muster:

• KI-Ergebnisse werden zu schnell übernommen, weil sie professionell formuliert sind.
• Mitarbeitende prüfen alles vollständig nach, weil sie Risiken vermeiden wollen. Der erhoffte Zeitgewinn verschwindet.

KI-Qualitätssicherung bedeutet deshalb nicht, jede Ausgabe gleich intensiv zu kontrollieren. Sie bedeutet, Risiko, Prüftiefe und Verantwortung bewusst miteinander zu verbinden. Die grundlegenden Nutzungsregeln sollte dein Team dabei schon geklärt haben. Dazu passt unser Beitrag KI-Nutzungsregeln im Team erarbeiten: Workshop für klare Spielregeln.

Das Ziel des Workshops präzise formulieren

Ein guter Workshop endet nicht mit einer langen Liste von Risiken. Er liefert Vereinbarungen, die im Arbeitsalltag verwendbar sind. Formuliere das Ziel deshalb konkret, zum Beispiel so:

„Wir legen für unsere wichtigsten KI-Anwendungsfälle fest, welche Qualitätskriterien gelten, welche menschlichen Prüfungen nötig sind und wer Ergebnisse freigibt.“

Am Ende sollten diese Ergebnisse vorliegen:

• eine Übersicht der wichtigsten KI-Anwendungsfälle
• eine einfache Risikoeinschätzung je Anwendungsfall
• konkrete Qualitätskriterien für Ergebnisse und Prozesse
• festgelegte Kontrollpunkte vor kritischen Schritten
• klare Rollen für Erstellung, Prüfung und Freigabe
• ein Testzeitraum mit einem Termin zur Auswertung

Wichtig ist die Abgrenzung: Ein solcher Workshop ersetzt keine fachliche, rechtliche oder technische Prüfung in Spezialfällen. Er schafft jedoch eine belastbare Arbeitsgrundlage, mit der dein Team Unsicherheiten früh erkennt und Entscheidungen nachvollziehbar trifft.

Die richtigen Personen an den Tisch holen

Lade nicht nur die Menschen ein, die KI-Tools täglich bedienen. Für wirksame Regeln brauchst du unterschiedliche Perspektiven:

• Personen, die Ergebnisse fachlich beurteilen können
• Mitarbeitende, die die KI-Anwendung operativ nutzen
• Verantwortliche für Prozesse, Qualität oder Kundenkommunikation
• bei automatisierten Abläufen Personen mit technischem Verständnis
• die Führungskraft oder eine Person, die Entscheidungen verbindlich machen kann

Bei einem Workshop zu agentischen Workflows ist besonders wichtig, dass jemand erklären kann, welche Schritte der Agent tatsächlich ausführt: Welche Informationen liest er? Welche Quellen nutzt er? Welche Zwischenergebnisse speichert er? Welche Handlung kann er selbst auslösen? Ohne diese Transparenz bleibt Qualitätssicherung abstrakt.

Schritt 1: Anwendungsfälle sichtbar machen

Beginne nicht mit Grundsatzdebatten über „die KI“. Arbeite mit konkreten Situationen aus dem Alltag. Bitte die Teilnehmenden, jeweils einen Anwendungsfall auf Karten oder in einem digitalen Board zu notieren.

Hilfreiche Leitfragen sind:

• Welches Ergebnis erstellt oder verarbeitet die KI?
• Wer nutzt dieses Ergebnis?
• Welche Informationen gehen ein?
• Was passiert, wenn das Ergebnis falsch, unvollständig oder ungeeignet ist?
• Kann daraus eine externe Kommunikation, Entscheidung oder Handlung entstehen?
• Welche Schritte führt ein Agent selbstständig aus?

Bündele ähnliche Fälle anschließend. Typische Kategorien sind Recherche und Zusammenfassung, Textentwürfe, interne Wissensarbeit, Analyse und Empfehlungen, Kundenkommunikation sowie automatisierte Prozessschritte.

Gerade bei der Aufgabenverteilung zwischen Mensch und KI lohnt sich eine präzise Betrachtung. Wie du diese Verteilung systematisch klärst, zeigen wir im Beitrag Mensch-KI-Aufgabenverteilung im Team klären: Workshop für sichere Agenten-Workflows.

Schritt 2: Risiken einfach und nachvollziehbar bewerten

Du brauchst keine komplizierte Bewertungsmatrix. Für die gemeinsame Priorisierung reichen zwei Fragen:

• Wie groß wäre der Schaden, wenn dieses Ergebnis fehlerhaft ist?
• Wie wahrscheinlich ist ein relevanter Fehler oder eine problematische Verzerrung?

Bewerte beides etwa als niedrig, mittel oder hoch. Danach ordnet ihr die Anwendungsfälle einer passenden Prüfstufe zu.

Prüfstufe	Geeignet für	Erwartete Kontrolle
Niedrig	Ideen, interne Rohentwürfe, erste Strukturierungen	Plausibilitätscheck durch die nutzende Person
Mittel	Zusammenfassungen, Analysen, vorbereitete Kommunikation	Prüfung von Inhalt, Quellen und Vollständigkeit
Hoch	externe Aussagen, sensible Entscheidungen, automatisierte Handlungen	fachliche Prüfung und ausdrückliche Freigabe vor Nutzung oder Ausführung

Die Tabelle ist kein starres Regelwerk. Ein interner Text kann hohe Risiken haben, wenn er eine weitreichende Entscheidung vorbereitet. Umgekehrt kann ein externer Entwurf niedrigere Risiken bergen, wenn er nur eine standardisierte, geprüfte Information enthält. Entscheidend ist, dass ihr eure Begründung dokumentiert.

Schritt 3: Prüfkriterien gemeinsam definieren

Die Prüfkriterien müssen zum jeweiligen Anwendungsfall passen. „Ist das Ergebnis gut?“ führt zu beliebigen Diskussionen. Besser sind Kriterien, die man tatsächlich prüfen kann.

Für viele KI-Ergebnisse sind diese sechs Fragen hilfreich:

• Ist der Inhalt fachlich richtig?
• Sind Aussagen vollständig und für den Zweck ausreichend?
• Sind Quellen, Daten und Annahmen nachvollziehbar?
• Enthält das Ergebnis erfundene, veraltete oder nicht belegte Angaben?
• Passt Sprache, Tonalität und Detailtiefe zur Zielgruppe?
• Sind vertrauliche Informationen korrekt behandelt?

Bei Agenten kommen Prozesskriterien hinzu:

• Hat der Agent nur zugelassene Datenquellen verwendet?
• Hat er seine vorgesehenen Grenzen eingehalten?
• Ist nachvollziehbar, welche Zwischenschritte erfolgt sind?
• Wurde eine Handlung nur nach der vorgesehenen Freigabe ausgelöst?
• Kann das Team einen Fehler erkennen, stoppen und korrigieren?

Formuliere daraus keine Checkliste mit 30 Punkten. Für jede Prüfstufe genügen wenige Muss-Kriterien. Eine Prüfliste wird nur genutzt, wenn sie in die Arbeit passt und in wenigen Minuten anwendbar ist.

Schritt 4: Menschliche Kontrollpunkte festlegen

Ein Kontrollpunkt ist ein definierter Moment, an dem ein Mensch bewusst prüft, entscheidet oder freigibt. Bei einfachen Entwürfen kann dieser Punkt am Ende liegen. Bei risikoreicheren oder agentischen Abläufen braucht es oft mehrere Punkte.

Ein möglicher Ablauf sieht so aus:

• Vor dem Start: Prüfen, ob Aufgabe, Datenquelle und Ziel zulässig und passend sind.
• Nach dem Entwurf: Inhalt, Quellen und Vollständigkeit bewerten.
• Vor der Außenwirkung: Freigabe für Versand, Veröffentlichung, Entscheidung oder Ausführung einholen.
• Nach der Ausführung: Ergebnis stichprobenartig kontrollieren und Auffälligkeiten festhalten.

Die zentrale Frage lautet: An welcher Stelle wäre ein Fehler noch mit vertretbarem Aufwand korrigierbar? Genau dort sollte ein Kontrollpunkt liegen. Warte nicht bis zum Ende, wenn ein Agent vorher bereits Daten weitergegeben, Tickets verändert oder Folgeaufgaben ausgelöst hat.

Schritt 5: Verantwortung klar statt kollektiv regeln

„Das Team prüft“ klingt kooperativ, lässt aber im Zweifel offen, wer tatsächlich handelt. Klärt für jeden relevanten Anwendungsfall mindestens vier Rollen:

Rolle	Aufgabe
Anwendende Person	erstellt den Auftrag, prüft die Basisqualität und dokumentiert Auffälligkeiten
Fachprüfende Person	bewertet inhaltliche Richtigkeit und fachliche Angemessenheit
Freigabeverantwortliche Person	entscheidet bei festgelegten Risikofällen über Nutzung, Versand oder Ausführung
Prozessverantwortliche Person	pflegt Kriterien, überprüft die Wirksamkeit und organisiert Anpassungen

Eine Person kann mehrere Rollen übernehmen, besonders in kleinen Teams. Trotzdem sollte die Freigabe nicht unsichtbar zwischen Zuständigkeiten verschwinden. Wenn Rollen und Verantwortlichkeiten ohnehin ungeklärt sind, hilft euch unser Beitrag Rollen und Verantwortlichkeiten im Team klären: Workshop mit RACI-Matrix.

Ein praxistauglicher Ablauf für einen halben Tag

Für einen ersten Workshop reichen oft dreieinhalb bis vier Stunden, wenn du dich auf drei bis fünf zentrale Anwendungsfälle beschränkst.

• Einstieg: Anlass, Ziel und konkrete Beispiele aus dem Alltag klären
• Bestandsaufnahme: KI-Anwendungsfälle sammeln und bündeln
• Risikoeinschätzung: Prüfstufen gemeinsam festlegen
• Qualitätskriterien: Muss-Kriterien und Prüflisten entwickeln
• Kontrollpunkte: menschliche Prüfungen entlang des Ablaufs bestimmen
• Verantwortlichkeiten: Prüfung und Freigabe verbindlich zuordnen
• Abschluss: Testzeitraum, Dokumentation und Auswertung vereinbaren

Halte Diskussionen immer an realen Ergebnissen fest. Lass das Team beispielsweise einen typischen KI-Entwurf, eine Zusammenfassung oder einen Agenten-Workflow prüfen. So zeigt sich schnell, ob Kriterien verständlich sind oder nur auf dem Papier gut klingen.

Nach dem Workshop: Qualitätssicherung im Alltag verankern

Die besten Vereinbarungen verlieren Wirkung, wenn sie in einem Protokoll verschwinden. Testet euren neuen Ablauf deshalb zunächst mit ausgewählten Anwendungsfällen. Sammelt dabei Beispiele für gute Prüfungen, übersehene Fehler und unnötige Schleifen.

Plant nach einigen Wochen eine kurze Auswertung:

• Welche Kriterien wurden tatsächlich genutzt?
• Wo war die Prüftiefe zu gering?
• Wo war sie unverhältnismäßig hoch?
• Welche Fehler oder Unsicherheiten traten wiederholt auf?
• Müssen Rollen, Vorlagen oder Kontrollpunkte angepasst werden?

Wie du Ergebnisse aus Workshops konsequent in die Umsetzung bringst, liest du in unserem Beitrag Workshop nachbereiten: Ergebnisse sichern und Maßnahmen umsetzen.

KI-Qualitätssicherung ist kein einmaliges Projekt. Tools, Einsatzfelder und Workflows verändern sich. Wenn dein Team Kriterien, Kontrollpunkte und Verantwortlichkeiten regelmäßig überprüft, entsteht mit der Zeit etwas Wertvolles: Nicht bloß Vorsicht gegenüber KI, sondern eine gemeinsame Fähigkeit, ihre Ergebnisse verlässlich und verantwortungsvoll zu nutzen.

Passende Seminare und Termine für Moderation, Teamarbeit und Führung findest du bei uns auf cmt.de.