Endlich belastbar: Der Weg vom effektiven Prompt zum auditfähigen Werkzeug
Ein guter Prompt kann überzeugende Ergebnisse liefern. Doch reicht das für den Einsatz im Audit? Nein. Denn ein plausibles Ergebnis ist noch kein belastbarer Nachweis. Soll ein Prompt in einem fachlich relevanten Anwendungsfall eingesetzt werden, braucht es mehr: eine systematische Entwicklung, definierte Qualitätskriterien, geeignete Testfälle und eine nachvollziehbare Validierung.
Hier setzt der DGQ-Fachkreis „Audit und Assessment“ mit einer aktuellen Erarbeitung an. Derzeit entwickelt eine Arbeitsgruppe einen Prompt-Katalog für interne Auditor:innen als Erweiterung zum in Kürze veröffentlichten DGQ-Impulspapier „KI in internen Audits: Chancen, Risiken und prozessorientierter Einsatz“.
Für die Erarbeitung des Katalogs hat sich der Fachkreis an einem im Softwaretesting etablierten Vorgehen zur systematischen Entwicklung und Prüfung von Prompts ausgerichtet. Als fachliche Orientierung dient dabei der Lehrplan „Testing with Generative AI (CT-GenAI)“ des International Software Testing Qualifications Board (ISTQB®), einer internationalen Organisation für die Qualifizierung und Zertifizierung von Softwaretestern und Fachleuten für Qualitätssicherung. Kapitel 2.1 „Effektive Prompt-Entwicklung“ beschreibt Vorgehensweisen und Techniken für die Entwicklung und den Einsatz wirksamer Prompts. Das German Testing Board (GTB), das deutsche Mitgliedsboard des ISTQB®, setzt dessen Qualifikationsschema in Deutschland um.
Was hat Softwaretesting mit Audits zu tun?
Mehr, als es zunächst scheint. Softwaretester und Auditoren arbeiten beide systematisch: Sie prüfen anhand definierter Anforderungen, Kriterien und erwarteter Ergebnisse. Der Prüfgegenstand ist unterschiedlich – hier Software, dort Prozesse und deren Wirksamkeit. Das grundlegende Prinzip ist jedoch vergleichbar.
Vor diesem Hintergrund übernimmt der Fachkreis die strukturierte Prompt-Entwicklung für die Auditpraxis. Ein Prompt lässt sich dabei anhand von sechs Bestandteilen beschreiben:
- Rolle: Welche Perspektive oder Rolle soll die KI einnehmen?
- Kontext: Welche Hintergrundinformationen benötigt die KI?
- Instruktion: Welche konkrete Aufgabe soll sie bearbeiten?
- Eingabedaten: Welche Dokumente, Informationen, Prüfkriterien oder sonstigen Inhalte soll die KI für ihre Antwort verarbeiten?
- Einschränkungen: Welche Regeln und Grenzen sind einzuhalten? Beispielsweise: nur bereitgestellte Informationen verwenden, fehlende Informationen kenntlich machen oder keine unbelegten Annahmen treffen.
- Ausgabeformat: Wie soll das Ergebnis strukturiert sein – etwa als Tabelle, Liste oder anhand definierter Felder?
Diese Struktur schafft Klarheit darüber, was die KI bearbeiten soll, auf welcher Grundlage und unter welchen Bedingungen.
Ein guter Prompt ist noch kein belastbarer Prompt
Die strukturierte Entwicklung ist jedoch nur der Anfang. Auch ein derart strukturierter Prompt kann bei einer konkreten Aufgabe ein fachlich plausibles Ergebnis erzeugen und trotzdem unter anderen Bedingungen ungeeignet sein.
Folgende Fälle sind bei der Prompt-Gestaltung zu überprüfen:
- Wie geht die KI mit unvollständigen Eingaben um?
- Wie reagiert sie auf widersprüchliche Informationen?
- Bleibt das Ergebnis bei einer veränderten Formulierung vergleichbar?
- Und wie verhält sich der Prompt bei wiederholter Ausführung?
Mit anderen Worten: Ein Prompt, der in einem Fall funktioniert, ist noch lange kein für die Zukunft validierter Prompt.
| Wie verifiziere und validiere ich einen Prompt? Unterscheidung zwischen Verifizierung und Validierung eines Prompts Verifizierung: Prüfung, ob der Prompt die zuvor festgelegten Anforderungen und Vorgaben erfüllt. Validierung: Prüfung, ob der Prompt für den vorgesehenen Anwendungszweck geeignet ist und unter den vorgesehenen bzw. realistischen Einsatzbedingungen die erwarteten Ergebnisse liefert. |
Für einen belastbaren und wiederholbaren Einsatz eines Prompts sollten die Verantwortlichen – das können je nach organisatorischem Kontext beispielsweise Fachverantwortliche, qualifizierte Anwender oder Personen der Qualitätssicherung sein – dessen Eignung für den vorgesehenen Anwendungszweck systematisch validieren. Hierzu legen sie vorab geeignete Qualitätskriterien und Testfälle fest. Im Rahmen der Validierung prüfen sie beispielsweise die fachliche Richtigkeit, Vollständigkeit und Relevanz der Eingaben und erwarteten Ausgaben sowie die Einhaltung der für den jeweiligen Anwendungsfall relevanten rechtlichen, regulatorischen, normativen und unternehmensinternen Vorgaben. Darüber hinaus verifizieren sie anhand geeigneter Testfälle, ob der Prompt die festgelegten Anforderungen unter den vorgesehenen Einsatzbedingungen erfüllt und wie das Large Language Model (LLM) mit fehlenden, widersprüchlichen oder uneindeutigen Informationen umgeht.
Die Prüfung sollte dabei nicht auf typische Anwendungsfälle beschränkt sein. Vielmehr sollte sie auch Grenzfälle, unvollständige oder widersprüchliche Eingaben sowie unterschiedliche Formulierungen mit gleicher inhaltlicher Bedeutung berücksichtigen. So lässt sich beurteilen, ob der Prompt auch unter unterschiedlichen Eingabebedingungen für den vorgesehenen Anwendungszweck geeignet ist und hinreichend verlässliche und nachvollziehbare Ergebnisse liefert. Die Prüfung sollte durch die verantwortlichen Personen anhand der zuvor festgelegten Qualitätskriterien und Testfälle durchgeführt und dokumentiert werden.
Darüber hinaus sind die für die Ergebnisse relevanten Einsatzbedingungen zu dokumentieren. Dazu gehören insbesondere das eingesetzte LLM – beispielsweise ChatGPT, Claude oder Gemini – die konkrete Modellversion bzw. Modellvariante, relevante Einstellungen sowie der verwendete Eingabekontext. Dadurch werden die Bedingungen, unter denen die Ergebnisse erzielt wurden, nachvollziehbar und reproduzierbar festgehalten. Die dokumentierten Testfälle, Qualitätskriterien und Ergebnisse bilden zusammen die Grundlage für die Beurteilung der Eignung des Prompts für den definierten Anwendungsbereich.
Belastbarkeit braucht definierte Einsatzbedingungen
Die Belastbarkeit eines Prompts ist immer an definierte Bedingungen und einen definierten Anwendungsbereich gebunden. Ändert sich beispielsweise das eingesetzte LLM oder eine andere wesentliche Rahmenbedingung, kann eine erneute Prüfung durch den Nutzer erforderlich werden. Die Validierung eines Prompts ist daher keine einmalige Garantie für alle zukünftigen Anwendungen. Sie schafft vielmehr Transparenz darüber, wofür ein Prompt geeignet ist, unter welchen Bedingungen er eingesetzt werden, kann und welche Grenzen bestehen.
Entscheidend ist: Bei alldem bleibt die fachliche Verantwortung beim Menschen. KI kann Informationen strukturieren, vergleichen, klassifizieren oder Vorschläge erzeugen. Ob ein Ergebnis aber fachlich richtig, angemessen und für ein Audit verwendbar ist, muss die verantwortliche Auditorin beziehungsweise der verantwortliche Auditor beurteilen.
Vom Prompt zum belastbaren Werkzeug
Genau hier setzt der geplante Prompt-Katalog des Fachkreises Audit und Assessment an. Im Mittelpunkt steht nicht eine möglichst große Zahl von Prompts, sondern deren nachvollziehbare Entwicklung und Qualitätssicherung. Aus „Dieser Prompt hat funktioniert“ wird damit ein strukturierter Prozess:
| Einzelner Anwendungsfall → strukturierter Prompt → definierte Qualitätskriterien → Testfälle → Validierung → dokumentierte Einsatzbedingungen → Freigabe |
Die zentrale Erkenntnis: Ein effektiver Prompt ist ein guter Anfang. Ein belastbarer und auditfähiger Prompt entsteht jedoch erst durch systematische Entwicklung, Bewertung und Validierung. Genau darin liegt der Unterschied zwischen einem hilfreichen KI-Werkzeug und einem Werkzeug, dessen Einsatz im fachlich relevanten Auditkontext nachvollziehbar, begründbar und qualitätsgesichert ist.
Über die Autorin:
Dieser Beitrag wurde verfasst von Marita Großer, Mitglied im Leitungsteam des DGQ-Fachkreises „Audit und Assessment“. Der DGQ-Fachkreis „Audit und Assessment“ setzt sich dafür ein, dass Audits als wirksames Mittel zur Unterstützung der Unternehmensführung eingesetzt und wahrgenommen werden, und nicht nur als notwendige Prüfung zum Erwerb des Zertifikats. Es ist das Ziel der Fachkreisarbeit, dass Audits als akzeptierte und wirksame Treiber in Organisationen eingesetzt werden, um Risiken und Chancen zu erkennen und Mehrwert zu erzeugen. Wenn Sie Interesse haben, sich aktiv im Fachkreis einzubringen und sich mit Experten zu diesem Thema auszutauschen, dann sprechen Sie das Leitungsteam unter fk-a@dgqaktiv.de an.
