5 Min. Lesezeit
Ihre KI-Funktion braucht ein Evaluierungsset, keine Demo
Eine überzeugende Demo beweist, dass etwas einmal funktionieren kann. Ein Evaluierungsset sagt Ihnen, wie oft.
Sprachmodelle sind sehr gut darin, überzeugende Demos zu liefern. Geben Sie ihnen eine gut ausgewählte Rechnung, und sie extrahieren jedes Feld korrekt. Das beweist, dass der Ansatz funktionieren kann. Über die hundert Rechnungen mit handschriftlichen Notizen, schiefen Scans und ungewöhnlichen Layouts, die nächsten Monat kommen, sagt es nichts.
Beginnen Sie mit fünfzig echten Fällen
Bevor Sie einen Prompt schreiben, sammeln Sie echte Beispiele aus dem Ablauf — wo nötig anonymisiert — und notieren Sie zu jedem die richtige Antwort. Fünfzig Fälle genügen für den Anfang; nehmen Sie die unangenehmen bewusst mit auf. Dieses Set wird zum Maßstab für jede folgende Entscheidung.
Erst messen, dann entscheiden
Mit einem Evaluierungsset hören Fragen wie „welches Modell?“ oder „ist dieser Prompt besser?“ auf, Geschmackssache zu sein. Sie lassen das Set laufen, vergleichen die Ergebnisse und sehen sich die Fehler an. Oft ist die wertvollste Erkenntnis, welche Eingaben das System gar nicht automatisch verarbeiten sollte.
Planen Sie für die unsicheren Fälle
Keine Extraktion und keine Klassifizierung wird perfekt sein. Ein produktives System braucht einen definierten Weg für unsichere Ergebnisse: eine Prüfwarteschlange, eine Konfidenzschwelle, eine Person, die das Originaldokument neben den extrahierten Daten sieht. Diesen Weg zu gestalten ist Engineering-Arbeit — und genau das unterscheidet einen Piloten von einem System.
Die Demo bleibt nützlich. Sie sollte nur nicht der letzte Test sein.