Ergebnisse prüfen: Leistungskontrolle automatisierter Abläufe

Das Wichtigste auf einen Blick

• Vier Kennzahlen tragen die Kontrolle: Durchlaufzeit, Fehlerquote, Wiederholungsquote und Anteil manueller Nacharbeit.
• Log-Dateien liefern Zeitstempel und Korrelations-IDs, Dashboards verdichten sie zu Verläufen.
• Schwellenwerte gehören schriftlich festgelegt, mit Auslöser, Zuständigkeit und Frist.
• Der IT-Grundschutz des BSI beschreibt Anforderungen an Protokollierung und Freigaben.
• Eine Kontrolle ohne Stichprobe im Fachbereich bleibt unvollständig.

Diese Kennzahlen tragen die Leistungskontrolle

Ein automatisierter Ablauf kann technisch fehlerfrei laufen und trotzdem falsche Ergebnisse liefern. Deshalb trennt die Kontrolle technische und fachliche Prüfpunkte. Technisch zählen Ausführungsdauer, Abbruchquote und Wiederholungsversuche je Vorgang. Fachlich zählen inhaltliche Korrektheit, Vollständigkeit der Felder und die Zahl der Nacharbeit.

Vier Kennzahlen haben sich bewährt:

• Durchlaufzeit je Vorgang, gemessen vom Eingang bis zur Freigabe.
• Fehlerquote, also abgebrochene oder zurückgewiesene Vorgänge im Verhältnis zu allen Vorgängen.
• Wiederholungsquote, also Anteil der Vorgänge mit mehr als einem Anlauf.
• Nacharbeitsquote, also Anteil der Vorgänge, die ein Mitarbeiter manuell korrigiert.

Wichtig ist die Bezugsgröße. Eine Fehlerquote von zwei Prozent auf alle Vorgänge kann harmlos wirken, auf einen einzigen kritischen Schritt bezogen aber erheblich sein. Achten Sie auf die Verteilung, nicht nur auf den Mittelwert. Ein Durchschnitt von 6,5 Stunden verdeckt Vorgänge, die zwei Tage liegen bleiben.

Das Bundesministerium für Wirtschaft und Klimaschutz beschreibt in seinem Überblick zur Förderung und Rahmenbedingungen für Prozessautomatisierung Fördermöglichkeiten und die regulatorische Einordnung. Konkrete Prüfvorgaben für die Leistungskontrolle enthält diese Seite nicht.

Log-Dateien und Dashboards: was sie zeigen und was nicht

Log-Dateien halten Zeitstempel, Vorgangsnummer, Schritt, Ergebnis und Fehlercode fest. Für die Fehlersuche ist eine Korrelations-ID entscheidend, weil sie einen Vorgang über mehrere Systeme hinweg verfolgt. Ohne sie bleibt jede Auswertung Stückwerk.

Dashboards verdichten diese Rohdaten zu Verläufen. Sinnvoll sind drei Sichten: Tagesverlauf, Wochenvergleich und Liste der offenen Vorgänge. Ein Dashboard allein belegt keine korrekte Fachlogik. Es zeigt Abweichungen, nicht deren Ursache.

Prüfen Sie außerdem die Aufbewahrungsdauer. Viele Systeme rotieren Protokolle nach 30 oder 90 Tagen. Ältere Vorfälle lassen sich danach nicht mehr nachvollziehen.

Schwellenwerte festlegen: ein Rechenbeispiel

Beispielrechnung, keine Zusage eines Anbieters. Ein Freigabeprozess bearbeitet 1.200 Vorgänge im Monat. Die durchschnittliche Durchlaufzeit beträgt 6,5 Stunden, die Fehlerquote 1,8 Prozent.

Das Team setzt drei Schwellen:

• Durchlaufzeit über 9 Stunden am Tagesschnitt: Warnung an den Betriebsleiter.
• Fehlerquote über 3,0 Prozent in sieben Tagen: Fachprüfung durch den Qualitätsmanager.
• Mehr als 40 offene Vorgänge älter als zwei Werktage: Rückstau, Ursachenanalyse innerhalb eines Werktags.

Bei 1.200 Vorgängen entsprechen 3,0 Prozent genau 36 fehlerhafte Vorgänge. Solche Werte sind vereinbarungsfähig, aber nur, wenn Erhebung und Zeitraum dokumentiert sind. Rechnen Sie Schwellen mit Ihren eigenen Messwerten nach, nicht mit Zahlen aus Produktbroschüren.

Prüfschritte für den Monatsabschluss

1. Log-Dateien des Zeitraums exportieren und auf Lücken im Zeitstempel prüfen.
2. Kennzahlen berechnen und gegen den Vormonat stellen.
3. Abweichungen über dem Schwellenwert fachlich nachvollziehen.
4. Ergebnis mit Datum, Prüfer und Maßnahme schriftlich festhalten.
5. Schwellenwerte anpassen, wenn sie dauerhaft reißen.

Der letzte Schritt ist unbequem, aber notwendig. Ein Schwellenwert, der nie erreicht wird, misst nichts. Wer prüft, sollte nicht derjenige sein, der den Ablauf betreut. Diese Trennung verhindert Gefälligkeitsprüfungen.

Wo die Kontrolle unsicher wird

Zwei Grenzen sind zu nennen. Erstens sagen Log-Dateien nichts über die fachliche Richtigkeit eines Ergebnisses, wenn der Ablauf formal korrekt gearbeitet hat. Zweitens sind Kennzahlen nur vergleichbar, wenn Definitionen und Messpunkte gleich bleiben. Wer die Messung ändert, verliert die Zeitreihe.

Für Protokollierung, Schnittstellen und Freigaben gibt es methodische Vorgaben. Der IT-Grundschutz des BSI nennt Anforderungen an Nachvollziehbarkeit, Protokollierung und Berechtigungen.

DIN-Normen entstehen im Konsens und sind nicht automatisch verpflichtend. Was eine Norm auszeichnet und wie sie zustande kommt, erläutert din.de im Basiswissen zu Normen und Standards.

Häufige Fragen

Wie oft sollte geprüft werden?

Täglich für Warnschwellen, monatlich für Kennzahlenreihen. Kritische Freigaben verdienen eine Einzelprüfung.

Reicht ein Dashboard als Nachweis?

Nein. Ein Dashboard zeigt Werte. Für Revision und Audits braucht es Rohdaten und dokumentierte Prüfschritte.

Welche Fehlerquote ist normal?

Pauschal nicht zu beantworten. Sinnvoll ist ein eigener Referenzwert über mehrere Monate.

Was gehört in ein Prüfprotokoll?

Zeitraum, Kennzahl, Schwellenwert, Abweichung, Ursache, Maßnahme, Prüfer und Datum.

Sind Normen verpflichtend?

DIN-Normen sind grundsätzlich nicht staatlich verpflichtend. Verbindlich werden sie über Verträge, Gesetze oder Verordnungen.