Nach den ersten KI-Piloten folgt fast immer dieselbe Managementfrage: Bringt das Werkzeug wirklich etwas? Die spontane Antwort lautet häufig „Wir sparen Zeit“. Ohne Vergleich, Qualitätsmaß und klaren Zeitraum bleibt das aber eine Vermutung. Die ebenso spontane Gegenreaktion – Tastaturanschläge, Bildschirmaktivität oder Nutzung pro Person zu messen – erzeugt keine gute Kennzahl, sondern Misstrauen und falsche Anreize.
Österreichische Unternehmen können KI-Produktivität messen, ohne Beschäftigte zu überwachen. Der Schlüssel ist, den Arbeitsprozess und sein Ergebnis zu betrachten: Durchlaufzeit, Fehler, Nacharbeit, Servicequalität, Belastung und tatsächlich nutzbarer Nutzen. Dieser Leitfaden beschreibt ein kleines, belastbares Messdesign für Teams und zeigt, welche Grenzen von Anfang an feststehen sollten.
Produktivität ist ein Ergebnis, kein Aktivitätssignal
Eine Mausbewegung sagt nicht, ob ein Angebot korrekt ist. Viele Prompts sagen nicht, ob eine Recherche bessere Entscheidungen ermöglicht. Eine kurze Bearbeitungszeit kann auf einen guten Ablauf hinweisen – oder auf ausgelassene Kontrollen. Deshalb beginnt die Messung mit dem Zweck des Prozesses, nicht mit den Daten, die ein Tool bequem anbietet.
Formulieren Sie ein überprüfbares Ziel: „Standardanfragen sollen innerhalb eines Arbeitstags vollständig beantwortet werden, ohne dass die Korrekturquote steigt.“ Oder: „Die Vorbereitung des Monatsberichts soll weniger manuelle Übertragung benötigen, während alle Zahlen auf Quellen zurückführbar bleiben.“ Ein solches Ziel verbindet Tempo und Qualität.
Produktivität hat mindestens vier Dimensionen: Menge, Zeit, Qualität und Belastung. Ein KI-Einsatz ist nur dann dauerhaft wertvoll, wenn sich das Gesamtbild verbessert. Wer zehn Minuten beim Entwurf spart, aber zwanzig Minuten für neue Fehlerkontrollen braucht, hat keinen Gewinn erzielt.
Zuerst den Prozess, dann die Kennzahl wählen
Zeichnen Sie den heutigen Ablauf in fünf bis acht Schritten auf. Markieren Sie Eingang, Bearbeitung, fachliche Prüfung, Freigabe und Übergabe. Notieren Sie Wartezeiten und typische Schleifen. Erst danach wird entschieden, an welchem Schritt KI helfen soll. Das schützt vor der verbreiteten Verwechslung von Toolnutzung und Prozessverbesserung.
Für jeden Messpunkt braucht es eine klare Definition. „Bearbeitungszeit“ kann reine Arbeitszeit, Kalenderdauer oder Zeit zwischen zwei Systemereignissen bedeuten. „Fehler“ kann eine fachliche Falschaussage, ein Formatproblem oder eine vom Kunden gewünschte Änderung sein. Ohne Definition produzieren zwei Teams Zahlen, die gleich heißen und etwas anderes meinen.
Ein begrenzter KI-Pilot mit festem Anwendungsfall bietet die richtige Umgebung: kleiner Umfang, dokumentierter Ausgangszustand, benannte Prüfschritte und eine echte Stop-Option.
Eine belastbare Ausgangslinie ohne Personentracking
Vor dem KI-Test wird eine Baseline erhoben. Dafür reichen häufig zwei bis vier normale Arbeitswochen und bereits vorhandene Prozessdaten. Gemessen wird auf Fall- oder Teamebene: Wie viele vollständige Vorgänge wurden abgeschlossen? Wie lange dauerte der Prozess vom Eingang bis zur Freigabe? Wie oft ging ein Vorgang wegen eines sachlichen Fehlers zurück?
Die Ausgangslinie soll weder Namen noch individuelle Ranglisten enthalten. Wenn das Team klein ist, können selbst scheinbar anonyme Werte einzelne Personen erkennbar machen. Dann werden Zeiträume zusammengefasst, Fallzahlen vergrößert oder qualitative Beobachtungen genutzt. Ein Mindestwert pro Auswertung verhindert, dass eine Teamkennzahl faktisch zur Einzelkontrolle wird.
Besondere Wochen werden gekennzeichnet: Systemausfall, Urlaubszeit, außergewöhnlicher Großauftrag oder Einarbeitung. Sie müssen nicht automatisch entfernt werden, dürfen aber den Vergleich nicht unbemerkt verzerren.
Das Messquadrat aus Zeit, Qualität, Wirkung und Arbeit
Ein kompaktes Kennzahlenset verhindert, dass nur Geschwindigkeit zählt:
- Zeit: Median der Durchlaufzeit je Vorgang und Anteil fristgerechter Abschlüsse;
- Qualität: fachliche Korrekturquote, vollständige Quellen oder bestandene Prüfkriterien;
- Wirkung: gelöste Anliegen, angenommene Angebote, vermiedene Ausfälle oder Kundenzufriedenheit;
- Arbeit: Nacharbeitsaufwand, Unterbrechungen, subjektive Belastung und wahrgenommene Kontrolle.
Der Median ist bei Zeitwerten oft aussagekräftiger als der Durchschnitt, weil einzelne Extremfälle weniger dominieren. Zusätzlich sollte die Streuung sichtbar bleiben: Ein schneller Mittelwert nützt wenig, wenn schwierige Fälle regelmäßig eskalieren.
Teamkennzahlen statt digitaler Anwesenheitskontrolle
Verzichten Sie auf Kennzahlen wie aktive Bildschirmzeit, Zahl der Eingaben, Promptmenge, Online-Status oder Zeichen pro Minute. Sie messen Bedienverhalten, nicht Ergebnisqualität. Beschäftigte lernen schnell, solche Werte zu optimieren: Chats bleiben geöffnet, Arbeit wird künstlich in viele Eingaben geteilt oder konzentrierte Offline-Phasen werden vermieden.
Die Arbeiterkammer informiert zur Überwachung am Arbeitsplatz: Kontrollmaßnahmen, die die Menschenwürde berühren, können in Betrieben mit Betriebsrat eine Betriebsvereinbarung erfordern; bestimmte heimliche oder besonders eingriffsintensive Formen sind unzulässig. Technik sollte daher nicht zuerst eingeführt und erst später arbeitsrechtlich eingeordnet werden.
Auch die WKO erläutert zur Videoüberwachung im Betrieb, dass sie zum Zweck der Mitarbeiterkontrolle an Arbeitsstätten ausdrücklich verboten ist. Das Beispiel zeigt ein allgemeines Gestaltungsprinzip: Ein legitimer Sicherheits- oder Prozesszweck darf nicht stillschweigend in Leistungskontrolle umgewidmet werden.
Früh beteiligen und den Messzweck schriftlich begrenzen
Vor Beginn werden Beschäftigte und – wo vorhanden – der Betriebsrat einbezogen. Das Team erhält eine verständliche Messkarte mit sieben Angaben: Zweck, Kennzahlen, Datenquellen, Aggregation, Zugriff, Löschfrist und ausgeschlossene Verwendung. Ebenso wichtig ist ein klarer Satz dazu, welche Entscheidungen nicht aus den Daten abgeleitet werden dürfen.
Ein Beispiel: „Die Daten dienen ausschließlich der Bewertung des dreimonatigen Angebots-Piloten. Es entstehen keine individuellen Leistungsprofile; die Werte werden nicht für Entgelt, Beförderung, Disziplinarmaßnahmen oder Personalabbau verwendet.“ Eine solche Zweckgrenze muss technisch und organisatorisch eingehalten werden.
Der AI-Know-Leitfaden der Arbeiterkammer Wien bietet Betriebsräten Orientierung zu KI-basierten Entscheidungen, Informations- und Kontrollrechten. Für Unternehmen ist diese Perspektive wertvoll, weil ein gemeinsam verstandener Versuch verlässlichere Rückmeldungen liefert als ein heimlich beobachteter.
Messung auf Fallebene schützt vor falschen Zuschreibungen
Wenn möglich, wird ein Vorgang als Einheit betrachtet: Anfrage, Auftrag, Bericht oder Wartungsfall. Er erhält nur die für die Auswertung nötigen Merkmale, etwa Komplexitätsklasse, Start, Abschluss, Prüfergebnis und Nutzung des freigegebenen KI-Schritts. Personenbezug wird vermieden oder so früh wie möglich entfernt.
Eine faire Vergleichsgruppe ist ähnlich komplex. Einfache Standardfälle mit KI gegen komplizierte Sonderfälle ohne KI zu vergleichen würde den Nutzen überschätzen. Nutzen Sie daher dieselben Falltypen in aufeinanderfolgenden Perioden oder teilen Sie geeignete Fälle nach einer vorher festgelegten Regel zu. In kleinen Betrieben genügt oft ein Vorher-Nachher-Vergleich mit dokumentierter Fallmischung.
Einzelne Erfolgsgeschichten bleiben Beispiele, keine Beweise. Ebenso darf ein spektakulärer Fehler nicht den gesamten Pilot ersetzen. Beide werden qualitativ dokumentiert und neben den aggregierten Zahlen bewertet.
Qualität mit Prüfkriterien statt Bauchgefühl erfassen
Definieren Sie vor dem Start fünf bis zehn Kriterien, die ein Ergebnis erfüllen muss. Bei einer Kundenantwort könnten das Vollständigkeit, korrekte Vertragsinformation, verständliche Sprache, passender nächster Schritt und Datenschutz sein. Bei einer Analyse zählen Rechenweg, Quelle, Aktualität, Plausibilität und Freigabe.
Eine geschulte Person prüft eine feste Stichprobe aus Vorher- und Pilotphase. Idealerweise weiß sie nicht, welche Ergebnisse KI-unterstützt entstanden sind. So beeinflusst die Erwartung an das Werkzeug die Bewertung weniger. Abweichungen werden nicht nur als „gut“ oder „schlecht“ gezählt, sondern nach Ursache geordnet: falsche Eingangsdaten, ungeeigneter Prompt, Modellfehler, fehlende Fachprüfung oder Prozessproblem.
Diese Ursachen sind handlungsrelevant. Ein Modellwechsel löst keinen unklaren Auftrag. Mehr Schulung löst keine fehlende Zugriffsbegrenzung. Die Messung soll zeigen, welcher Teil des Systems angepasst werden muss.
Die Kennzahl darf nicht heimlich den Zweck wechseln
Ein für den Pilot erhobener Wert wirkt später oft verlockend: Die Daten seien nun vorhanden und könnten doch bei Jahresgesprächen, Bonusentscheidungen oder Personaleinsatz helfen. Genau dieser Zweckwechsel zerstört die zugesagte Grenze. Er verändert außerdem das Verhalten im Versuch und damit die Aussagekraft der Messung.
Trennen Sie deshalb Pilotdaten technisch von HR-Systemen. Exporte enthalten keine Personalnummern, individuellen Nutzernamen oder frei kombinierbaren Zeitstempel. Zugriff erhalten nur die für die Prozessauswertung benannten Rollen. Jede zusätzliche Frage wird so behandelt, als gäbe es die Daten noch nicht: Ist sie notwendig, rechtlich tragfähig, verhältnismäßig und mit der ursprünglichen Information vereinbar? Wenn nicht, wird sie nicht beantwortet.
Auch Ranglisten auf Teamebene können problematisch sein. Teams bearbeiten unterschiedliche Fälle, haben andere Ausstattung und tragen verschiedene Abhängigkeiten. Ein Standortvergleich ohne Kontext erzeugt Wettbewerb statt Lernen. Nutzen Sie Werte daher zuerst innerhalb desselben Prozesses, um Engpässe und Qualitätsrisiken zu erkennen. Gute Erfahrungen werden als Arbeitsweise geteilt, nicht als Siegerliste.
Die Messkarte enthält eine verantwortliche Stelle für Beschwerden und Korrekturen. Beschäftigte müssen melden können, wenn Daten falsch zugeordnet, eine Gruppe zu klein oder eine Kennzahl gegen die Vereinbarung verwendet wurde. Die Reaktion wird dokumentiert und in die Pilotentscheidung aufgenommen.
Gewonnene Zeit muss im Prozess sichtbar werden
Fragen Sie nicht nur: „Wie viele Minuten hat der Entwurf gedauert?“ Dokumentieren Sie, was mit der vermeintlich gewonnenen Zeit passiert. Wird sie durch zusätzliche Prüfung aufgebraucht? Verkürzt sich die Wartezeit für Kundinnen und Kunden? Kann das Team mehr Fälle ohne Überstunden bearbeiten? Entsteht Raum für Beratung, Weiterbildung oder vorbeugende Wartung?
Eine kleine Zeitstudie kann mit Selbsteinschätzung in Kategorien arbeiten, etwa unter 15, 15 bis 30, 30 bis 60 und über 60 Minuten. Das ist weniger präzise als lückenloses Tracking, aber für eine Pilotentscheidung oft ausreichend und deutlich weniger eingriffsintensiv. Erhebungsaufwand und Datenschutzrisiko müssen selbst Teil der Kostenrechnung sein.
Produktivität ohne Qualität ist eine Schuldenverschiebung
KI kann Arbeit nach hinten verlagern. Ein Text entsteht schneller, doch Beschwerden steigen. Code wird rasch erzeugt, aber Wartung und Sicherheitsprüfung werden teurer. Eine Zusammenfassung spart Lesezeit, lässt jedoch eine wichtige Ausnahme aus. Deshalb wird Nacharbeit über einen angemessenen Zeitraum mitgezählt.
Für automatisierte Büroabläufe gilt zusätzlich: Wer Aufgaben an KI-Agenten sicher delegiert, muss Abbruchmöglichkeiten, Protokolle und Freigabepunkte einplanen. Die Zahl automatisch ausgeführter Schritte ist kein Erfolg, wenn ein falscher Schritt schwer rückgängig zu machen ist.
Ein einfaches Pilotdesign für acht Wochen
- Woche 0: Zweck, Nicht-Zwecke, Rollen und Datenschutzprüfung festlegen.
- Woche 1 bis 2: Baseline für dieselben Falltypen erheben.
- Woche 3: Team schulen, Prüfkriterien testen und Messfehler korrigieren.
- Woche 4 bis 7: KI-Schritt nutzen, aggregierte Werte und Vorfälle erfassen.
- Woche 8: Zahlen, qualitative Rückmeldungen und Belastung gemeinsam auswerten.
Vorab werden Entscheidungsschwellen vereinbart. Beispiel: Der Pilot wird nur erweitert, wenn die mediane Durchlaufzeit sinkt, die fachliche Fehlerquote nicht steigt und das Team keine höhere Belastung oder stärkere Überwachung wahrnimmt. Bei einem schwerwiegenden Datenschutz- oder Sicherheitsvorfall stoppt der Versuch unabhängig vom Zeitgewinn.
Der AI Act setzt zusätzliche Grenzen für Beschäftigtenmanagement
Der EU AI Act ordnet bestimmte Systeme für Aufgabenverteilung sowie Überwachung oder Bewertung von Personen in Arbeitsverhältnissen als Hochrisiko ein. Emotionserkennung am Arbeitsplatz ist – abgesehen von eng begrenzten Ausnahmen etwa aus medizinischen oder Sicherheitsgründen – verboten. Welche Pflichten gelten, hängt vom konkreten System und Verwendungszweck ab.
Das ist ein weiterer Grund, einfache Prozessmessung nicht schleichend zu Personenbewertung auszubauen. Wenn ein Tool individuelle Leistung beurteilt, Schichten zuteilt, Beförderungen beeinflusst oder Verhalten prognostiziert, braucht es eine eigenständige rechtliche, technische und organisatorische Bewertung. Eine Zustimmung im Rahmen eines allgemeinen Produktivitätspiloten deckt diese Zweckänderung nicht ab.
Die Auswertung gehört dem Team zurückgespielt
Am Ende erhalten die Beteiligten nicht nur eine Managementfolie. Zeigen Sie Definitionen, Fallzahlen, Unsicherheiten und Gegenindikatoren. Erläutern Sie, welche Daten verworfen wurden und warum. Beschäftigte können häufig erklären, ob eine auffällige Zeitersparnis aus der KI, einem saisonalen Effekt oder einer gleichzeitig verbesserten Vorlage stammt.
Die Entscheidung kann lauten: ausweiten, begrenzt fortsetzen, umbauen oder stoppen. „Keine eindeutige Wirkung“ ist ein legitimes Ergebnis. Dokumentieren Sie die nächste Prüffrist und löschen Sie Rohdaten entsprechend der festgelegten Frist. Kennzahlen, die für den Pilot erhoben wurden, dürfen nicht später still in Personalakten oder individuelle Dashboards wandern.
Sechs Fragen vor jeder Produktivitätskennzahl
- Welches Prozessergebnis soll sich verbessern?
- Welche Qualitäts- und Belastungswerte verhindern eine einseitige Optimierung?
- Brauchen wir dafür wirklich personenbezogene Daten?
- Kann die Kennzahl einzelne Personen in kleinen Gruppen indirekt identifizieren?
- Welche Entscheidung darf aus dem Wert getroffen werden – und welche ausdrücklich nicht?
- Wann endet die Erhebung, wer löscht die Daten und wer prüft die Zweckbindung?
Kann das Unternehmen diese Fragen nicht beantworten, ist die Kennzahl noch nicht einsatzreif.
Gute Messung schafft Entscheidungssicherheit statt Druck
Wer KI-Produktivität messen will, muss keine digitale Dauerbeobachtung aufbauen. Eine Prozess-Baseline, wenige ausgewogene Teamkennzahlen, fachliche Stichproben und offene Rückmeldungen liefern meist die bessere Entscheidungsgrundlage. Sie zeigen nicht nur, ob Arbeit schneller wird, sondern ob der Nutzen nach Prüfung, Fehlern und Belastung noch besteht.
Die wichtigste Designentscheidung fällt vor der ersten Zahl: Das Ziel ist ein besserer Arbeitsprozess, nicht die lückenlose Sichtbarkeit einzelner Menschen. Wird diese Grenze schriftlich, technisch und gemeinsam abgesichert, kann ein Unternehmen KI sachlich bewerten – und zugleich das Vertrauen schützen, das jede nachhaltige Verbesserung braucht.
