Die Lüftung im Speisesaal steht. Die Meldung landet beim Elektriker, der fährt hin, misst die Zuleitung durch, alles in Ordnung, und legt eine Rechnung. Der Lüftungsbauer, der einen verstopften Filter in zwanzig Minuten getauscht hätte, erfährt von der Sache erst, als im Büro geschimpft wird. Im Beitrag über die Störmeldung der Lüftung habe ich ein System gezeichnet, das eine solche Meldung liest, in den Unterlagen und in der Leittechnik nachschaut und entscheidet, welche Firma sie bekommt. Gebaut ist es nicht. Trotzdem stellt sich schon am Papier die Frage: Woran merke ich später, ob das Ding taugt?
Eine Zahl, die gut aussieht und nichts sagt
Für das Rechenbeispiel nehme ich an, das System liefe zwei Wochen, und in dieser Zeit kämen hundert Mails an. Drei davon sind echte Störungen, die ein Ticket an eine Firma brauchen. Der Rest sind Nachfragen, Doppelmeldungen, Beschwerden über Zugluft, Dinge, die die Hausbetreuung selbst erledigt.
Ein System, das bei jeder Mail „kein Ticket nötig" sagt, liegt in 97 von 100 Fällen richtig. 97 Prozent richtige Antworten. Auf einer Folie sieht das gut aus. In Wirklichkeit hat es alle drei Störungen verschlafen, und der Speisesaal riecht weiter.
Der Anteil richtiger Antworten taugt nichts, sobald das, was man sucht, selten ist. Und in der Haustechnik ist das Seltene fast immer das Wichtige.
Vier Felder statt einer Zahl
Was ich stattdessen zähle, sind vier Fälle. Störung erkannt und tatsächlich Störung. Störung erkannt, aber keine. Übersehen, obwohl Störung. Richtig durchgewunken. Aus diesen vier Feldern ergeben sich zwei getrennte Fragen:
- Von den echten Störungen: wie viele hat das System erwischt?
- Von dem, was das System als Störung gemeldet hat: wie viel war wirklich eine?
Tom Fawcett beschreibt diese Vierfeldertafel und die Größen, die man daraus rechnet, in seiner Einführung zur ROC-Analyse (Pattern Recognition Letters 27, 2006). Die erste Frage heißt bei ihm hit rate, die zweite precision. Die 97 von oben wäre bei ihm die accuracy, und sie ist genau die Größe, die im Beispiel in die Irre führt.
Warum ich die zwei Fragen getrennt halte: Weil die beiden Fehler verschieden kosten. Ein falscher Alarm heißt, jemand schaut umsonst nach, telefoniert einmal, klappt das Ticket wieder zu. Ein paar Minuten. Eine fehlgeleitete oder übersehene Störung heißt: der falsche Betrieb fährt hin und legt Rechnung, die Anlage steht länger, der Pächter ruft ein drittes Mal an. Das ist ein anderer Betrag. Wer nur einen Anteil richtiger Antworten ausweist, wirft beides in einen Topf.
Für die Zuordnung zur Firma kommt noch eine dritte Zählung dazu, die im Beispiel nicht drinsteckt: Wenn das System eine Störung erkennt, wie oft trifft es das richtige Gewerk? Auch da ist der Fehler teuer, weil er in eine Rechnung mündet.
Vorher zählen, nicht nachher schätzen
Bei der Wissensdatenbank habe ich vor dem Bau gefragt, wie lange eine Suche dauert: 20 bis 30 Minuten. Heute sind es rund zwei. Ohne die erste Zahl hätte ich die zweite nicht einordnen können. Genauso gehört bei der Störmeldung die Zählung von Hand vor das System: hundert Mails, wie viele davon wurden richtig zugeordnet, wie lange hat es gedauert. Was das für die Kostenseite heißt, steht im Beitrag Rechnen, bevor man baut.
Gemessen wird das System, nicht die Person
Sobald man zählt, wer welche Mail wie schnell erledigt hat, hat man Zahlen über Menschen in der Hand. Aus derselben Tabelle, die das System bewertet, wird mit einem Filter eine Leistungskontrolle des Kollegen, der die Meldungen bearbeitet. Wo es einen Betriebsrat gibt, verlangt das Arbeitsverfassungsgesetz für Kontrollmaßnahmen und technische Systeme zur Kontrolle der Arbeitnehmer dessen Zustimmung, sofern sie die Menschenwürde berühren (§ 96 Abs. 1 Z 3 ArbVG). Ohne Betriebsrat ist es die Zustimmung des einzelnen Arbeitnehmers (§ 10 AVRAG). Ob eine konkrete Zählung die Menschenwürde berührt, ist eine Rechtsfrage, die ich hier nicht beantworte. Ich zeichne die Zählung so, dass sie sich gar nicht erst stellt.
Darauf achte ich:
- Gezählt wird je Meldung, nicht je Bearbeiter. Die Spalte „wer" gibt es in der Auswertung nicht.
- Vier Felder, zwei Fragen, getrennt ausgewiesen. Ein einzelner Prozentwert kommt in keinen Bericht.
- Neben jeder Fehlerart steht, was sie kostet: Minuten beim falschen Alarm, Rechnung und Stillstand bei der fehlgeleiteten Störung.
- Die Handzählung vor dem Bau ist der Maßstab. Kein Vergleich, keine Aussage.