Auf einen Blick
Der Begriff selbst stammt aus einem Sachbuch und nicht aus der Forschung. Die beiden Behauptungen, auf denen er beruht, lassen sich aber sehr genau prüfen: dass seltene Ereignisse nicht vorhersagbar sind und dass sie im Rückblick vorhersehbar aussehen.
- Vorhersageverfahren für seltene Ereignisse erreichen oft gute Trefferquoten.
- Die Zahl der Fehlalarme macht sie im Alltag trotzdem unbrauchbar.
- Frühwarnsysteme funktionieren je nach Umfeld unterschiedlich gut.
- Die Rückschauverzerrung hat zwei getrennte Ursachen.
- Gegenstrategien gegen die Rückschauverzerrung sind kaum wirksam.
Was der Begriff meint
Ein schwarzer Schwan ist nach der verbreiteten Definition ein Ereignis mit drei Merkmalen: Es lag außerhalb der Erwartung, es hatte große Folgen, und im Rückblick erschien es erklärbar. Das dritte Merkmal ist der interessante Teil, denn es beschreibt nicht das Ereignis, sondern die Beobachter.
| Merkmal | Was es behauptet | Prüfbar über |
|---|---|---|
| Lag außerhalb der Erwartung | Es war nicht vorhersagbar | Studien zur Vorhersagegenauigkeit bei seltenen Ereignissen |
| Hatte große Folgen | Die Verteilung der Folgen ist nicht normal, sondern langschwänzig | Statistische Beschreibung, hier nicht Thema |
| Erschien im Rückblick erklärbar | Beobachter überschätzen nachträglich die Vorhersehbarkeit | Forschung zur Rückschauverzerrung |
Die erste und die dritte Zeile stehen scheinbar im Widerspruch. Dieser Artikel zeigt, dass beide zugleich stimmen können.
Das Basisratenproblem
Der beste verfügbare Prüffall für die Vorhersage seltener Ereignisse mit großen Folgen kommt aus der Medizin. Eine systematische Übersicht hat 19 Studien zur Genauigkeit von Verfahren ausgewertet, die das Suizidrisiko einschätzen sollen. Diese Verfahren sind erheblich besser, als man vermuten würde.
19
ausgewertete Studien
≥ 80 %
Trefferquote der meisten Verfahren
≥ 0,70
Fläche unter der Kurve
schwankend
Anteil richtig negativer Fälle
Verfahren zur Risikoeinschätzung haben sich als empfindliche Vorhersagegrößen für Suizide und Suizidversuche erwiesen, aber die Häufigkeit falsch positiver Ergebnisse begrenzt ihren klinischen Nutzen.
Warum gute Trefferquoten hier nicht helfen
Wenn ein Ereignis selten ist, sind die richtig erkannten Fälle in absoluten Zahlen wenige und die Fehlalarme viele, selbst wenn der Anteil der Fehlalarme prozentual klein bleibt. Eine Warnliste, auf der auf jeden echten Fall viele unbetroffene Personen kommen, lässt sich nicht abarbeiten. Das ist kein handwerklicher Mangel des Verfahrens, sondern eine Folge der Seltenheit selbst.
- Übertragen auf Organisationen: Ein Frühwarnsystem, das jede Lieferkettenstörung erkennt, meldet auch viele Störungen, die nie eintreten. Wer allen Meldungen nachgeht, ist beschäftigt. Wer keiner nachgeht, hat kein System.
- Die Übersicht ist auch bei den Maßnahmen ehrlich: In sechs von acht Beobachtungsstudien zu bevölkerungsweiten Maßnahmen sanken die Suizidraten, aber nur zwei von zehn Studien zu Einzelpsychotherapie fanden einen bedeutsamen Unterschied zur üblichen Versorgung.
- Das ergibt ein Muster: Bei seltenen Ereignissen mit großen Folgen wirken breite, unspezifische Maßnahmen besser als gezielte Vorhersage. Das ist der inhaltliche Kern dieses Artikels.
Warum die Schwelle alles entscheidet
Eine zweite Auswertung zeigt, wie stark die Brauchbarkeit eines Warnsystems vom Umfeld abhängt. 11.565 Arbeiten wurden gesichtet, 20 eingeschlossen, fünf gebräuchliche Frühwarnsysteme verglichen.
| Umfeld | Zielgröße | Ergebnis |
|---|---|---|
| Notaufnahme | Dreißigtagesterblichkeit | Vorhersagbar, mit diagnostischen Quotenverhältnissen zwischen etwa 4 und 6,5 |
| Notaufnahme | Aufnahme auf die Intensivstation | Vorhersagbar |
| Rettungsdienst | Dreitagesterblichkeit | Bedeutsam vorhersagbar |
| Rettungsdienst | Dreißigtagesterblichkeit | Nicht vorhersagbar |
Die Autorengruppe folgert, dass die hohen benötigten Schwellenwerte und das Versagen bei der Dreißigtagesterblichkeit die Systeme für den Einsatz im Rettungsdienst weniger geeignet machen.
- Dasselbe Werkzeug, zwei Umfelder, zwei Urteile. Das ist die wichtigste Lehre für die Übertragung auf Unternehmen: Ein Kennzahlensystem, das in einem Bereich trägt, kann in einem anderen nichts leisten.
- Je weiter der Vorhersagehorizont, desto schlechter. Drei Tage ja, dreißig Tage nein. Genau der Horizont, der für Vorsorge interessant wäre, ist der schwierigste.
- Hohe Schwellenwerte sind ein Warnzeichen. Wenn ein System erst bei extremen Werten anspringt, findet es die auffälligen Fälle und übersieht die beginnenden.
Die Rückschauverzerrung
Der zweite Teil der Behauptung betrifft die Nachschau. Dass Ereignisse rückblickend vorhersehbar erscheinen, ist eines der am besten belegten Phänomene der Entscheidungsforschung. Eine Metaanalyse hat es in seine Bestandteile zerlegt.
| Ursache | Was passiert |
|---|---|
| Erinnerungsverzerrung | Die eigene frühere Einschätzung lässt sich nach Kenntnis des Ergebnisses schlechter abrufen |
| Rekonstruktionsverzerrung | Weil die Erinnerung fehlt, wird die frühere Einschätzung neu konstruiert, und zwar in Richtung des bekannten Ergebnisses |
Ausgewertet wurden neun Studien mit 366 jüngeren und 368 älteren Erwachsenen. Bei älteren Erwachsenen war die Erinnerung an die eigene frühere Einschätzung seltener verfügbar, sodass häufiger rekonstruiert werden musste, und die Rekonstruktion war stärker verzerrt.
Warum diese Zerlegung praktisch nützlich ist
Die Verzerrung entsteht nicht daraus, dass Menschen sich besser darstellen wollen. Sie entsteht daraus, dass die frühere Einschätzung nicht mehr abrufbar ist und ersetzt werden muss. Daraus folgt eine wirksame Gegenmaßnahme, die keine Haltungsänderung braucht: die Einschätzung vorher aufschreiben.
Warum Entzerren kaum gelingt
Wenn die Verzerrung so gut beschrieben ist, sollte sie sich abstellen lassen. Eine Übersicht hat das für einen Bereich untersucht, in dem sehr viel davon abhängt: die nachträgliche Beurteilung ärztlicher Behandlungsfehler.
Eine Reihe von Entzerrungsstrategien wurde vorgeschlagen, sie sind aber wegen der Allgemeingültigkeit und Stärke dieser Verzerrungen sowie der grundsätzlichen Schwierigkeit, Gutachtern das Wissen um den Ausgang zu verbergen, relativ unwirksam.
- Zwei Verzerrungen wirken zusammen. Die Rückschauverzerrung betrifft die eingeschätzte Wahrscheinlichkeit, die Ergebnisverzerrung die Bewertung der Entscheidung selbst. Beide sind nach dieser Übersicht weitgehend unbewusst.
- Das Kernproblem ist praktisch, nicht psychologisch. Man kann Gutachtern das Wissen um den Ausgang nicht vorenthalten, denn genau deswegen werden sie gefragt.
- Die Autoren empfehlen deshalb Aufklärung für Juristen, medizinische Sachverständige und Gerichte. Also: die Verzerrung kennen, statt hoffen, sie abzuschalten.
- Für Organisationen heißt das: Jede Aufarbeitung nach einem Vorfall überschätzt, wie erkennbar der Vorfall vorher war. Das erzeugt zwei Fehler zugleich: ungerechte Schuldzuweisung und falsches Zutrauen in künftige Vorhersage.
Praktisch
Was die Datenlage nahelegt
- Einschätzungen vorher aufschreiben und datieren. Das ist die einzige Gegenmaßnahme, die am Mechanismus der Verzerrung ansetzt, weil sie die Rekonstruktion unnötig macht.
- Warnsysteme an der Fehlalarmquote messen, nicht an der Trefferquote. Eine Trefferquote von 80 Prozent klingt gut und sagt bei seltenen Ereignissen nichts über die Brauchbarkeit.
- Fragen, wie viele Meldungen pro Woche zu erwarten sind. Wenn die Antwort größer ist als die Kapazität, sie zu bearbeiten, ist das System kein System.
- Breite Maßnahmen statt gezielter Vorhersage. In der Suizidübersicht wirkten bevölkerungsweite Maßnahmen häufiger als gezielte Einzelmaßnahmen. Für Organisationen ist das der Hinweis auf Puffer und Redundanz statt auf bessere Prognose.
- Nach Vorfällen Systeme prüfen, nicht Personen. Die Rückschauverzerrung macht die Handelnden im Nachhinein fahrlässiger aussehen, als sie waren, und das ist nach der Datenlage kaum korrigierbar.
Drei Fragen an jede Prognose
- Wie häufig ist das Ereignis? Je seltener, desto mehr Fehlalarme bei gleicher Güte.
- Welcher Zeithorizont? In der Frühwarnauswertung gelang die Dreitagesvorhersage und die Dreißigtagesvorhersage nicht.
- In welchem Umfeld wurde das Verfahren geprüft? Dasselbe Werkzeug fiel in der Notaufnahme brauchbar und im Rettungsdienst unbrauchbar aus.
Wann professionelle Hilfe nötig ist
Ein Hinweis zur zitierten Literatur: Die Übersicht zur Suizidvorhersage steht hier als methodisches Beispiel für die Vorhersage seltener Ereignisse. Sie ist kein Argument gegen Risikoeinschätzung in der Versorgung. Wenn du selbst Suizidgedanken hast, ist die Telefonseelsorge rund um die Uhr kostenfrei erreichbar unter 0800 111 0 111 und 0800 111 0 222.
Passend dazu
Fazit
Beide Hälften der Behauptung stimmen, und sie widersprechen sich nicht. Seltene Ereignisse lassen sich statistisch durchaus vorhersagen: In 19 Studien erreichten die meisten Verfahren eine Trefferquote von mindestens 80 Prozent. Nutzbar sind sie trotzdem nicht, weil die Zahl der Fehlalarme bei seltenen Ereignissen den praktischen Nutzen begrenzt.
Dazu kommt die Abhängigkeit vom Umfeld und vom Horizont. Frühwarnsysteme, die in der Notaufnahme die Dreißigtagesterblichkeit vorhersagen, versagten dabei im Rettungsdienst, und die Dreitagesvorhersage gelang, wo die Dreißigtagesvorhersage scheiterte.
Und die Rückschau lässt sich kaum entzerren. Die Verzerrung hat zwei Ursachen, sie ist weitgehend unbewusst, und die vorgeschlagenen Gegenstrategien gelten als relativ unwirksam. Was bleibt, ist unspektakulär: vorher aufschreiben, Warnsysteme an ihren Fehlalarmen messen, und in Puffer investieren statt in Prognose.
Häufige Fragen
Was ist ein schwarzer Schwan?
Ein Ereignis mit drei Merkmalen: Es galt vorher als äußerst unwahrscheinlich, es hat große Auswirkungen, und im Rückblick erscheint es erklärbar und beinahe vorhersehbar. Der Begriff stammt aus dem Sachbuch von Nassim Nicholas Taleb, das kein Forschungswerk ist.
Lassen sich seltene Ereignisse vorhersagen?
Statistisch oft überraschend gut. Eine systematische Übersicht über 19 Studien zur Vorhersage von Suiziden fand für die meisten Verfahren eine Trefferquote von mindestens 80 Prozent oder eine Fläche unter der Kurve von mindestens 0,70.
Warum nützt das dann nichts?
Weil die Zahl der falsch positiven Ergebnisse den praktischen Nutzen begrenzt. Bei einem seltenen Ereignis sind selbst wenige Prozent Fehlalarm in absoluten Zahlen so viele Fälle, dass die Warnung nicht handhabbar ist.
Gilt das auch für andere Warnsysteme?
Ja. Eine Metaanalyse über 20 Studien zu klinischen Frühwarnsystemen fand, dass sie im Krankenhaus brauchbar vorhersagen, im Rettungsdienst aber bei der Dreißigtagesterblichkeit versagten, und dass hohe Schwellenwerte nötig waren.
Was ist die Rückschauverzerrung?
Die Neigung, nach Kenntnis eines Ergebnisses zu überschätzen, wie gut man es vorher hätte wissen können. Sie entsteht aus zwei getrennten Vorgängen: einer gestörten Erinnerung an die eigene frühere Einschätzung und einer verzerrten Rekonstruktion dieser Einschätzung.
Lässt sich die Rückschauverzerrung abstellen?
Kaum. Eine Übersicht zu Fahrlässigkeitsurteilen in der Medizin hält fest, dass die vorgeschlagenen Gegenstrategien wegen der Allgemeingültigkeit und Stärke dieser Verzerrungen relativ unwirksam bleiben.
Quellen
Alle Angaben in diesem Artikel stützen sich auf die folgenden Veröffentlichungen. Die Links führen direkt zur jeweiligen Fundstelle.
- 1
Nelson, H. D. et al. (2017): Suicide Risk Assessment and Prevention: A Systematic Review Focusing on Veterans. Psychiatric Services. 19 Studien zur Genauigkeit von Risikoeinschätzungsverfahren, dazu Studien zu Maßnahmen
- 2
Guan, G. et al. (2022): The use of early warning system scores in prehospital and emergency department settings to predict clinical deterioration: A systematic review and meta-analysis. PLOS ONE. 11.565 gesichtete Arbeiten, 20 eingeschlossen, fünf verglichene Warnsysteme
- 3
Groß, J. & Pachur, T. (2019): Age differences in hindsight bias: A meta-analysis. Psychology and Aging. Neun Studien mit 366 jüngeren und 368 älteren Erwachsenen, ausgewertet mit einem hierarchischen Modell der Rückschauverzerrung
- 4
Hugh, T. B. & Dekker, S. W. (2009): Hindsight bias and outcome bias in the social construction of medical negligence: a review. Journal of Law and Medicine. Übersicht über die rechtliche, medizinische, psychologische und soziologische Literatur