Konfidenzintervalle, gefühlt.
Ein 95%-Konfidenzintervall ist keine 95%-Wahrscheinlichkeit. Sieben Sektionen von der einzelnen Stichprobe über Cummings Tanz der CIs, den 1/√N-Preis der Präzision, die historische Herkunft der 95%, das Bayes-Gegenstück, das wirklich meint, was die meisten meinen, bis zu den Fehldeutungen, die unter Forschenden überleben.
Eine Stichprobe, ein Intervall.
Zieh N Werte aus einer Normal(0, 1)-Verteilung. Der Stichprobenmittelwert und das 95%-Intervall x̄ ± 1.96 · σ/√N. Schieb N — das Intervall schrumpft, der Mittelwert wandert.
Schau, wie die Intervalle tanzen.
Jede Sekunde wird eine neue Stichprobe der Grösse N gezogen und ihr 95%-Intervall oben eingefügt. Treffer behalten den Akzent, Verfehler werden glutrot. Was Zeile für Zeile chaotisch aussieht, pendelt sich über viele Runs bei 95% ein — so fühlt sich nominale Überdeckung wirklich an. (Nach Cumming 2014.)
Das Experiment sechzigmal wiederholen.
Jede Zeile ist ein Experiment der Grösse N mit eigenem 95%-Intervall. Die nominale Rate ist 95%, also sollten bei richtigem Modell rund 57 von 60 μ enthalten und etwa 3 verfehlen. Die empirische Trefferquote schwankt um diese Zahl.
Warum doppelt so viele Daten das Intervall nicht halbieren.
Die CI-Halbweite skaliert mit 1/√N. Um sie zu halbieren, brauchst du viermal so viele Beobachtungen. Die Kurve macht den Preis der Präzision sichtbar.
Die 95 ist eine Konvention, kein Gesetz.
Zieh am Konfidenzlevel — z dehnt sich, die Halbweite mit, der Preis für Gewissheit wird sichtbar. Der eingefärbte Bauch der Glocke ist die gewählte Überdeckung; die dünnen Schwänze sind das, was du in Kauf nehmen willst, wenn es schief geht.
Fisher fixierte den Schwellenwert 1925 in seinem Lehrbuch 'Statistical Methods for Research Workers' auf 5%. Eine editoriale Entscheidung, getrieben von Tabellenformat und Druckkosten, keine Herleitung. Cowles und Davis haben es 1982 nachgezeichnet, Hurlbert und Lombardi 2009 wieder aufgemacht. Jedes CI, das wir heute zeichnen, erbt diese Wahl. Disziplinen sind leise auseinandergerückt: klinische Studien halten an 95% fest, Teilchenphysik verlangt 99.99994% (5σ), Epidemiologie meldet oft 90% und 95% nebeneinander. Die Zahl sagt mehr über die Risikotoleranz eines Fachs als über die Natur.
Zwei Intervalle, die gleich aussehen. Nur eines sagt, was die meisten meinen.
Gleiche Daten, gleiches N. Der gestrichelte Balken ist das frequentistische 95%-CI — eine Eigenschaft des Verfahrens. Der solide Balken ist das 95%-Glaubwürdigkeitsintervall aus dem Bayes-Posterior — eine Wahrscheinlichkeitsaussage über μ gegeben einen Prior. Schieb die Prior-Präzision τ₀ von breit zu eng und sieh, wie der Posterior gegen null gezogen wird.
Die Lesart 'die Wahrscheinlichkeit, dass μ im Intervall liegt, beträgt 95%' ist korrekt — aber nur für das Bayes-Glaubwürdigkeitsintervall, und nur gegeben den verwendeten Prior. Das frequentistische CI macht diese Aussage nicht über dieses Intervall; es macht sie über das Langzeit-Verhalten des Verfahrens. Bei einem flachen Prior und vielen Daten konvergieren beide Intervalle — deshalb überlebt die Verwechslung. Bei engem Prior oder kleinem N driften sie auseinander, und genau dann wird der Unterschied wichtig.
Was 95% nicht heisst.
Hoekstra et al. (2014) zeigten, dass die häufigsten Lesarten eines Konfidenzintervalls falsch sind, selbst unter Forschenden. Drei davon nebeneinander mit der sorgfältigen Lesart.
Die Wahrscheinlichkeit, dass der wahre Mittelwert in diesem Intervall liegt, beträgt 95%.
Entweder enthält das Intervall μ, oder nicht. Die 95% ist die langfristige Rate, mit der das Verfahren Intervalle erzeugt, die μ überdecken — keine Wahrscheinlichkeit über dieses eine Intervall.
Wir sind zu 95% sicher, dass der wahre Mittelwert zwischen den Grenzen liegt.
Konfidenz ist eine Eigenschaft des Verfahrens, nicht der vorliegenden Daten. Würde man die Studie wiederholen, deckten 95% der konstruierten Intervalle μ ab.
Ein engeres Intervall bedeutet eine präzisere Schätzung von μ.
Ein engeres Intervall heisst mehr Daten, nicht mehr Wahrheit. Verzerrung sieht das CI nicht — ein verzerrter Schätzer mit engen Grenzen ist präzise falsch.
Werte werden via Box-Muller aus N(μ=0, σ=1) gezogen mit σ als bekannt angenommen, also gilt das 95%-z-Intervall x̄ ± 1.959964 · σ/√N. Bei unbekanntem σ wäre die Studentsche t-Verteilung korrekt. Für N ≥ 30 ist der Unterschied gering. Die Tanz-Schleife fügt sekündlich eine neue Stichprobe ein, die älteste fällt raus; die laufende Rate pendelt sich erst über viele Runs bei den nominalen 95% ein. Der Konfidenzlevel-Slider nutzt die Beasley-Springer/Moro-Approximation der inversen Normal-CDF (≈5 Dezimalen genau). Die Bayes-Sektion setzt Normal-Normal-Konjugation voraus mit Prior-Mittelwert 0 und Prior-Präzision 1/τ₀²; der versteckte wahre Mittelwert ist μ=0.4, damit die Daten leicht gegen den Prior informativ sind und die Posterior-Verschiebung sichtbar wird.
- Fisher, R. A. (1925) — Statistical Methods for Research Workers. Oliver & Boyd. The book that fixed the 5% cutoff.
- Neyman, J. (1937) — Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability. Phil. Trans. Royal Society A 236, 333-380.
- Cowles, M. & Davis, C. (1982) — On the Origins of the .05 Level of Statistical Significance. American Psychologist 37, 553-558.
- Cohen, J. (1994) — The earth is round (p < .05). American Psychologist 49, 997-1003.
- Hurlbert, S. H. & Lombardi, C. M. (2009) — Final collapse of the Neyman-Pearson decision theoretic framework and rise of the neoFisherian. Annales Zoologici Fennici 46, 311-349.
- Hoekstra, R., Morey, R. D., Rouder, J. N. & Wagenmakers, E.-J. (2014) — Robust misinterpretation of confidence intervals. Psychonomic Bulletin & Review 21, 1157-1164.
- Cumming, G. (2014) — The New Statistics: Why and How. Psychological Science 25, 7-29. Origin of the dance-of-CIs visualisation.
- Morey, R. D., Hoekstra, R., Rouder, J. N., Lee, M. D. & Wagenmakers, E.-J. (2016) — The fallacy of placing confidence in confidence intervals. Psychonomic Bulletin & Review 23, 103-123.
- Greenland, S. et al. (2016) — Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology 31, 337-350.
- Wasserstein, R. L. & Lazar, N. A. (2016) — The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician 70, 129-133.
- Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A. & Rubin, D. B. (2013) — Bayesian Data Analysis, 3rd ed., CRC Press.