Ein Backtest mit +40% Jahresrendite bedeutet für sich genommen nichts. Die eigentlich relevante Frage lautet: Hätte dieses Ergebnis rein zufällig entstehen können, wenn die Strategie keinen echten Edge hätte? Hypothesentests sind der formale Rahmen, um diese Frage zu beantworten — und sie zu überspringen ist der Grund, warum so viele Retail-Strategien, die im Backtest großartig aussahen, live scheitern.
Den Test aufsetzen
Beginne mit einer Nullhypothese: „Die durchschnittliche Trade-Rendite dieser Strategie ist null." Deine Aufgabe ist es, genug Evidenz zu sammeln, um diese Nullhypothese mit Zuversicht zu verwerfen. Man beweist nie, dass eine Strategie funktioniert — man scheitert nur nicht daran, sie mit einem angegebenen Konfidenzniveau als Rauschen zu widerlegen.
t = (mean return − 0) / (standard deviation of returns / √n)Eine t-Statistik über etwa 2 entspricht bei ausreichend großen Stichproben einem p-Wert unter 0,05 — der konventionelle (wenn auch willkürliche) Schwellenwert für „statistisch signifikant". Eine Strategie mit 0,3% durchschnittlicher Rendite pro Trade, 2% Standardabweichung und 400 Trades ergibt t = 0,003/(0,02/√400) = 3,0, deutlich signifikant.
Warum Stichprobengröße alles dominiert
| Trades (n) | Mindest-Edge für Signifikanz (ca.) |
|---|---|
| 30 | Sehr groß — Rauschen dominiert |
| 100 | Moderater Edge erforderlich |
| 500 | Kleine, realistische Edges erkennbar |
| 2000+ | Selbst marginale Edges (0,1R) werden erkennbar |
Eine Strategie, die 14 von 20 Trades gewinnt, kann eine Trefferquote haben, die aufgrund von Stichprobenvarianz leicht aus einem fairen Münzwurf entstehen könnte. Behandle jeden Backtest mit weniger als etwa 100 unabhängigen Trades als Pilotversuch, nicht als Schlussfolgerung.
Die Multiple-Testing-Falle
Wenn du 100 zufällige Parameterkombinationen testest, zeigen rein zufällig etwa 5 „signifikante" Ergebnisse auf dem p<0,05-Niveau — das bedeutet eine 5%-Falsch-Positiv-Rate. Quants, die Tausende Parametersätze durchsuchen und das best aussehende herauspicken, finden fast garantiert Rauschen, das als Edge getarnt ist.
- ▸Wende eine Bonferroni-artige Korrektur an: teile den Signifikanzschwellenwert durch die Anzahl getesteter Varianten.
- ▸Reserviere einen Holdout-Zeitraum, der während der Recherche nie berührt wird, und validiere nur einmal darauf.
- ▸Bevorzuge Strategien mit klarer ökonomischer Begründung gegenüber solchen, die durch reine Mustersuche gefunden wurden.
Out-of-Sample-Validierung
Teile deine Daten in In-Sample (zum Aufbauen/Feinjustieren) und Out-of-Sample (genau einmal am Ende angefasst). Bricht die Performance out-of-sample ein, war das In-Sample-Ergebnis Overfitting, kein echter Edge — egal wie beeindruckend der p-Wert zunächst aussah.
Das Fazit
Statistische Rigorosität ist für Retail-Trader kein akademischer Overkill — sie ist der Unterschied zwischen echtem Kapitaleinsatz hinter einem echten Edge und dem selbstsicheren Sprengen eines Kontos durch Rauschen, das zufällig wie ein Muster aussah.