KI beschleunigt das Backtesting. Sie macht es jedoch nicht fehlerfrei.

Die gefährlichste Handelsstrategie ist nicht immer diejenige mit schlechten historischen Ergebnissen. Es kann sich auch um eine Strategie handeln, die im Backtest außergewöhnlich gut abschneidet, eine beeindruckende Sharpe-Ratio aufweist und für die es keine überzeugende Erklärung dafür gibt, warum sie weiterhin funktionieren sollte.

Künstliche Intelligenz ermöglicht es, mehr Wertpapiere, Variablen und Marktbedingungen zu analysieren, als ein menschliches Forschungsteam manuell untersuchen könnte. Modelle des maschinellen Lernens können nichtlineare Zusammenhänge erkennen, alternative Daten verarbeiten und ihre Parameter anpassen, wenn sich Muster ändern. Generative KI kann Händlern zudem dabei helfen, Code zu schreiben, Anomalien zu untersuchen und eine Anlagehypothese in eine überprüfbare Strategie umzusetzen.

Doch all dies ändert nichts an der grundlegenden Einschränkung des Backtestings: Es rekonstruiert eine hypothetische Vergangenheit. Es kann nicht aufzeigen, was geschehen wäre, sobald eine Strategie begonnen hätte, echte Orders zu platzieren, Kurse zu beeinflussen und mit anderen Anlegern zu konkurrieren.

KI verbessert den Forschungsprozess daher nur dann, wenn sie dazu dient, eine Strategie zu hinterfragen, anstatt eine attraktivere historische Darstellung zu konstruieren.

Was KI tatsächlich beiträgt

Beim herkömmlichen Backtesting wird ein festgelegter Satz von Handelsregeln auf historische Marktdaten angewendet. Eine relativ einfache Strategie könnte darin bestehen, einen Aktienindex zu kaufen, wenn dessen kurzfristiger gleitender Durchschnitt über den langfristigen Durchschnitt steigt, und anschließend die daraus resultierende Rendite, Volatilität und den Drawdown zu berechnen.

Dank maschinellem Lernen kann das Modell ein weitaus breiteres Spektrum an Zusammenhängen untersuchen. Es könnte beispielsweise die Kursdynamik mit Unternehmensgrunddaten, der Sprache in Gewinnbekanntgaben, Zinserwartungen und der Marktliquidität kombinieren. Anstatt eine einzige feste Beziehung vorzugeben, kann das System lernen, wie sich Kombinationen von Signalen in verschiedenen Abschnitten der historischen Stichprobe verhalten haben.

Die Verarbeitung natürlicher Sprache erweitert den Informationsumfang noch weiter. Modelle können Erklärungen von Zentralbanken, Gewinnmitteilungen, behördliche Unterlagen oder Medienberichte klassifizieren und diesen Text anschließend in Variablen für eine Handelsstrategie umwandeln. Generative KI kann die Programmierung und Dokumentation beschleunigen, sodass Forscher schneller von einer Idee zu einem ausführbaren Test gelangen können.

Plattformen wie QuantConnect vereinen historische Daten, Forschungsnotizen, Backtesting und Live-Bereitstellung in einer einzigen Umgebung. Die Open-Source-Engine „LEAN“ unterstützt Python und C#, verschiedene Anlageklassen sowie Verbindungen zu Datenanbietern und Brokerhäusern. Dadurch verringert sich der technische Aufwand, der erforderlich ist, um eine Forschungsinfrastruktur von Grund auf aufzubauen.

Für eine kleinere Investmentfirma oder einen versierten unabhängigen Händler ist diese Zugänglichkeit von großer Bedeutung. Tools, die früher hauptsächlich großen quantitativen Fonds zur Verfügung standen, können nun über die Cloud gemietet werden. Der Wettbewerbsvorteil ergibt sich jedoch nicht aus dem Besitz der Software. Tausende anderer Nutzer haben Zugang zu ähnlichen Modellen, Daten und Rechenleistung. Er ergibt sich vielmehr aus der Qualität der Hypothese und der Disziplin des Validierungsprozesses.

Mehr Tests können zu weniger Wahrheit führen

KI-gestützte Forschung birgt eine statistische Versuchung: Wenn man genügend Kombinationen testet, wird sich irgendwann etwas als profitabel erweisen.

Ein Forscher könnte Hunderte von Indikatoren, Zeiträume, Einstiegsregeln, Positionsgrößen und Stop-Loss-Niveaus untersuchen. Eine bestimmte Kombination kann zwar hervorragende historische Renditen erzielen, auch wenn dahinter kein nachhaltiger Zusammenhang steckt. Die Strategie hat vielmehr die Zufälle des Datensatzes gelernt und keine wiederholbare Renditequelle.

Das ist Überanpassung. Im Finanzbereich ist dies besonders gravierend, da die Märkte relativ wenige wirklich unabhängige Daten liefern. Zwanzig Jahre Tageskurse mögen wie ein großer Datensatz erscheinen, doch die Beobachtungen sind durch Konjunkturzyklen, geldpolitische Rahmenbedingungen und wiederkehrende Stressphasen miteinander verknüpft. Ein Modell, das überwiegend in Zeiten sinkender Inflation und günstiger Kapitalkosten trainiert wurde, kann versagen, wenn sich diese Bedingungen umkehren.

Die Gefahr steigt, wenn Forscher denselben Testzeitraum wiederholt untersuchen. Informationen aus den vermeintlich nicht einbezogenen Daten beeinflussen nach und nach die Modellgestaltung, wodurch der Out-of-Sample-Test zu einem weiteren Bestandteil des Trainingsprozesses wird.

Ein überzeugender Backtest kann daher eher ein Hinweis auf eine umfassende Optimierung als auf Anlagegeschick sein. Je mehr Entscheidungen nach Betrachtung der Ergebnisse getroffen werden, desto weniger unabhängig sind diese Ergebnisse.

Die Datenqualität ist wichtiger als die Komplexität des Modells

Ein fortschrittliches Modell kann eine fehlerhafte historische Aufzeichnung nicht korrigieren.

Ein Überlebensverzerrung entsteht, wenn bei einer Untersuchung ausschließlich Unternehmen berücksichtigt werden, die heute noch bestehen, während solche, die gescheitert sind, fusioniert wurden oder von der Börse genommen wurden, unberücksichtigt bleiben. Das daraus resultierende Portfolio besteht somit aus rückblickenden Gewinnern.

Eine „Look-ahead“-Verzerrung tritt auf, wenn das Modell Informationen verwendet, die zum Zeitpunkt des Handels noch nicht verfügbar waren. Eine Strategie kann revidierte Wirtschaftsdaten, endgültige Indexzusammensetzungen oder Unternehmensergebnisse entsprechend dem Berichtszeitraum verwenden, anstatt des Datums, an dem die Anleger diese Informationen tatsächlich erhalten haben.

Historische alternative Daten bringen zusätzliche Probleme mit sich. Ein Datensatz aus Nachrichten oder sozialen Medien kann im Laufe der Zeit Änderungen hinsichtlich seines Erfassungsbereichs, seiner Methodik oder seiner Grundgesamtheit erfahren haben. Satellitenbilder, Web-Traffic- und Kreditkartendaten können Lücken aufweisen, die sich auf bestimmte Unternehmen oder Regionen beziehen. Ein Modell des maschinellen Lernens kann diese strukturellen Artefakte erkennen und sie fälschlicherweise für wirtschaftliche Signale halten.

Institutionelle Anleger sollten daher klären, woher die einzelnen Datensätze stammen, wann die Informationen verfügbar wurden, wie mit fehlenden Werten umgegangen wurde und ob die historische Version mit den Daten übereinstimmt, die eine Live-Strategie erhalten würde.

“KI-gestützt” ist kein Standard für die Datenqualität.

Handelskosten können den scheinbaren Vorteil zunichte machen

Viele Backtests gehen davon aus, dass ein Auftrag zum zuletzt notierten Kurs ausgeführt wird. Die realen Märkte sind da weniger entgegenkommend.

Eine Strategie ist mit Provisionen, Geld-Brief-Spannen, Marktauswirkungen, Finanzierungskosten und Verzögerungen zwischen der Signalgenerierung und der Ausführung verbunden. Diese Effekte sind besonders wichtig für Strategien mit hohem Umsatz, weniger liquide Wertpapiere und Fonds, die versuchen, erhebliches Kapital einzusetzen.

Ein Modell kann über Tausende von Handelsgeschäften hinweg einen geringen theoretischen Vorteil aufzeigen. Sobald realistische Ausführungskosten berücksichtigt werden, kann dieser Vorteil jedoch verschwinden. Wenn andere Unternehmen dasselbe Signal entdecken, kann es zudem zu einer Überbelegung des Handels kommen, was die Kosten für den Einstieg in die Position und den Ausstieg aus ihr erhöht.

Die Kapazität ist daher Teil der Anlagestrategie. Eine Strategie, die bei 100.000 Euro funktioniert, funktioniert möglicherweise nicht bei 100 Millionen Euro. Backtesting-Software sollte Liquidität, teilweise ausgeführte Orders, Ordertypen und Slippage modellieren, anstatt von einer unbegrenzten Ausführung zu einem günstigen Preis auszugehen.

Die vorgeschlagene Strategie sollte auch unter schlechteren Bedingungen getestet werden, als der Manager erwartet. Was passiert, wenn sich die Spreads verdoppeln, die Ausführung verzögert wird, die Finanzierungskosten steigen oder mehrere Positionen gleichzeitig geschlossen werden müssen? Eine Strategie, die nur unter idealen Annahmen tragfähig bleibt, ist für den Einsatz mit echtem Kapital nicht robust genug.

Historische Regime müssen voneinander getrennt werden

Eine einzelne Kennzahl kann verschleiern, wo eine Strategie tatsächlich Gewinne erzielt hat.

Ein KI-Modell kann über einen Zeitraum von 15 Jahren erfolgreich erscheinen, weil es in einer bestimmten, ungewöhnlichen Phase außergewöhnlich gut abgeschnitten hat. Dies kann auf sinkende Zinsen, stabile Korrelationen oder einen anhaltenden Aktienhausse zurückzuführen sein. Das durchschnittliche Ergebnis sagt wenig darüber aus, wie sich das Modell verhalten könnte, wenn diese Phase endet.

Forscher sollten die Wertentwicklung nach Marktbedingungen unterteilen: steigende und fallende Zinsen, hohe und niedrige Volatilität, inflatorische und disinflationäre Phasen, liquide und angespannte Märkte. Sie sollten untersuchen, ob derselbe wirtschaftliche Mechanismus regionen- und anlageklassenübergreifend gilt.

Das Ziel besteht nicht darin, zu beweisen, dass eine Strategie unter allen Umständen erfolgreich ist. Das gilt nur für wenige Strategien. Vielmehr geht es darum, zu verstehen, wann sie funktionieren sollte, wann sie Schwierigkeiten haben dürfte und ob die beobachtete Performance mit dieser Erklärung übereinstimmt.

Hier kommt es nach wie vor auf wirtschaftliches Denken an. Maschinelles Lernen kann zwar ein Muster erkennen, ohne jedoch zu erklären, warum die Marktteilnehmer dieses Muster weiterhin erzeugen würden. Eine glaubwürdige Strategie sollte das Verhalten, die institutionellen Zwänge, die Risikoprämie oder die strukturelle Ineffizienz identifizieren, die hinter der Rendite stehen.

Ohne diese Begründung sollen Anleger glauben, dass die Korrelation von gestern auch morgen noch eine Chance darstellt.

Der Test sollte schrittweise schwieriger werden

Ein seriöser Validierungsprozess besteht nicht nur aus einem einzigen Backtest.

Das Modell sollte zunächst anhand einer Trainingsstichprobe entwickelt und anschließend anhand von Daten getestet werden, die aus dem Forschungsprozess ausgeklammert wurden. Bei der Walk-Forward-Analyse kann das Modell wiederholt anhand eines früheren Zeitfensters trainiert und im nächsten Zeitraum getestet werden, wodurch besser widergespiegelt wird, wie es in der Praxis aktualisiert worden wäre.

Forscher sollten zudem die Annahmen variieren. Wenn eine Strategie nur bei einem Rückblickzeitraum von 47 Tagen funktioniert, bei 45 oder 50 Tagen jedoch versagt, könnte ihre scheinbare Genauigkeit trügerisch sein. Ein robuster Zusammenhang sollte in der Regel auch bei angemessenen Änderungen der Parameter, Kosten und Stichprobendaten bestehen bleiben.

Der nächste Schritt ist das Papierhandel oder der Testbetrieb, bei dem Signale in Echtzeit generiert werden, ohne das gesamte Kapital einzusetzen. Dabei treten Unterschiede zwischen historischen und Live-Daten, Softwarefehler, Ausführungsverzögerungen und operative Annahmen zutage, die im Backtest nicht erfasst wurden.

Erst nach diesen Phasen sollte Kapital zugeführt werden, und zwar zunächst in einer Höhe, die es dem Unternehmen ermöglicht, die tatsächliche mit der simulierten Performance zu vergleichen, ohne dabei ein unverhältnismäßiges Risiko einzugehen.

QuantConnect selbst weist darauf hin, dass Live-Algorithmen in der Regel andere Ergebnisse liefern als Backtests, da eine Simulation die Realität nicht perfekt abbilden kann. Die Abgleich-Tools des Unternehmens vergleichen Live-Ergebnisse mit einem Out-of-Sample-Backtest, um festzustellen, an welcher Stelle die beiden Ergebnisse voneinander abweichen. Diese Abweichung ist kein Nachteil, den es zu verbergen gilt. Sie liefert vielmehr Informationen darüber, wie die Strategie im realen Markt funktioniert.

Generative KI braucht eigene Kontrollmechanismen

Große Sprachmodelle können Forschern beim Schreiben von Backtesting-Code helfen, doch plausibler Code ist nicht unbedingt korrekter Code.

Ein Modell kann einen subtilen Vorausschaufehler verursachen, Zeitzonen falsch behandeln, angepasste Preise falsch verwenden oder Transaktionskosten so berechnen, dass die Performance besser dargestellt wird, als sie tatsächlich ist. Es kann auch ein Datenfeld oder eine Bibliotheksfunktion erfinden, die gar nicht existiert.

Jede KI-generierte Komponente sollte daher von einer Person überprüft, getestet und dokumentiert werden, die in der Lage ist, sie zu verstehen. Unternehmen sollten eine Versionskontrolle einrichten, Änderungen am Modell protokollieren und die für jedes Ergebnis zugrunde gelegten Annahmen festhalten.

Auch die Vertraulichkeit spielt eine Rolle. Proprietäre Strategien, Kundenpositionen und lizenzierte Marktdaten sollten nicht ohne ausdrückliche Genehmigung und geeignete vertragliche Kontrollmechanismen in öffentliche KI-Systeme eingegeben werden. Ein praktischer Programmierassistent darf nicht zu einem unkontrollierten Kanal werden, über den geistiges Eigentum das Unternehmen verlässt.

Die Verantwortung liegt weiterhin beim Menschen. “Das Modell hat den Code geschrieben” ist keine Rechtfertigung, wenn Geld verloren geht oder Kunden irreführende hypothetische Wertentwicklungen präsentiert werden.

So bewerten Sie eine Backtesting-Plattform

Die erste Frage sollte nicht lauten, wie viele KI-Funktionen die Plattform bietet. Vielmehr sollte es darum gehen, ob das System die Bedingungen nachbilden kann, unter denen die Strategie tatsächlich handeln würde.

Käufer sollten die Herkunft und Historie der Daten, den Umgang mit delisteten Wertpapieren, Kapitalmaßnahmen sowie die Fundamentaldaten zu einem bestimmten Zeitpunkt prüfen. Sie sollten verstehen, wie die Plattform Gebühren, Spreads, Slippage, Liquidität und die Auftragsausführung modelliert.

Ebenso wichtig ist die Reproduzierbarkeit. Kann ein anderer Forscher denselben Test durchführen und das gleiche Ergebnis erzielen? Werden Datensätze, Code-Versionen und Parameteränderungen protokolliert? Kann das Unternehmen seine Arbeit exportieren, oder wird die Strategie von der Infrastruktur eines einzelnen Anbieters abhängig?

Sicherheit und Governance gewinnen an Bedeutung, sobald die Plattform mit einem Live-Brokerage-Konto verbunden ist. Zugriffsberechtigungen, Genehmigungsworkflows, Prüfprotokolle und Notfallkontrollen sollten mit derselben Sorgfalt geprüft werden wie die Anlagelogik. Ein schlecht gesteuertes Modell kann eine falsche Entscheidung mit maschineller Geschwindigkeit umsetzen.

Der Preis sollte im Hinblick auf den gesamten Betriebsbedarf beurteilt werden. Ein kostengünstiges Tool kann teuer werden, sobald das Unternehmen Fachdaten, Rechenkapazitäten und Brokerverbindungen erwirbt. Umgekehrt ist eine hochentwickelte institutionelle Plattform für einen Nutzer, der Strategien mit geringer Handelsfrequenz bei liquiden Wertpapieren testet, möglicherweise unnötig.

Was ein aussagekräftiger Backtest zeigen sollte

Ein Anlageausschuss sollte mehr als nur eine Grafik zur kumulierten Rendite erhalten.

In der Präsentation sollten die Anlagehypothese, die wirtschaftlichen Gründe für deren mögliche Fortbestand sowie die Daten, die zum Zeitpunkt der jeweiligen Entscheidungsfindung verfügbar waren, dargelegt werden. Es sollte offengelegt werden, wie viele Strategievarianten getestet wurden, welche Annahmen sich geändert haben und wie das endgültige Modell ausgewählt wurde.

Die Wertentwicklung sollte vor und nach Berücksichtigung realistischer Kosten, unter verschiedenen Marktbedingungen und anhand einer wirklich unverfälschten Stichprobe dargestellt werden. Maximaler Drawdown, Umschlagshäufigkeit, Liquidität, Konzentration und Kapazität sind mindestens ebenso wichtig wie die ausgewiesene Rendite.

Vor allem sollte der Manager die Bedingungen erläutern, unter denen die Strategie voraussichtlich scheitern wird. Ein Forscher, der diese Grenze nicht beschreiben kann, versteht das Modell möglicherweise nicht gut genug, um es zu steuern.

KI ermöglicht es, mehr Strategien schneller und mit scheinbar höherer Raffinesse zu entwickeln. Das ist nützlich, erhöht aber auch die Anforderungen an die erforderliche Skepsis. Der stärkste KI-gestützte Backtesting-Prozess ist nicht derjenige, der die beeindruckendste historische Performance aufzeigt. Es ist derjenige, der darauf ausgelegt ist, schwache Strategien auszusortieren, bevor sie mit echtem Geld umgesetzt werden.