Arten von Robustheitstests in SQX

In der Stichprobe / Aus der Stichprobe

In-Sample (IS)- und Out-of-Sample (OOS)-Tests sind wesentliche Konzepte bei der Entwicklung, Prüfung und Validierung von Handelsstrategien. Sie helfen dabei, die Robustheit von Strategien zu bewerten und sicherzustellen, dass sie nicht zu sehr an einen bestimmten Datensatz angepasst sind. Im Folgenden finden Sie eine ausführliche Erläuterung der In-Sample- und Out-of-Sample-Tests:

Definition von IS- und OOS-Daten:

In-Stichproben-Daten (IS): Die IS-Daten sind der Teil der historischen Daten, der für die Entwicklung und Optimierung der Handelsstrategie verwendet wird. Während des Strategieentwicklungsprozesses werden verschiedene Parameter, Regeln und Indikatoren angepasst und feinabgestimmt, um die bestmögliche Leistung auf den IS-Daten zu erzielen.

Daten außerhalb der Stichprobe (OOS): Die OOS-Daten sind ein separater, nicht sichtbarer Teil der historischen Daten, der für die Prüfung und Validierung der Handelsstrategie reserviert ist. Die OOS-Daten werden nicht im Entwicklungs- oder Optimierungsprozess verwendet, um sicherzustellen, dass die Leistung der Strategie auf diesen Daten eine unvoreingenommene Bewertung ihrer Effektivität und Robustheit ist.

Das Hauptziel der Verwendung von IS- und OOS-Daten besteht darin, die Robustheit und Generalisierbarkeit von Handelsstrategien zu bewerten. Durch die Bewertung der Leistung der Strategie sowohl bei IS- als auch bei OOS-Daten können die Nutzer eine potenzielle Überanpassung erkennen und sicherstellen, dass die Strategie nicht übermäßig für einen bestimmten Datensatz optimiert ist. Eine Strategie, die sowohl bei IS- als auch bei OOS-Daten gut abschneidet, ist wahrscheinlich widerstandsfähiger und anpassungsfähiger an sich ändernde Marktbedingungen.

Im Rahmen der Entwicklung und Prüfung von Handelsstrategien werden die historischen Daten in IS- und OOS-Segmente unterteilt. Die Strategie wird anhand der IS-Daten entwickelt und optimiert, und ihre Leistung wird dann anhand der OOS-Daten validiert. Die Benutzer können die Leistungsmetriken beider Datensätze vergleichen, um die Robustheit der Strategie zu bewerten und eine Überanpassung zu vermeiden.

Vorteile von In-Sample- und Out-of-Sample-Tests:

1. Prüfung der Robustheit: Durch den Vergleich der Leistung der Strategie auf IS- und OOS-Daten können die Nutzer ihre Robustheit und Verallgemeinerbarkeit beurteilen. Bei einer Strategie, die in beiden Datensätzen gut abschneidet, ist die Wahrscheinlichkeit einer Überanpassung geringer und die Wahrscheinlichkeit einer guten Performance im Live-Handel größer.

2. Validierung von Strategiekonzepten: Wenn eine Handelsstrategie bei OOS-Daten gut abschneidet, gibt dies zusätzliches Vertrauen, dass die zugrunde liegende Handelsidee solide ist und nicht nur ein Ergebnis der Kurvenanpassung oder des Zufalls.

3. Vermeidung von Overfitting: Die Verwendung von OOS-Daten trägt dazu bei, eine Überanpassung zu verhindern, da die Strategie gezwungen ist, ihre Effektivität auf einem ungesehenen Datensatz zu beweisen. Dadurch wird sichergestellt, dass die Strategie nicht übermäßig für einen bestimmten Datensatz optimiert ist und sich an veränderte Marktbedingungen anpassen kann.

Monte-Carlo-Tests

Monte-Carlo-Tests sind ein integraler Bestandteil der Robustheitstest-Tools von StrategyQuant X. Sie ermöglichen es den Nutzern, die Stabilität und Zuverlässigkeit ihrer Handelsstrategien unter verschiedenen Zufallsszenarien zu bewerten. Durch die Durchführung von Monte-Carlo-Simulationen können die Benutzer Einblicke in die mögliche Bandbreite der Ergebnisse ihrer Strategien gewinnen und deren Widerstandsfähigkeit gegenüber unerwarteten Marktereignissen und -bedingungen bewerten. Im Folgenden finden Sie eine ausführliche Erläuterung der Monte-Carlo-Tests in StrategyQuant X:

Was sind Monte-Carlo-Tests? 

Monte-Carlo-Tests sind eine statistische Methode, bei der eine große Anzahl von Zufallsszenarien simuliert wird, um die Leistung einer Handelsstrategie zu bewerten. Bei diesen Tests werden zufällige Variationen von Faktoren wie Handelsauftrag, Handelsslippage, Startkapital und Positionsgröße erzeugt, um die Leistung der Strategie unter verschiedenen Bedingungen zu analysieren. Durch die Untersuchung der Ergebnisse dieser Simulationen können die Benutzer die Stabilität und Zuverlässigkeit ihrer Handelsstrategien beurteilen.

Das Hauptziel von Monte-Carlo-Tests besteht darin, die Robustheit und Anpassungsfähigkeit von Handelsstrategien zu bewerten. Durch die Analyse der Leistung der Strategie unter verschiedenen zufälligen Szenarien können die Benutzer Einblicke in die potenzielle Bandbreite der Ergebnisse gewinnen und potenzielle Schwächen oder Anfälligkeiten erkennen. Diese Informationen helfen den Anwendern, die mit ihren Strategien verbundenen Risiken zu verstehen und fundierte Entscheidungen darüber zu treffen, ob sie sie in realen Handelsumgebungen einsetzen wollen.

In StrategyQuant X können Sie zwei Arten von Monte-Carlo-Tests verwenden:

Monte-Carlo-Handelsmanipulation

Bei dieser Gegenprobe werden Simulationen durchgeführt, bei denen in jeder Simulation die bestehenden Geschäfte manipuliert werden - sie werden neu gemischt, einige werden weggelassen usw.
Diese Funktion ist sehr schnell, da sie keine Backtests benötigt, sondern mit den vorhandenen Geschäften aus dem Haupt-Backtest arbeitet.
Die Idee dahinter ist, zu prüfen, wie sehr die Kurve der Strategie von der Reihenfolge der Geschäfte abhängt und was passiert, wenn einige Geschäfte nicht ausgeführt werden.

Sie können diese Handelsmanipulationen in jeder Simulation durchführen:

• Zufällige Reihenfolge der Trades - Dies ist der einfachste Test, bei dem die Reihenfolge der Trades zufällig gemischt wird. Dies ändert den Nettogewinn nicht, ist aber sehr nützlich, um die verschiedenen Variationen des Drawdowns zu untersuchen, die sich aus der unterschiedlichen Reihenfolge der Trades ergeben können.
• Gewerke zufällig überspringen - mit einer gewissen Wahrscheinlichkeit zufällig Trades auslassen. Im realen Handel kann es vorkommen, dass Sie einen Handel aufgrund eines Plattform- oder Internetfehlers auslassen oder einfach, weil Sie den Handel für einige Zeit unterbrechen. Dieser Test gibt Ihnen eine Vorstellung davon, wie die Aktienkurve aussehen könnte, wenn einige Trades zufällig ausgelassen werden.

Monte-Carlo-Wiederholungstest-Methoden

Dies ist eine weitere Art der Monte-Carlo-Simulation. In diesem Fall werden zufällige Änderungen der Eigenschaften simuliert, die ein erneutes Testen der Strategie erfordern - z. B. Änderungen des Spreads, der Slippage, der Strategieparameter oder der historischen Daten.

Da für jede Simulation ein vollständiger Backtest erforderlich ist, kann diese Gegenprüfung viel Zeit in Anspruch nehmen.
Wenn beispielsweise der Backtest mit den Hauptdaten 0,5 Sekunden gedauert hat und Sie in diesem Cross-Check 100 Simulationen durchführen wollen, können Sie davon ausgehen, dass er für jede Strategie, bei der er angewendet wird, 100 x 0,5 = 50 Sekunden dauern wird.

Wir werden die folgenden Arten von Tests durchführen Monte-Carlo-Wiederholungstest-Methoden

• Randomisierung der Strategieparameter - Jede Strategie verwendet Parameter, wie die Periode eines Indikators oder eine Konstante, zum Vergleich. Mit diesem Test wird geprüft, wie empfindlich die Strategie auf eine kleine Änderung des Parameterwerts reagiert. Die Änderungswahrscheinlichkeit ist die Wahrscheinlichkeit, dass ein Parameter seinen Wert ändert. Max. Parameteränderung ist der maximale Prozentsatz, um den der Parameter seinen Wert ändert. Wenn Sie zum Beispiel Max. Parameteränderung auf 10% setzen, kann ein Parameter mit dem Wert 60 zufällig auf einen Bereich von 54 - 66 (+- 10% seines ursprünglichen Wertes von 60) geändert werden.
• Randomisierung von Verlaufsdaten - Ein sehr häufiger Fall von Kurvenanpassung ist, wenn die Strategie zu sehr von den Verlaufsdaten abhängt. Diese Option prüft das Verhalten der Strategie, wenn die Verlaufsdaten geändert werden.

OOS/IS-Verhältnis

Stellt das Verhältnis der Metriken im Zeitraum außerhalb der Stichprobe zu den Metriken im Zeitraum innerhalb der Stichprobe dar

Das Verhältnis OOS / IS gibt den Grad der Verschlechterung der Strategie im Zeitraum außerhalb der Stichprobe im Vergleich zum Zeitraum innerhalb der Stichprobe an.

Unter Strategieverschlechterung versteht man die Verschlechterung der Leistung einer Handelsstrategie, wenn sie auf neue Daten angewendet wird, die noch nicht bekannt sind. Diese Verschlechterung tritt häufig auf, wenn eine Strategie, die für In-Sample-Daten (IS) optimiert und feinabgestimmt wurde, auf Out-of-Sample-Daten (OOS) getestet wird. Die Verschlechterung kann auf eine Überanpassung der Strategie an die IS-Daten oder auf veränderte Marktbedingungen zurückzuführen sein, an die sich die Strategie nicht anpassen kann.

Out-of-sample (OOS) und in-sample (IS) Metriken sind entscheidende Konzepte bei der Entwicklung, Prüfung und Validierung von Handelsstrategien. Diese Metriken helfen bei der Bewertung der Robustheit von Strategien und stellen sicher, dass sie nicht übermäßig an einen bestimmten Datensatz angepasst sind.

Das Hauptziel der Verwendung von OOS/IS-Verhältnissen besteht darin, die Robustheit und Generalisierbarkeit von Handelsstrategien zu bewerten. Indem Sie die Leistung der Strategie sowohl bei IS- als auch bei OOS-Daten bewerten, können Sie eine potenzielle Überanpassung erkennen und sicherstellen, dass die Strategie nicht übermäßig für einen bestimmten Datensatz optimiert ist. Eine Strategie, die sowohl bei IS- als auch bei OOS-Daten gut abschneidet, ist wahrscheinlich widerstandsfähiger und anpassungsfähiger an sich ändernde Marktbedingungen.

Multi Market Tests (Tests auf zusätzlichen Märkten)

Multi-Market-Testing ist eine wesentliche Funktion von StrategyQuant X, mit der Sie die Leistung und Anpassungsfähigkeit Ihrer Handelsstrategien für verschiedene Finanzinstrumente oder Marktbedingungen bewerten können. Dieser Testansatz zielt darauf ab, Strategien zu identifizieren, die nicht nur in einem einzelnen Markt effektiv sind, sondern auch in verschiedenen Marktumgebungen gut funktionieren. Dadurch wird das Risiko einer Überanpassung verringert und die Wahrscheinlichkeit einer erfolgreichen Handelsleistung erhöht.

Der Hauptzweck des Multi-Market-Tests besteht darin, die Robustheit und Flexibilität einer Handelsstrategie zu ermitteln. Eine Strategie, die auf mehreren Märkten gut abschneidet, ist wahrscheinlich widerstandsfähiger und anpassungsfähiger an sich ändernde Marktbedingungen, da sie sich unter einer Vielzahl von Umständen bewährt hat. Das Testen mehrerer Märkte hilft den Nutzern, Strategien zu identifizieren, die nicht übermäßig für einen bestimmten Markt optimiert sind. Dadurch wird das Risiko einer Überanpassung verringert und die Erfolgschancen beim Live-Handel verbessert.

Beim Multi-Market-Testing testen Sie Ihre Handelsstrategien auf verschiedenen Finanzinstrumenten, wie Aktien, Währungspaaren, Rohstoffen und Indizes. Mit StrategyQuant X können Sie mehrere Instrumente auswählen und Backtests für jedes Instrument durchführen, um die Leistung der Strategie zu bewerten. Anschließend können Sie die Ergebnisse analysieren, Leistungskennzahlen für verschiedene Märkte vergleichen und Strategien identifizieren, die eine gleichbleibende Leistung und Anpassungsfähigkeit aufweisen.

Durch das Testen von Strategien auf mehreren Märkten können die Nutzer Systeme ermitteln, die robuster sind und weniger anfällig für übermäßige Anpassungen. Eine Strategie, die sich auf mehreren Märkten bewährt, ist wahrscheinlich widerstandsfähiger gegenüber sich ändernden Marktbedingungen. Multi-Market-Tests helfen den Nutzern, ein diversifiziertes Portfolio aufzubauen, indem sie Strategien identifizieren, die in verschiedenen Instrumenten gut abschneiden. Diese Diversifizierung kann dazu beitragen, das Gesamtrisiko des Portfolios zu verringern und die langfristige Performance zu verbessern.

Wenn sich ein Strategiekonzept auf mehreren Märkten bewährt, ist dies eine zusätzliche Bestätigung dafür, dass die zugrunde liegende Handelsidee solide ist und nicht nur das Ergebnis einer Kurvenanpassung oder eines Zufalls.