Was wir aus der Analyse von 1,2 Millionen FX-Strategien gelernt haben

Teil 1: Komplexität und Anzahl der Trades

Vor etwa anderthalb Jahren kam ich zu dem Schluss, dass der Rand meines Strategieentwicklungs-Workflows immer kleiner wurde. . In 2014-15, machen 40-55% pro Jahr auf FX war ein No-Brainer. In den Jahren 2016-2017 wurde es immer schwieriger, mit dem Standard-Workflow Gewinne zu erzielen. Daher beschloss ich, einige Paradigmen einiger Verfahren im statistischen Detail zu untersuchen und zu analysieren.

Wir haben also etwa 1,2 Millionen Strategien generiert und dabei nur grundlegende Filter wie eine Mindestanzahl von Trades und Stabilität SQ3 > 0,6 verwendet. Wir haben die größtmögliche Datenstichprobe für den Zeitraum 1987-2017 IS + OS und für den Zeitraum 2017-2020 verwendet. ( WFOS )
Als True Out-of-sample (WFOS ) haben wir den Zeitraum 2019-2020 - zwei Jahre - verwendet. Während dieses Zeitraums haben wir die Auswirkungen der Auswahl, der Robustheitstests und anderer Analysen beobachtet.

Wir haben Strategien für einen 1-Stunden-Zeitrahmen und einen 4-Stunden-Zeitrahmen entwickelt, wir haben die Darwinex-Gebührenstruktur verwendet und hatten 1 Pip Slippage in jedem Markt.

Das Ziel war zu erforschen:

welche Faktoren bei der Strategieauswahl Einfluss haben True-Out-of-sample-Leistung ( WFOS )

Wie grundlegende Robustheitstests funktionieren

• Komplexität vs. True Out-of-sample ( WFOS) Leistung
• die Auswirkung der Anzahl der Abschlüsse auf die Leistung der Strategie
• Streuungsanalyse im Vergleich zu True Out-of-sample (WFOS) Leistung

Wie es funktioniert

• Monte-Carlo-Filterung
• SPP
• Multimarkt-Tests

Bei der Entwicklung der Analyse habe ich mich von Interviews mit Händlern von Better System und auch von mehreren anderen Interviews mit verschiedenen Hedge-Fonds-Managern inspirieren lassen, und natürlich von den in StrategyQuant X verfügbaren Werkzeugen für Robustheitstests.

Ich habe das Python-Tool verwendet, zumindest die Pandas-Bibliothek, und mit der Jupyter Notebook IDE gearbeitet.
Für die Erstellung einer so großen Anzahl von Strategien waren 3 starke PCs mit insgesamt etwa 150 Kernen erforderlich. Die Generierung selbst dauerte einen Monat und weitere anderthalb Monate für Vorbereitung und Tests. Wir hatten zwei Personen, die daran arbeiteten. Die anfängliche Form der Analyse war das manuelle Testen von Faktoren in Python, später verwendete ich Methoden des maschinellen Lernens, um meine Ergebnisse zu validieren.

Wir haben auf diesen Märkten die folgenden Auszeichnungen erhalten:

Edit: Zusätzliche Informationen hinzugefügt:

• Im Builder haben wir alle möglichen Ausstiegsarten außer der Ausstiegsregel aktiviert. Wir haben auch Exit On Friday aktiviert, um Wochenendlücken zu vermeiden.
• Der einzige verwendete Einstiegstyp unserer Strategien war Enter at stop

Komplexität

Ursprünglich war ich an der Komplexität interessiert. Wenn wir die Strategie als ein durch Data Mining gewonnenes Modell betrachten, können wir das Paradigma des maschinellen Lernens und verschiedene andere Quellen dazu nutzen, wie sich die Komplexität des Modells auf die Out-of-sample-Performance auswirkt. In unserem Fall können wir davon ausgehen, dass sich die Komplexität der durch Data Mining gewonnenen Strategie auf die Leistung der Strategie in ihrer True Out-of-sample Performance (WFOS - ein Teil der Daten, der bei der Entwicklung oder Auswahl der Strategie nie verwendet wurde) auswirkt.

In der obigen Abbildung sind alle Strategien nach Komplexität geordnet und ihre Auswirkungen auf die mittlere Strategie in einem bestimmten Komplexitätsintervall dargestellt (Intervall 2-3 bedeutet alle Strategien mit Komplexität 2 usw.).

• WFOS Medianer Nettogewinn
• WFOS Medianer Gewinnfaktor

In dem orangefarbenen Rahmen sehen wir zwei Spalten

• Rel. freq: relative Häufigkeit der Strategien in einem bestimmten Intervall (Eimer)
• Anzahl: Anzahl der Strategien in einem bestimmten Intervall (Eimer)

Es ist zu beachten, dass Strategien mit hoher Komplexität niedrigere Medianwerte für den Nettogewinn und den Gewinnfaktor in WFOS (True Out-of-sample ) aufwiesen. Umgekehrt wiesen Strategien mit höherer Komplexität schlechtere Medianwerte auf.

Betrachten wir nun die grafische Darstellung der obigen Tabelle

Komplexität vs. WFOS Median Nettogewinn

Hinweis: Die rote Linie stellt den durchschnittlichen Komplexitätswert des Datensatzes dar.

Aus dem obigen Diagramm geht hervor, dass Strategien mit der Komplexität 2 und 3 sehr schlechte True-Out-of-Sample-Medianergebnisse erzielten. Ungewöhnlich schlechte Ergebnisse erzielten auch die Strategien mit der höchsten Komplexität von 19. Es ist jedoch zu beachten, dass es sich hierbei um Ausreißer handelt, d. h. um Strategien, die zahlenmäßig sehr gering sind.

Komplexität vs. WFOS-Profit-Faktor

Wenn wir den Datensatz um Ausreißer bereinigen (ich wähle nur die Werte der Komplexität aus, bei denen die höchste Anzahl von Strategien gefunden wird), sehen wir die obigen Beobachtungen aus den vorherigen Diagrammen noch deutlicher.

Ich wähle nur Strategien aus, deren Komplexität höher als 3 und niedriger als 13 ist.

In der obigen Abbildung sehen wir, dass die Medianwerte des Nettogewinns und des Gewinnfaktors umso besser sind, je niedriger die Komplexität ist (Komplexität 4, 5, 6 und Medianwerte im grünen Rahmen).

Werfen wir einen Blick auf die visuelle Darstellung der obigen Tabelle

Je geringer die Komplexität der Strategie ist, desto besser ist das Ergebnis des WFOS Median Net und des WFOS Median Profit Factor.

In der Analyse verwende ich auch inferentielle parametrische und nichtparametrische Tests. Es wurde die Nullhypothese formuliert, dass es keinen statistisch signifikanten Unterschied zwischen WFOS NP und PF mit Komplexität 4,5,6 im Vergleich zu Strategien mit Komplexität 7-13 gibt. Die Testergebnisse zeigen, dass wir die Nullhypothese ablehnen und die Alternativhypothese akzeptieren können. Eine große Anzahl von Strategien verringert die Standardabweichung erheblich und erhöht die Signifikanz des Tests.

Anzahl der Gewerke

Bei der Analyse der Anzahl der Trades bin ich davon ausgegangen, dass je höher die Anzahl der Trades ( je größer die Stichprobe der Trades ) ist, desto aussagekräftigere Erkenntnisse erhalten wir über die letztendliche Qualität des Modells. ( Strategien )

Welches Ergebnis der in SQX generierten Strategie ist glaubwürdiger? Diejenige, die 10 Abschlüsse in 10 Jahren generiert oder diejenige, die 1000 Abschlüsse in 10 Jahren generiert?

Betrachten wir nun eine grundlegende Analyse unseres Datensatzes:

Verteilung der Strategien nach der Anzahl der Trades im gesamten Backtest

Verteilung der Strategien nach mehreren Geschäften, eingeteilt in Dezile

Wir können die grundlegenden Merkmale der Verteilung der Anzahl der Trades erkennen. Beachten Sie das 1. Dezil und das 10. Sie repräsentieren die Intervalle 97-470 Abschlüsse (1 Dezil) und 1598 bis 9575 Abschlüsse. ( 10 Dezil)
Ich werde versuchen, dieses Problem durch Entfernen der Ausreißer zu lösen.

In der obigen Abbildung ist zu erkennen, dass selbst nach der Bereinigung des Datensatzes die steigende Anzahl von Trades und damit die statistische Signifikanz der Performance von WFOS Median Net Profit a WFOS Profit Factor nicht zuträglich ist.

In der obigen Grafik können wir sehen, dass eine höhere Anzahl von Trades nicht zu besseren WFOS Median Net Profit und WFOS Profit Factor Ergebnissen führt. Bitte bedenken Sie insbesondere, dass ich nur eine Auswahl treffe. Wir wählen die Strategien nicht auf der Grundlage anderer Parameter aus.
Im Gegenteil, die Ergebnisse zeigen, dass weniger Abschlüsse bessere Ergebnisse bei WFOS bedeuten können.

Komplexität + NoT

Versuchen wir, die Erkenntnisse aus der vorherigen Komplexitätsanalyse zu kombinieren und Strategien mit einer Komplexität von 4 bis 6 und mehreren Trades zwischen 480 und 2600 auszuwählen.

Die Veränderung ist spürbar. Die Kombination von Strategien mit geringerer Komplexität und Anzahl von Trades in den Intervallen 1326-1708 und 1708-2599 führt zu deutlich besseren Ergebnissen bei WFOS Median Net Profit und WFOS Profit Factor.

Fazit des ersten Teils

Es ist zu erkennen, dass die Komplexität in unserem Datensatz die True Out-of-sample 1,2 Strategien beeinflussen kann. Die Anzahl der Trades ohne Kombinationen hat keinen Einfluss, aber in Kombination mit der Komplexität ist sie ein starker Faktor. Wir erinnern Sie daran, dass dies der erste Teil einer größeren Serie ist.

Die Anzahl der Gewerke ohne Kombinationen hat keinen Einfluss, aber in Kombination mit der Komplexität ist sie ein starker Faktor.

Was bedeutet das genau? Dass man versuchen sollte, Strategien zu entwickeln, die so einfach wie möglich sind und gleichzeitig so viele Trades wie möglich produzieren.
Wenn Sie die Komplexität Ihrer Strategien in SQX beeinflussen wollen, sollten Sie die Anzahl der Ein- und Ausstiegsregeln gering halten. Ich persönlich bevorzuge maximale Einstiegsbedingungen von 1-2.

Hier können Sie die Anzahl der Eingabebedingungen angeben, die sich direkt auf die Komplexität auswirken:

In der nächsten Folge nächste Woche werden wir die Robustheit der Strategie gegenüber einem höheren Spread untersuchen. In den nächsten Folgen werden wir die empfohlenen Standardkennzahlen wie Profit Factor, Rer/DD Ratio und andere durchgehen. In den folgenden Folgen werden wir einen Blick auf die Wirksamkeit von Monte-Carlo-Tests und SPP werfen.