READ-ONLY

Das Forum ist jetzt ein schreibgeschütztes Archiv.

Für Fehlerberichte und Fragen zur Plattform → [email protected]

Unsere Community lebt auf Discord und YouTube - komm zu uns!

Logik einiger der Robustheitstests

11 Antworten

afhampton

Kunde, bbp_participant, Gemeinschaft, 26 Antworten.

Profil besuchen

vor 7 Jahren #237813

Ich bin jetzt schon ein paar Jahre dabei und habe mich tief genug in die Details des Algo-Trading eingearbeitet, dass ich einige der Logiken in Frage stelle, die ich zu Beginn für selbstverständlich hielt. Ich bin mir sicher, dass jeder seine eigene Meinung zu meinen nachstehenden Herausforderungen hat, und ich bin wirklich an der Logik hinter dem Denken interessiert. Teilen Sie uns Ihre Gedanken dazu mit, warum Sie das verwenden, was Sie tun, und wie es Ihnen bei der Identifizierung Ihrer Strategie geholfen hat.

 

1. Ich stimme vollkommen mit Robustheitstests überein: variabler Slippage, variabler Spread, Randomisierung des Startbalkens, Randomisierung der historischen Daten (Wahrscheinlichkeit 20, maximale Änderung der ATR 5-10%), Randomisierung des Mindestabstands vom Preis, Randomisierung der Handelsreihenfolge (Exact und Resampling) und zufälliges Überspringen von Trades. Alle diese Maßnahmen machen für mich innerhalb bestimmter Bereiche durchaus Sinn und scheinen ausreichend zu sein, um mich von einer Überoptimierung und Kurvenanpassung abzuhalten.

 

Hier sind diejenigen, die für mich keinen Sinn ergeben. Wenn Sie eine stichhaltige Begründung für Ihre gegenteilige Meinung haben, teilen Sie sie bitte mit mir und helfen Sie mir zu erkennen, wo ich vielleicht falsch liege.

 

1. Testen Sie gegen andere Währungspaare - Warum sollten wir erwarten, dass eine Strategie, die auf einem Paar aufgebaut wurde, auch bei einem anderen wirksam ist, selbst wenn sie über einen gewissen Zeitraum "hoch" korreliert sind? Jedes Währungspaar (insbesondere die Hauptwährungen) hat aufgrund der Zentralbanken und anderer wichtiger Akteure, die es kontrollieren, seine eigene "Persönlichkeit". Wenn eine unabhängige Zentralbank dahinter steht, macht es keinen Sinn zu erwarten, dass sich eine "verwandte" Währung auf die gleiche Weise entwickelt (z. B. EURUSD, GBPUSD). Sie werden unabhängig voneinander verwaltet. Wenn SQ also eine Strategie entwickelt, die für ein Paar wirksam ist, sollte ich meiner Meinung nach nur erwarten, dass sie nur für dieses Paar und für kein anderes gilt.

 

2. Testen Sie mit anderen Zeitrahmen - Wenn SQ eine Strategie entwickelt, die unsere Anforderungen (PF, DD, Net Profit usw.) auf einem Zeitrahmen erfüllt, warum sollten wir dann erwarten, dass sie auf einem anderen kürzeren oder längeren Zeitrahmen auch nur annähernd funktioniert - insbesondere wenn Indikatoren beteiligt sind? Die Indikatorwerte werden von den Parametern und der Anzahl der Balken usw. bestimmt. Wenn derselbe Indikator auf einem Diagramm platziert wird, das die Hälfte, 1/4 oder 4x so groß ist wie ein anderes, sind die Werte, die er ausgibt, in vielen Fällen völlig unterschiedlich. Daher sind die Regeln für den Einstieg in den Handel bzw. den Ausstieg aus dem Handel, die auf dem Wert dieser Indikatoren basieren, in dem anderen Zeitrahmen nicht mehr anwendbar. Warum um alles in der Welt sollten wir also erwarten, dass die Strategie auch nur annähernd die Leistung des ursprünglichen Zeitrahmens erreicht?

 

3. Randomize Strategie-Parameter - Wie bei #2 oben, mit Indikator getrieben Strategien, die Strategie-Parameter sind, was fahren die Berechnungen. Wenn man sie also höher/niedriger einstellt, wird das sicherlich die Ausgabewerte und damit die Regeln für den Einstieg/Ausstieg beeinflussen. Dieser Test erscheint mir nur dann sinnvoll, wenn ich die Leistungserwartung der Strategie so weit herabsetze, dass sie im Verhältnis zu der Änderung steht, die ich bei den Parametern einführe/zulasse. Wenn mein Standard für PF 1,5 ist und ich 20% Änderungen in die Parameter einführe, macht es für mich keinen Sinn, von der Strategie zu erwarten, dass sie einen PF von 1,5 beibehält. Die Strategie wurde entwickelt, um bestimmten Bedingungen zu entsprechen, die sich in den Werten der Indikatoren widerspiegeln. Wenn sich diese Bedingungen ändern, sollte ich nicht erwarten, dass die Regeln eingehalten werden und somit das gleiche Leistungsniveau erreicht wird.

 

Ich würde mich freuen, wenn andere, erfahrenere SQ-Nutzer ihre Meinung zu diesen Themen kundtun würden. Es mag sicherlich Dinge geben, die ich nicht bedenke und über die ich aufgeklärt werden muss. Was denken Sie?

 

0

Enric

Kunde, bbp_participant, Community, sq-ultimate, 107 Antworten.

Profil besuchen

vor 7 Jahren #237818

1TP9Wahrscheinlich werde ich kein erfahrener Nutzer sein, aber wenn ich darf, würde ich gerne meine Meinung dazu sagen, denn das ist ein Thema, das ich gelesen habe, über das ich nachgedacht habe und von dem ich glaube, dass es der Schlüssel zu diesem Geschäft ist. Ich habe irgendwo gelesen, dass man seine Strategie so gut wie möglich durchsetzen muss, sonst wird der Markt es für einen tun. Für mich ist das der Grund, die Multimarket- und Multitimeframe-Tests als Teil der Robustheitstests hinzuzufügen. Die Gründe sind mir nicht so wichtig, aber ich ziehe es vor, einen Haufen guter Strategien zu verwerfen, anstatt einige überbewertete für gut zu befinden.

Bezüglich der Parameter der Randomisierungsstrategie. Für mich ist das vielleicht der wichtigste Test. Zwischen unseren Backtests und der Live-Ausführung gibt es einen Nebel von Variablen, die alle gegen uns spielen; i) SQ Backtest entspricht nicht genau der Realität. Sogar der SQ-Backtest stimmt nicht genau mit dem MT4-Backtest überein (Sie können das überprüfen), ii) die Broker-Ausführung ist nicht präzise, iii) die historischen Daten, die wir verwendet haben, sind nicht die gleichen wie die des Brokers, zumindest in meinem Fall, denn mein Broker stellt seine historischen Daten nicht zur Verfügung.

Und Sie haben einen Test übersprungen: die Walk Forward Matrix. Ich wende sie als letzten Test an, um die Strategie zu bestätigen

0

mabi

Kunde, bbp_participant, Community, sq-ultimate, 252 Antworten.

Profil besuchen

vor 7 Jahren #237822

Als kurze Antwort auf alle Ihre Punkte ist, dass der einzige Grund, diese Tests zu tun ist, um herauszufinden, wie empfindlich die Strategie auf verschiedene Veränderungen im Markt ist, wenn die aktuellen Einstellungen völlig versagen es war wahrscheinlich Kurve an die Daten angepasst ist es auf und finden es war nur ein Glückstreffer oder es war nur über optimiert durch Glück. Wenn aber der Wechsel der Märkte oder das Randomisieren von Parametern eine mittlere negative Auswirkung auf die Performance hat, würde Ihnen das sagen, dass sie ziemlich gut ist, so wie sie ist, und dass sie höchstwahrscheinlich sogar verbessert und durch Optimierung an einen anderen Markt angepasst werden kann. Normalerweise sind Strategien, die durch Optimierung an andere Märkte angepasst werden können, an denen sie in ihrer ursprünglichen Form gescheitert sind, robust und können auch live gehandelt werden, und dafür haben wir jetzt das hervorragende Tool Opt.profile und SPP.

0

afhampton

Kunde, bbp_participant, Gemeinschaft, 26 Antworten.

Profil besuchen

vor 7 Jahren #237827

Vielen Dank für Ihre Erkenntnisse, Enric und Mabi. Sie beide erwähnen Überanpassung und Überoptimierung. Wie ich bereits in meinem ersten Beitrag erwähnt habe, machen die Robustheitstests, die ich in Punkt #1 aufgeführt habe, für mich absolut Sinn - jeder von ihnen befasst sich mit etwas Realistischem auf dem Markt, um Überanpassung zu vermeiden. Ich kann Ihnen versichern, dass nichts, was meine Robustheitstests bestanden hat, "durch Zufall" zustande gekommen ist. Sie berücksichtigen die Möglichkeiten von Veränderungen, die zu erwarten sind - und die alle die von Ihnen angesprochenen Punkte berücksichtigen würden.

 

Die Frage an Sie lautet also: Wenn die Dinge, über die Sie besorgt sind, bereits durch spezifische Robustheitstests abgedeckt sind, warum sollten Sie dann verlangen, dass sie andere Tests bestehen, die absolut nichts mit den "realistischen" Hindernissen zu tun haben, denen Ihre Strategie auf dem Markt begegnen wird? Welches sind die spezifischen Probleme, die diese Tests angehen (die nicht bereits in früheren Tests behandelt wurden)?

0

Enric

Kunde, bbp_participant, Community, sq-ultimate, 107 Antworten.

Profil besuchen

vor 7 Jahren #237829

@afhampton. Sie stellen die Notwendigkeit von Multimarket und Multitimeframe als gültige Robustheitstests in Frage. Ich habe Meinungen von ausgebildeten Händlern gesehen, die auf beiden Seiten argumentieren. Ich glaube nicht, dass irgendjemand eine absolute Antwort geben kann.

Ich ziehe es vor, diese Tests in meinen Arbeitsablauf zu integrieren. Ich sehe das so: Wenn ich mich irre, habe ich gute Strategien verworfen, was schade ist. Andererseits, wenn Sie diese Tests ausschließen und sich irren, werden Sie überbewertete Strategien einbeziehen. Die erste Option gibt mir mehr Sicherheit.

Schließlich hat @maby zwei zusätzliche Tests auf SQX zur Verfügung gestellt. Natürlich werde ich sie auch in meinen Arbeitsablauf einbeziehen. Ich werde versuchen, meine Strategien im Bauprozess so weit wie möglich zu reduzieren, damit sie nicht mein Konto zerstören.

0

mabi

Kunde, bbp_participant, Community, sq-ultimate, 252 Antworten.

Profil besuchen

vor 7 Jahren #237830

Niemand sagt, dass man sie ausführen muss. Bei Futures habe ich den Test nur mit korrelierten Instrumenten durchgeführt, da er sonst ohne Optimierung bei den unkorrelierten Instrumenten fehlschlagen würde. Im Devisenhandel sind die meisten Instrumente korreliert, so dass es wie zusätzliche Daten ist. Wenn man es auf EurUsd macht und es dann auf GbpUsd testet, hat man weitere 15 Jahre OOS. Aber Sie haben Recht, es ist nicht offensichtlich, dass es viel helfen, wenn man die Leistung von live gehandelten Strategien betrachtet.

0

Ilja

Kunde, bbp_participant, Gemeinschaft, 99 Antworten.

Profil besuchen

vor 7 Jahren #237832

Toller Thread, ich werde auch meine 2 Cent dazugeben.

Obwohl ich Leute verstehen kann, die ihre Strategien auf jede mögliche Weise in Frage stellen wollen, stimme ich persönlich mit Ihnen in den Punkten 1 und 2 überein. Ich sehe Multi-Market- und Multi-Time-Frame-Checks nicht als gültige Robustheitstests an, ich mache sie, um zu sehen, ob ich mit meiner Strategie auch einen anderen Markt handeln kann, aber mehr nicht. Definitiv nicht missachten eine Strategie, die alle meine anderen Tests bestanden, auf der Grundlage von ihm.

Man sollte auf jeden Fall seine Strategie so weit wie möglich ausreizen und herausfordern, aber wenn ich ein guter Rapper bin, werde ich nicht in einem Opernsaal auftreten, das wird wahrscheinlich in einem Desaster und Buhrufen enden, oder?.. Ich werde mich an die Rap-Clubs halten.

 

Punkt 3, "Randomisierung von Strategieparametern", sehe ich folgendermaßen:

- Für mich ist es im Grunde dasselbe wie "Randomize Historical Data", nur auf den Kopf gestellt. Ich werde ein Beispiel geben:

Zur Vereinfachung: Nehmen wir an, Sie haben eine Strategie, die long geht, wenn der Preis unter dem SMA der letzten 5 Balken kreuzt und schließt.

Nehmen wir an, dass die Schlusskurse der letzten 5 Bars zu einem bestimmten Zeitpunkt wie folgt lauten: 5, 10, 15, 20, 25. Dann ist der SMA zu diesem Zeitpunkt 15.

Jetzt während Ihrer Test mit zufälligen historischen DatenUm zu sehen, ob die geringfügige Änderung der historischen Daten Auswirkungen auf Ihre Strategie hat oder nicht, ändern wir die Schlusskurse leicht ab, z. B. auf "6, 11, 14, 22, 27", richtig? Also dieses Mal die SMA zu diesem bestimmten Zeitpunkt ist 16 (im Gegensatz zu 15 der wahren Daten), und Sie wollen sehen, ob das SMA von 16, wird immer noch Ihre EA gehen long/short, wie viel Sie gewinnen/verlieren dieses Mal im Vergleich zu der ursprünglichen Situation, etc. und für Sie ist das ein gültiger Test, um die Strategie in verschiedenen, aber relevanten Bedingungen zu testen.

 

Nehmen wir nun an, Sie machen eine randomize strategy parameters test mit denselben Daten, so dass Ihr EA dieses Mal SMA(6) statt SMA(5) wie die ursprüngliche Strategie berücksichtigt, und nehmen wir an, dass der historische Schlusskurs des Balkens vor den 5 genannten Balken 21 ist. Jetzt haben Sie die folgenden Schlusskurse der letzten 6 Balken: 21, 5, 10, 15, 20, 25. Der SMA davon ist? 16. Sie kommen also im Wesentlichen zu demselben Ergebnis wie bei den leicht veränderten historischen Daten, nur eben "auf den Kopf gestellt", indem Sie Ihre Tests diversifizieren.

 

Mit anderen Worten, wir versuchen, die historischen Daten aus der Sicht des EA zu ändern (natürlich ohne sehr große Änderungen), anstatt aus der Sicht der Daten, und sehen, wie die Strategie damit umgeht. Das ist eine zusätzliche Herausforderung für die Strategie, von der Sie erwarten können, dass sie sie überlebt. Da die Änderungen, die wir vornehmen, im Vergleich zu den historischen Daten radikaler sind, ist dies in der Regel auch ein anspruchsvollerer Test...

 

0

Enric

Kunde, bbp_participant, Community, sq-ultimate, 107 Antworten.

Profil besuchen

vor 7 Jahren #237833

Ich verstehe Ihren Standpunkt und bin dennoch anderer Meinung.

Deinem Beispiel folgend. Wenn du ein guter Sänger bist, könntest du vielleicht Rap oder Oper spielen. Wenn du Rapper bist, wirst du mit der Oper nicht leben können, aber ich bin sicher, dass du es gut machen wirst 🙂 .

Sie haben Recht mit den Randomize-Parametern, aber stellen Sie sich ein Strat mit einem StopLoss = 0,73 * SMA(5) vor. Wenn ich die SMA-Periode ändere, erhalte ich dasselbe Ergebnis wie beim Ändern der historischen Daten. Ok, kein Problem für mich, einen redundanten Test zu haben. Aber wenn ich den Parameter 0,73 ändere, könnte das im echten Handel passieren.

0

Ilja

Kunde, bbp_participant, Gemeinschaft, 99 Antworten.

Profil besuchen

vor 7 Jahren #237834

Ich verstehe Ihren Standpunkt und bin dennoch anderer Meinung. Um bei deinem Beispiel zu bleiben. Wenn du ein guter Sänger bist, kannst du wahrscheinlich Rap oder Oper spielen. Wenn Sie Rapper sind, werden Sie nicht in der Lage sein, Ihren Lebensunterhalt mit der Oper zu verdienen, aber ich bin sicher, Sie werden es gut machen 🙂 Sie haben Recht mit den Randomize-Parametern, aber stellen Sie sich ein Strat mit einem StopLoss = 0,73 * SMA(5) vor. Wenn ich die SMA-Periode ändere, erhalte ich das gleiche Ergebnis wie beim Ändern der historischen Daten. Ok, kein Problem für mich, einen redundanten Test zu haben. Aber wenn ich den Parameter 0,73 ändere, könnte das im echten Handel passieren.

Es ist völlig in Ordnung, dass Sie anderer Meinung sind, und ich wünsche Ihnen Glück. Für mich ist das nur eine Form von Perfektionismus, die schön ist, wenn sie funktioniert, aber nicht notwendig. (Ich meine, nicht jeder ist Freddy Mercury, oder?)

Ich stimme auch mit dem zweiten Teil Ihrer Nachricht überein, das ist nur ein weiterer Grund, diesen Test zu verwenden. Mein Beispiel war nur eine Grundlage für die Notwendigkeit dieses Tests, aber es hilft mir nicht wirklich weiter, wenn ich am Ende einfach das Gleiche tue wie die Änderung der Verlaufsdaten. Der ganze Punkt ist die Darstellung einer verschiedene Situation in unserem EA, sei es die Änderung der Periode, leichte Änderungen von SL/TP, wenn er auf ATR/Pips basiert, oder Koeffizientenänderungen, wie Sie vorgeschlagen haben. Solange die Änderung nicht zu radikal ist, ist das alles eine gute und relevante Herausforderung, die es zu bewältigen gilt.

 

Ilja

0

afhampton

Kunde, bbp_participant, Gemeinschaft, 26 Antworten.

Profil besuchen

vor 7 Jahren #237845

.... Mein Beispiel war nur eine Grundlage für die Notwendigkeit eines solchen Tests, ... Ilya
Das ist genau die Art von Engagement, auf die ich bei dieser Frage gehofft habe, und ich gratuliere Ilja zu seiner ausgezeichneten logischen Begründung für den Test der zufälligen Parameterwerte - unterstützt durch ein legitimes Beispiel. Sehr gut erklärt, und ich könnte meine Meinung zu diesem speziellen Test noch einmal überdenken.
Die nächste Frage, die sich mir stellt, ist: "Wie viel Veränderung ist bei der Randomisierung von Parameterwerten angemessen? Es muss einen vernünftigen Ansatz geben. Ich bin absolut damit einverstanden, Strategien gründlich zu testen, aber es muss vernünftige Grenzen geben. In einigen Beiträgen ist von "vernichtenden" Strategien die Rede. Ich kann jede Strategie zerstören, die jemand entwickelt, indem ich die Bedingungen und Filter unangemessen hoch ansetze. Aber das macht keinen Sinn. Das Ziel ist es, Strategien zu finden, die den normalen Bedingungen, den routinemäßigen Manipulationen und den gelegentlichen extremen Marktentwicklungen standhalten können. Das macht sie robust. Aber genau wie bei anderen Tests muss die Bandbreite gerechtfertigt sein. Ich kann Ihnen sagen, warum mein Slippage-Test auf 5-10 Pips festgelegt ist ... weil es dafür einen Präzedenzfall auf dem Markt gibt. Ich kann Ihnen sagen, warum meine Spread-Tests auch 3-12 Pips betragen - weil es auf dem Markt Präzedenzfälle gibt.
Wie viel Veränderung ist also für den Test der zufälligen Parameterwerte sinnvoll und warum?

0

mabi

Kunde, bbp_participant, Community, sq-ultimate, 252 Antworten.

Profil besuchen

vor 7 Jahren #237900

Viele Strategien, mit denen ich handele, wurden für ein anderes Instrument oder einen anderen Zeitrahmen entwickelt, haben sich aber bewährt, so dass ich sie verwendet habe. Das hat mir viele Monate der Erstellung erspart und mir erlaubt, schnell diversifizierte Portfolios aufzubauen.

0

afhampton

Kunde, bbp_participant, Gemeinschaft, 26 Antworten.

Profil besuchen

vor 7 Jahren #237905

Danke Mabi. Sie sprechen einen sehr guten Punkt an. Wie sieht die Korrelation dieser Strategien aus, wenn Sie ein Portfolio nehmen und es durch Quant Analyzer laufen lassen?

0

Ansicht von 11 Antworten - 1 bis 11 (von insgesamt 11)