Wie robust ist robust genug?
31 Antworten
_Cujo
vor 10 Jahren #115074
Welche Einstellungen verwenden Sie bei Monte-Carlo-Robustheitstests? Mir ist klar, dass man nie zu vorsichtig sein kann, und es geht um Geld, und ich muss sicher sein, also möchte ich die Robustheitstests nicht zu sehr einschränken, aber...
Ich begann mit dem oberen Bild. Jede getestete Strategie schlug nicht nur fehl, sondern war sehr, sehr, sehr schlecht. Das brachte mich zum Nachdenken, vielleicht sind meine Einstellungen (oberes Bild) zu streng. Mäßig erfolgreiche Strategien, die dieselben IS-Daten für das Monte-Carlo-Verfahren verwenden, würden nicht nur zur Zerstörung des Kontos, sondern zur völligen Auslöschung führen.
Wenn man alles zusammenzählt, gibt es zum Beispiel eine 60% Chance, dass etwas passiert, wie 20% Parameteränderung, oder 20% Preisänderung, usw...logisch, das fühlt sich sehr schwer an.
Wo ich angefangen habe

Ich habe einige Experimente, zunächst denken - wenn ich eine Reihe von Strategien, auf dem gleichen IS, laufen sie durch die Monte-Carlo-Simulation, und optimieren Sie es so die robusteste Netto-Gewinn war ~10% jede Seite, möglicherweise über richtig. Aber das fühlte sich ein bisschen zu risikooptimiert an, weil ich mit meinen Robustheitseinstellungen ein bestimmtes Ergebnis anstrebte, was sich falsch anfühlte (und sowieso sehr schwierig war).
Dann dachte ich - ich weiß, ich werde einfach die Hälfte alles, was immer noch eine 30% Chance etwas passiert, wie ein Handel übersprungen wird oder Parameter ändern, etc... was mich mit diesem unten links...
Wo ich jetzt bin

Dann habe ich angefangen, daran zu zweifeln, also dachte ich, ich frage mal um Rat. Welche Einstellungen verwenden Sie, um die Robustheit der Monte-Carlo-Simulation zu testen? Vielleicht ist sogar Bild 2 zu schwer?
Wie viele Monte-Carlo-Simulationen durchgeführt werden sollen
Das hat mich wirklich zum Nachdenken darüber gebracht, wie viele Simulationen ich durchführen soll:
- 5000 ist in etwa genug, 7500 ist besser und 10.000 ist zu viel, von eine Studie, die Studien über Monte-Carlo-Simulationen untersucht hat.
- 500-1000 ist genug, wenn Sie Waffen testen, aber die Ergebnisse stabilisieren sich nach ~500. Ich denke, der Unterschied zwischen 98% tot und 95% tot ist irrelevant.
- Mindestens 440 Malwenn Sie eine spezielle, professionelle Risikoanalysesoftware verwenden (Anmerkung: professioneller Risikoanalysator, nicht professioneller Händler).
- Vieles deutet darauf hin, dass die Anzahl der Durchläufe von der Standardabweichung der Daten abhängt, mit denen man es durchführt.
Für die Anzahl der Durchläufe zur Bewertung des Handelssystems rät ambi broker zu 1000 (hier und hier), Vanguard do 5000 läuft, war die niedrigste Empfehlung, die ich gefunden habe 500aber der beste Rat schien zu sein, es um 4000 herum zu skalieren, je nachdem, wie viele Parameter in Ihrem System sind... wie viele haben Sie?
Ich habe meine Vertrauensstufe von 95% auf 98% geändert, wodurch ich mich sicherer fühle, aber ich frage mich immer noch, welche Einstellungen ich verwenden soll...?
0
_Cujo
vor 10 Jahren #137131
Wird Monte Carlo über die gesamte ausgewählte Datenreihe oder nur über die IS oder OOS ausgeführt?
Wenn ich zum Beispiel 2004 und 2005 mit 50% IS/OOS teste, wird dann der Monte-Carlo-Lauf sowohl über 2004 als auch über 2005 durchgeführt...? Kennen Sie das?
0
Statistik
vor 10 Jahren #137132
Wird Monte Carlo über die gesamte ausgewählte Datenreihe oder nur über die IS oder OOS ausgeführt?
Wenn ich zum Beispiel 2004 und 2005 mit 50% IS/OOS teste, wird dann der Monte-Carlo-Lauf sowohl über 2004 als auch über 2005 durchgeführt...? Kennen Sie das?
Das SQ-Handbuch ist dein Freund 🙂
Wenn Sie das Handbuch nicht lesen, können Sie die Seite Robustheit lesen (siehe Screenshots). Die Ergebnisse in der Tabelle beziehen sich auf die vollständigen Daten (In Samlple + Out of Sample).
Ich habe noch ein weiteres Problem, das ich im nächsten Beitrag behandeln werde.
0
Statistik
vor 10 Jahren #137133
Monte Carlo basiert auf dem Zufallsprinzip, d.h. wenn Sie ein paar Mal RUN drücken, erhalten Sie völlig unterschiedliche Ergebnisse im MC-Bereich. Das ist zwar richtig, verfehlt aber den Zweck des Tests.
es ist wie Lotterie für die Strategen. man kann nur durch Zufall gewinnen 🙂
Also meine einfache Frage, wie oft sollte ich RUN drücken. lol?
Ich kann alle Strategien nur mit RUN buttom bestehen oder scheitern lassen. hehe.
Siehe Bildschirmfoto.
0
Statistik
vor 10 Jahren #137139
Wie kann ich also einer Sache vertrauen, die völlig vom GLÜCK abhängt?
es funktioniert wie erwartet, keine Fragen über sie gestellt werden, wie es eindeutig in den Beschreibungen angegeben ist: Randomisiere dies und das.
Randomisieren bedeutet Glück 🙂
Aber wir setzen unser ganzes Vertrauen auf dieses LUCK, um eine funktionierende Strategie auszuwählen. wie ironisch das ist 🙁
Kann sich jemand mit einem sienspezifischen Abschluss dazu äußern?
Ich hätte nie zweimal auf "START" drücken sollen, ich bin seit über zehn Jahren Anhänger von MC.
Nun, ich totalaly verloren, wie ich einen kleinen Test mit 5 Strategien laufen, so dass sie profitabel mit 100% Vertrauen und dann nächste paar läuft, komplett fehlgeschlagen!
Aber es ist besser spät als nie, oder?
Ich danke Ihnen im Voraus für alle Kommentare.
0
Patrick
vor 10 Jahren #137140
Die RT-Prüfung ist nicht vom Glück abhängig.
1000 Tests sind statistisch gesehen "100% sicher", aber in der Regel reichen für die Rohfilterung 100 Durchläufe aus.
Führen Sie also mehr Läufe durch und alles wird gut. Sicherlich, wenn Sie 10 Läufe durchführen, ist es nicht genug, um alle Möglichkeiten zu sehen - deshalb ist es gut und schlecht
Wenn man zuerst 100 Durchläufe macht und nach 1000 Durchläufen, was durch 100 geht, wird das meiste durch tausend kommen. aber 10 Tests sind wirklich lächerlich.
0
Statistik
vor 10 Jahren #137142
Danke Patrick, 1000 Tests ist das gleiche wie 100 mal mit 10 Tests 🙂 .
Dieses Thema beweist also, dass Power in Numbers jeder, der einen 100test durchführen will, lesen muss.
Ich habe 10 Tests durchgeführt, nur um den Punkt zu beweisen, lassen Sie mich 1000 zuerst tun, wie es auch passieren könnte 🙂 als auch 1000 wird nicht endlos posobilites decken aber gibt uns mehr Vertrauen in die Strategie.
Ich werde mit weiteren Tests zurückkommen, da ich dies heute abschließen möchte.
0
Patrick
vor 10 Jahren #137143
Nein, es ist anders. 1000 Tests sind nicht 10×100 Tests, in 10×100 Tests können sich einige Tests wiederholen. In 1000 Tests ist jeder Test anders als andere. Kein Test wird im Gegensatz zu 10×100 Tests wiederholt.
Sie müssen nicht 1000 Aktien kaufen, 100 reichen aus, um die wahrscheinlichsten Simulationsergebnisse zu sehen. Leichte Abweichungen können auftreten - wichtig ist, dass die meisten Aktien steigende Kurse aufweisen. es ist nicht wichtig, dass alle Aktien gut aussehen.
0
Statistik
vor 10 Jahren #137144
10x Tests
Durchführung von Robustheitstests für die Strategie USDJPY-M15-14.40
Test USDJPY-M15-14.40 ..... 6.219 s.
FERTIG in 7,641 s.
100x Tests
Durchführung von Robustheitstests für die Strategie USDJPY-M15-14.40
Test USDJPY-M15-14.40 ..... 55.067 s.
ERFOLGT in 58,442 s.
1000x Tests
Durchführung von Robustheitstests für die Strategie USDJPY-M15-14.40
Test USDJPY-M15-14.40 ..... 542.407 s.
FERTIG in 566,611 s.
Nochmals vielen Dank, Patrick,
Nun zu den Fragen über die Geschwindigkeit des Tests.
Ich bin auf einem Server testen und mit nur 32 Kerne für jetzt mit 32GB RAM (Ich werde bis zu 128Core/128GB zu erhöhen). Während dieser Test CPU nicht verwendet wird (6%) ram über 6GB (viel Ersatz ein links), Festplatte wird nicht verwendet.
SQ ist so konfiguriert, dass alle 32 Kerne verwendet werden, aber er verwendet sie nicht. In WFO sind jedoch alle 32 Kerne mit 80-90% bestückt.
Können Sie bitte erklären, wie es dauert eine lange Zeit, um diese 100 Tests zu verarbeiten, 10 Tests dauert 58 Sekunden, so 100 wird etwa 10 Minuten dauern, ich denke, es ist besser, Korrelation erste tun und entfernen wiederholte Strategien dann tun Robust Test Simulation.
Bitte beraten Sie mich.
Danke.
0
Statistik
vor 10 Jahren #137145
Ich habe eine Strategie gewählt, die keine signifikante Equty-Kurve hat, nur um sie zu testen.
Und führen Sie alle Tests 10x / 100x / 1000x durch,
In diesem Fall ist der Unterschied sehr gering, und es gibt fast keinen Unterschied zwischen 100x und 1000x Tests.
siehe meine Tests unten:
Ich werde versuchen, etwas Besseres zu finden, um zu sehen, ob es viel mit der Menge der Tests ändert, aber ich benutze Robust-Einstellungen wie in meinem frühen Beitrag, ich denke, es ist Overkill, aber das ist, was Mark / Partic in Standard 🙂 lol setzen
Danke für alle Kommentare.
0
Statistik
vor 10 Jahren #137146
Alle bisherigen Tests wurden auf Dukas Copy M15 mit der Auflösung M1 durchgeführt.
Jetzt ist es an der Zeit, mit echten Tickdaten zu arbeiten.
Bei den 100x-Tests haben alle bestanden, aber die ursprüngliche Strategie ist kläglich gescheitert.
Die Strategie wurde auf M15 (nur ausgewählter Zeitrahmen) und nicht auf M1/Tick generiert, die Robustheit wurde während der Generierung ausgeschaltet.
Irgendwelche Kommentare?
Danke.
0
_Cujo
vor 10 Jahren #137162
Ja, wenn ich mir das hier ansehe, denke ich, dass zwischen 100 und 1000 Tests kaum ein Unterschied besteht, sie sehen ähnlich aus.
Im Moment führe ich 550 Tests durch, einfach weil (basierend auf einigen der Lesungen, die ich im OP hervorgehoben habe).
Wenn ich mir Ihre Studie ansehe, dann ändere ich das auf 100.
0
Tomas Matejka
vor 10 Jahren #137169
Alle bisherigen Tests wurden auf Dukas Copy M15 mit der Auflösung M1 durchgeführt.
Jetzt ist es an der Zeit, mit echten Tickdaten zu arbeiten.
Bei den 100x-Tests haben alle bestanden, aber die ursprüngliche Strategie ist kläglich gescheitert.
Das klingt merkwürdig. Wir werden prüfen, ob es ein mögliches Problem gibt
Könnten Sie auch USDJPY 15 min 14.40 Strategie anhängen?
0
Statistik
vor 10 Jahren #137174
Ja, mit Blick auf diese... Ich denke, zwischen 100 und 1000 Tests, wenig Unterschied, sie sehen similar.right jetzt, ich bin laufen 550 Tests nur weil (basierend auf einige der Lesung, die ich in OP hervorgehoben).Wenn ich mir Ihre Studie ansehe, dann ändere ich das auf 100.
Dies ist richtig, mit Blick auf diese 1000 Tests werden Sie die Strategie abwählen, nur weil ONE geht ein bisschen Süden für 40 Trades, gut es bedeutet nur, die Strategie hat 0.1% von Chancen zu gehen, dass Weg. In Wirklichkeit ist es weniger, da ich sehr harte Bedingungen gesetzt.
0
Statistik
vor 10 Jahren #137175
Das klingt merkwürdig. Wir werden es überprüfen, ob es ein mögliches Problem gibtKönnten Sie auch USDJPY 15 min 14.40 Strategie anhängen?
Danke Tomas,
Dies ist absolut ODD, kann ich nicht reproduzieren die gleichen Ergebnisse, nichts geändert, die gleichen Daten die gleichen Einstellungen.
Ich glaube, ich habe denselben PC verwendet, aber es war spät, so dass ich einen Fehler machen könnte. Heute funktioniert alles wie erwartet.
Aber aus dem Screenshot können Sie sehen, dass alle die gleichen, Daten, Paare.
Durchführung von 100 Tests mit der gleichen Strategie.
Dies wird mit M1-Auflösung 100 Tests getestet.
0
Statistik
vor 10 Jahren #137178
sorry, ich hätte ein besseres Handelssystem nehmen sollen, aber es war nicht der Punkt, den ich sehen wollte, wie MC wirkt, und es war ODD, dass einige Handelssysteme RT besser als Equity Curve hatten, das war in der Tat sehr seltsam.
Die Euity-Kurve spielt also keine Rolle, aber wenn man sie sehen will, ist das keine sehr gute Strategie,
Ich bin mir nicht sicher, was gestern passiert ist. Ich glaube, ich habe es auf einem Windows 2012 Server getestet und dieses Mal teste ich auf einem Windows 2008 Server.
0