READ-ONLY

Das Forum ist jetzt ein schreibgeschütztes Archiv.

Für Fehlerberichte und Fragen zur Plattform → [email protected]

Unsere Community lebt auf Discord und YouTube - komm zu uns!

Mehrfachprüfung

36 Antworten

krzysiaczek99

Abonnent, bbp_participant, Community, 68 Antworten.

Profil besuchen

vor 11 Jahren #114121

Hallo,

 

Es ist bekannt, dass die bei der Strategie-Quantisierung verwendete Methodik zu einer falschen Entdeckung der Strategien führt.

 

http://link.brightcove.com/services/player/bcpid2207682327001?bckey=AQ~~,AAAAt6-8xFk~,r8nyyutNWdB9cOzqmiiiQxC0oXMNGP7d&bclid=2204845638001&bctid=3878525144001

http://eranraviv.com/multiple-testing/
 

http://www.financial-math.org/

 

siehe auch David H. Bailey, Jonathan M. Borwein, Marcos Lopez de Prado und Qiji Jim Zhu, "Pseudo-mathematics and financial charlatanism: The effects of backtest over fitting on out-of-sample performance,". Bekanntmachungen der Amerikanischen Mathematischen Gesellschaft, Mai 2014, pg. 458-471

 

Können Sie das Maß für die Wahrscheinlichkeit eines Backtest-Overfittings vorstellen?

 

Krzysztof

0

krzysiaczek99

Abonnent, bbp_participant, Community, 68 Antworten.

Profil besuchen

vor 11 Jahren #132929

Ich habe festgestellt, dass die SQ-Backtest-Ergebnisse und die MT4-Ergebnisse im Allgemeinen übereinstimmen. Wenn sie nicht übereinstimmen, vermute ich, dass Sie das Backtesting in MT4 nicht richtig durchführen. Erste MT4 zu Backtesting propertly braucht Drittanbieter-Unterstützung wie Birt's Tick Data Suite.

 

Klingt, als hätten Sie sich entschieden: SQ und EA Analyzer sind im Moment nicht die richtigen Produkte für Sie. Vielleicht werden einige zukünftige Versionen mit dem übereinstimmen, was Sie suchen.

 

Viel Glück bei Ihrem Handel.

Ich habe eine Sache vergessen. Natürlich verunreinigt die Nichtberücksichtigung von Verzerrungen aufgrund von Mehrfachtests die gesamte Robustheitsanalyse, da die Eingabedaten (die gewählte Strategie) eine Verzerrung aufweisen, so dass dies auch ein Showstopper ist.....

 

MT4 Backtester ist OK, was nicht OK ist, sind die internen build in Funktionen von MQL wie iMAOnArray, iRSI und andere. Ich hatte das gleiche Problem mit Mismatch zwischen MT4 und MATLAB, aber wenn ich diese Funktionen mit benutzerdefinierten MQL-Funktionen ersetzt war es OK.

 

Persönlich denke ich, dass SQ und EA großartige Werkzeuge sind, da sie sogar mit dem, was ich geschrieben habe, der Konkurrenz voraus sind, z.B. durch die Möglichkeit der benutzerdefinierten Erweiterung, aber sicherlich brauchen sie mehr Arbeit.

 

Krzysztof

0

Mark Fric

Administrator, sq-ultimate, 2 Antworten.

Profil besuchen

vor 11 Jahren #133207

Krysztof, ich habe diese Artikel schon vor einiger Zeit gelesen, und ich möchte einige der dort erwähnten Dinge in die neue SQ 4 einbauen.

 

Aber am wichtigsten ist, dass wir das neue SQ 4 als offenes und erweiterbares System entwickeln, so dass es Ihnen als Benutzer möglich sein wird, Funktionen wie diese mit mehr oder weniger Programmieraufwand in das Programm einzufügen.

 

Was die Unterschiede zwischen SQ und MT4 angeht - das ist ein ewiges Thema, und normalerweise liegt das Problem entweder in unterschiedlichen Daten oder unterschiedlichen Testeinstellungen. Kleine Unterschiede in Daten oder Einstellungen könnten Fehler Auswirkungen auf die Ergebnisse haben - nur 1-2 verpasste Trades könnte sehr große diference machen.

Wenn der Test in SQ mit den gleichen Daten und Einstellungen durchgeführt wird, ist er praktisch gleichwertig mit NT4, abgesehen von kleinen Rundungsfehlern, die bei einigen Strategien einen großen Unterschied ausmachen können.

 

Aber was ich denke, ist wichtig zu erkennen ist, dass, wenn Strategie hat unterschiedliche Backtests in SQ und mT4 es könnte auch bedeuten, dass es nicht Gott genug - weil jeder Test ist nur eine Annäherung.
Der reale Handel wird wieder anders sein als ein Backtest und die Strategie sollte auch in einer veränderten Umgebung funktionieren.

Werfen Sie solche Strategien einfach weg und suchen Sie nach neuen.

Mark
StrategyQuant Architekt

0

krzysiaczek99

Abonnent, bbp_participant, Community, 68 Antworten.

Profil besuchen

vor 11 Jahren #133226

Krysztof, ich habe diese Artikel schon vor einiger Zeit gelesen, und ich möchte einige der dort erwähnten Dinge in die neue SQ 4 einbauen.

 

Aber am wichtigsten ist, dass wir das neue SQ 4 als offenes und erweiterbares System entwickeln, so dass es Ihnen als Benutzer möglich sein wird, Funktionen wie diese mit mehr oder weniger Programmieraufwand in das Programm einzufügen.

 

Was die Unterschiede zwischen SQ und MT4 angeht - das ist ein ewiges Thema, und normalerweise liegt das Problem entweder in unterschiedlichen Daten oder unterschiedlichen Testeinstellungen. Kleine Unterschiede in Daten oder Einstellungen könnten Fehler Auswirkungen auf die Ergebnisse haben - nur 1-2 verpasste Trades könnte sehr große diference machen.

Wenn der Test in SQ mit den gleichen Daten und Einstellungen durchgeführt wird, ist er praktisch gleichwertig mit NT4, abgesehen von kleinen Rundungsfehlern, die bei einigen Strategien einen großen Unterschied ausmachen können.

 

Aber was ich denke, ist wichtig zu erkennen ist, dass, wenn Strategie hat unterschiedliche Backtests in SQ und mT4 es könnte auch bedeuten, dass es nicht Gott genug - weil jeder Test ist nur eine Annäherung.
Der reale Handel wird wieder anders sein als ein Backtest und die Strategie sollte auch in einer veränderten Umgebung funktionieren.

Werfen Sie solche Strategien einfach weg und suchen Sie nach neuen.

 

 

 

 

Woher kommen diese Rundungsfehler? Wenn Sie die gleichen Daten und die gleichen Variablentypen (double, float) und die gleiche Genauigkeit beim Runden verwenden, gibt es keine Fehler. Ich arbeite seit 25 Jahren mit Softwaretests, daher ist es für mich schwer zu glauben ...... Wissen Sie es genau oder vermuten Sie es nur?

 

Krzysztof

0

Mark Fric

Administrator, sq-ultimate, 2 Antworten.

Profil besuchen

vor 11 Jahren #133237

Woher kommen diese Rundungsfehler? Wenn Sie die gleichen Daten und die gleichen Variablentypen (double, float) und die gleiche Genauigkeit beim Runden verwenden, gibt es keine Fehler. Ich arbeite seit 25 Jahren mit Softwaretests, daher ist es für mich schwer zu glauben ...... Wissen Sie es genau oder vermuten Sie es nur?

 

Ich weiß genau, dass es zwei Unterschiede gibt:

 

1. SQ ist in Java, während MT4 wahrscheinlich in C ist. Es gibt leichte Unterschiede in den Rundungsfunktionen (oder den Einstellungen, die sie verwenden) zwischen Funktionen in Java und C

 

2. Sie berücksichtigen nicht, dass MT4 mit allen Geschäften ungerundet arbeiten könnte und nur die resultierende Summe runden würde. Aber in dem Bericht, der QA lädt die Trades sind bereits gerundet, so dass ein kleiner Unterschied in der Endsumme.

Mark
StrategyQuant Architekt

0

krzysiaczek99

Abonnent, bbp_participant, Community, 68 Antworten.

Profil besuchen

vor 11 Jahren #133244

Ich weiß genau, dass es zwei Unterschiede gibt:

 

1. SQ ist in Java, während MT4 wahrscheinlich in C ist. Es gibt leichte Unterschiede in den Rundungsfunktionen (oder den Einstellungen, die sie verwenden) zwischen Funktionen in Java und C

 

2. Sie berücksichtigen nicht, dass MT4 mit allen Geschäften ungerundet arbeiten könnte und nur die resultierende Summe runden würde. Aber in dem Bericht, der QA lädt die Trades sind bereits gerundet, so dass ein kleiner Unterschied in der Endsumme.

Ticket Eröffnungszeit Typ Größe Artikel Preis S / L T / P Schlusszeit Preis Kommission Steuern Swap Profit
461143512015.08.24 01:28:12verkaufen 0,01 eurusd 1,13764 1,15767 1,11767 2015.08.24 02:36:001,14471 -0,08 0,00 0,00 -7,07

.

Aus Neugierde habe ich es überprüft. Also hier ist das Beispiel. Eröffnungskurs 1.13764, Schlusskurs 1.14471 Losgröße 0.01 also Gewinn = (1.13764-1.14471)*10000*0.01 = -7.07 also genau das was im Bericht steht. Wenn Sie die gleichen Daten und die gleiche Technik verwenden, werden Sie genau die gleichen Ergebnisse erhalten.

 

Wenn die Endsumme gerundet wird, kann man nur kleine Unterschiede erhalten, aber die Unterschiede zwischen MT4 und SQ sind manchmal riesig. Ich glaube, Richard hat Tomas vor etwa 2 Wochen ein solches Beispiel geschickt, aber bis jetzt keine Antwort erhalten. Wenn die Unterschiede sind riesig es bedeutet, dass SQ Backtester unzuverlässig ist.

 

Krzysztof

0

krzysiaczek99

Abonnent, bbp_participant, Community, 68 Antworten.

Profil besuchen

vor 11 Jahren #133245

Ich kann kein neues Thema im QA-Bereich erstellen, da ich die Fehlermeldung "Seite nicht gefunden" erhalte. Können Sie das beheben?

 

Krzysztof

0

Mark Fric

Administrator, sq-ultimate, 2 Antworten.

Profil besuchen

vor 11 Jahren #133247

Wenn die Endsumme gerundet wird, kann man nur kleine Unterschiede erhalten, aber die Unterschiede zwischen MT4 und SQ sind manchmal riesig. Ich glaube, Richard hat Tomas vor etwa 2 Wochen ein solches Beispiel geschickt, aber bis jetzt keine Antwort erhalten. Wenn die Unterschiede sind riesig es bedeutet, dass SQ Backtester unzuverlässig ist.

 

 

Sie vermischen zwei verschiedene Dinge. Große Unterschiede zwischen SQ und MT4 können durch Unterschiede in den Daten oder Einstellungen verursacht werden, nicht durch Rundungen. 

Rundungen können zu Differenzen nur in Cent führen.

 

 

Wenn die Unterschiede sehr groß sind, bedeutet dies, dass der SQ Backtester unzuverlässig ist.

 

 

Das ist ein Missverständnis darüber, wie Backtesting funktioniert. Backtesting ist sowohl in MT4 als auch in SQ nur eine Annäherung. Man kann nicht sagen, dass das Backtesting in MT4 besser ist als in SQ, nur weil es für eine bestimmte Strategie andere Ergebnisse liefert.

Was man sagen kann, ist, dass genau diese Strategie wahrscheinlich einige inhärente Eigenschaften hat, die es schwierig machen, einen Backtest durchzuführen, so dass kein Backtest zuverlässig sein wird.

Wenn Sie dieselbe Strategie in einem anderen Programm backtesten, werden Sie wieder andere Ergebnisse erhalten - das ist ein Problem der Strategie, nicht des Backtesters.

 

Es ist wirklich eine Zeitverschwendung, mit Strategien zu arbeiten, die zu unterschiedliche Ergebnisse zwischen MT4 und SQ haben - nehmen Sie sie so, wie sie sind - Strategien, die nicht zuverlässig rückgetestet werden können und vermieden werden sollten.

Mark
StrategyQuant Architekt

0

krzysiaczek99

Abonnent, bbp_participant, Community, 68 Antworten.

Profil besuchen

vor 11 Jahren #133249

Wow

 

Backtesting in MT4 und SQ ist nur ein Näherungswert

 

Ich kann es nicht glauben. Ich habe ein AI-System mit MATLAB und MT4 und MATLAB Backtesting übereinstimmend fast auf den Pip so ist nicht aproximation überhaupt !!!!

 

Eine große Diskrepanz kann entstehen, wenn Ihre interne Implementierung der Indikatoren sich von den MT4-Indikatoren unterscheidet und Sie diese im generierten Code auf MT4-Indikatoren und -Funktionen abbilden. Ein Beispiel dafür ist der iRSI, der anders implementiert ist als der Wilder RSI. Also mappt der MT4 Codegenerator Indikatoren auf MT4 eingebaute Indikatoren oder benutzerdefinierte Funktionen?

 

Krzysztof

0

Mark Fric

Administrator, sq-ultimate, 2 Antworten.

Profil besuchen

vor 11 Jahren #133251

Der von SQ generierte EA verwendet Standard-MT4-Indikatoren, und die Berechnung der Indikatoren in SQ sollte mit denen von MT4 übereinstimmen, wir haben sie alle in Java neu implementiert.

Aber Sie haben Recht, dass es einen Fehler (wenn auch unwahrscheinlich) oder nur einen Rundungsfehler in einigen der Indikatoren-Implementierung in SQ, die leicht unterschiedliche Indikator-Werte -> unterschiedliche Entry / Exit-Signale -> unterschiedliche Strategie Ergebnisse verursachen könnte.

 

Aber deshalb sage ich ja auch, dass Backtesting immer nur eine Annäherung ist.

 

Wenn Sie eine Strategie haben, die in einem Backtest gut funktioniert, und durch die Verwendung leicht abweichender Daten oder Indikatorenimplementierung (keine abweichende Logik, nur Rundungsfehler) die gesamte Strategie fehlschlägt, dann ist es keine zuverlässige Strategie.

Das bedeutet, dass die Strategie an die spezifische Daten/Indikatorenkombination angepasst ist.

 

Sie sollten Robustheitstests verwenden, um solche Strategien zu erkennen, die anfällig für Veränderungen bei Daten oder Indikatoren sind.

Erst wenn Ihre Strategie auch im Robustheitstest gut funktioniert, können Sie sicher sein, dass sie zuverlässig und nicht kurvenangepasst ist.

 

Ich möchte nicht für die Unterschiede zwischen MT4 und SQ werben, die Ergebnisse in beiden Programmen sollten in den meisten Fällen gleich oder ähnlich sein. Aber wenn sie nicht sind, bedeutet es in der Regel etwas anderes als Fehler in SQ.

Mark
StrategyQuant Architekt

0

krzysiaczek99

Abonnent, bbp_participant, Community, 68 Antworten.

Profil besuchen

vor 11 Jahren #133276

Marc,

Beim Softwareentwurf gibt es keine Annäherung - es gibt nur Fehler !!!!

Der Grund für diese Unstimmigkeiten ist die unterschiedliche Implementierung von Basisindikatoren in MT4 und SQ. Folgen Sie einfach meine Beiträge (fajst_k) in diesem Forum

http://www.forex-tsd.com/metatrader-4/8221-rsi-moving-average-30.html#post671448

bis Posten 325

Ich weiß das, weil ich eine Diskrepanz zwischen MATLAB und MT4 hatte, und als ich bestimmte eingebaute MT4-Funktionen durch benutzerdefinierte Funktionen ersetzte, bekam ich eine Übereinstimmung.

Die Robustheitsanalyse garantiert nicht die Überprüfung von Strategien, die im Backtest nicht mit MT4 übereinstimmen. Wenn die "gute" Strategie während des Handels mit neuen Daten konfrontiert wird, kann sie eine andere Richtung einschlagen und "schlechte" MT4-Funktionen können aufgerufen werden. Abgesehen davon, dass man in einem solchen Fall die Strategie nur aufgrund von Bugs wegwirft, kann diese Strategie wertvoll sein. Ändern Sie einfach Ihren MT4-Code-Generator und ersetzen Sie die "schlechten" eingebauten Funktionen von MT4 (iRSI, IMA, IMAoNArray und wer weiß was noch) durch eigene.

Ich kann immer noch kein neues Thema im QA-Bereich des Forums erstellen, da ich "Seite nicht gefunden" erhalte. Können Sie das beheben?

Krzysztof

0

Mark Fric

Administrator, sq-ultimate, 2 Antworten.

Profil besuchen

vor 11 Jahren #133292

Mein Ziel ist es, dass die Indikatoren in SQ und MT4 übereinstimmen und wir Tests für alle implementierten Indikatoren haben.

Sie stimmen überein, mit gelegentlichen sehr kleinen Differenzen bei der dritten und vierten Dezimalstelle, die durch Rundungsfehler und eine leicht unterschiedliche Implementierung von Mathematikfunktionen in Java verursacht werden.

 

Mir sind keine Fehler in SQ bekannt, bei denen Indikatoren sehr unterschiedliche Werte zu den von MT4 berechneten Werten aufweisen würden.

 

 

Ich kann immer noch kein neues Thema im QA-Bereich des Forums erstellen, da ich "Seite nicht gefunden" erhalte. Können Sie das beheben?

 

Ich kann den Fehler nicht finden. Könnten Sie mir die genaue URL schicken, die Sie zu öffnen versuchen?

Mark
StrategyQuant Architekt

0

krzysiaczek99

Abonnent, bbp_participant, Community, 68 Antworten.

Profil besuchen

vor 11 Jahren #133298

Nach dem Versuch, ein neues Thema im Quant Analyzer-Bereich zu erstellen, erhalte ich die Fehlermeldung "Seite nicht gefunden". Siehe Bildschirmfoto.

 

Krzysztof

Datei: scr.jpgscr.jpg

0

krzysiaczek99

Abonnent, bbp_participant, Community, 68 Antworten.

Profil besuchen

vor 11 Jahren #133299

Mein Ziel ist es, dass die Indikatoren in SQ und MT4 übereinstimmen und wir Tests für alle implementierten Indikatoren haben.

Sie stimmen überein, mit gelegentlichen sehr kleinen Differenzen bei der dritten und vierten Dezimalstelle, die durch Rundungsfehler und eine leicht unterschiedliche Implementierung von Mathematikfunktionen in Java verursacht werden.

 

Haben Sie ein Logfile von diesen Tests? Können Sie es im Forum präsentieren?

 

Krzysztof

0

Mark Fric

Administrator, sq-ultimate, 2 Antworten.

Profil besuchen

vor 11 Jahren #133303

Haben Sie ein Logfile von diesen Tests? Können Sie es im Forum präsentieren?

 

Was genau wollen Sie? Wollen Sie überprüfen, ob es so ist, wie ich es sage, oder was?

Dies sind standardmäßige JUnit-Tests, die OK zurückgeben, wenn alle Tests bestanden wurden. Ich habe keine Protokolldatei für sie. 

Mark
StrategyQuant Architekt

0

krzysiaczek99

Abonnent, bbp_participant, Community, 68 Antworten.

Profil besuchen

vor 11 Jahren #133310

Was genau wollen Sie? Wollen Sie überprüfen, ob es so ist, wie ich es sage, oder was?

Dies sind standardmäßige JUnit-Tests, die OK zurückgeben, wenn alle Tests bestanden wurden. Ich habe keine Protokolldatei für sie. 

Sie sollten das Testsignal in Ihre Indikatoren einspeisen und dann das gleiche Signal z.B. in die MT4-Indikatoren einspeisen. Dann sollten Sie die Ausgabeergebnisse vergleichen. Die einzige zulässige Abweichung sollte ein sehr kleiner Rundungsfehler sein. Dieser Test sollte für verschiedene Kombinationen und Werte der Eingangsparameter wiederholt werden, da Sie die Implementierung der eingebauten MT4-Funktionen nicht kennen und nicht garantieren können, dass sie sich richtig verhalten. Und natürlich sollte dieser Test mit Indikatoren von allen Handelsplattformen durchgeführt werden, für die SQ Strategiecode generiert. Haben Sie solche Tests durchgeführt? Wenn ja, stellen Sie ein Logfile zumindest für MT4 zur Verfügung.

 

Krzysztof

0

Ansicht von 15 Antworten - 16 bis 30 (von insgesamt 36)

← 1 2 3 →