SOLO LETTURA

Il forum è ora un archivio di sola lettura.

Per segnalazioni di bug e domande sulla piattaforma → [email protected]

La nostra comunità vive su Discord e YouTube: unisciti a noi!

UNISCITI A NOI SU Discordia YouTube

test multipli

36 risposte

krzysiaczek99

Abbonato, partecipante al bbp, comunità, 68 risposte.

Visita il profilo

11 anni fa #114121

Ciao,

 

È noto che la metodologia utilizzata nella strategia quant introduce una falsa scoperta delle strategie.

 

http://link.brightcove.com/services/player/bcpid2207682327001?bckey=AQ~~,AAAAt6-8xFk~,r8nyyutNWdB9cOzqmiiiQxC0oXMNGP7d&bclid=2204845638001&bctid=3878525144001

http://eranraviv.com/multiple-testing/
 

http://www.financial-math.org/

 

Si veda anche David H. Bailey, Jonathan M. Borwein, Marcos Lopez de Prado e Qiji Jim Zhu, "Pseudo-matematica e ciarlataneria finanziaria: Gli effetti dell'over fitting del backtest sulla performance fuori campione". Avvisi della Società Matematica Americana, maggio 2014, pagg. 458-471

 

Potete introdurre la misura della probabilità di overfitting del backtest?

 

Krzysztof

0

krzysiaczek99

Abbonato, partecipante al bbp, comunità, 68 risposte.

Visita il profilo

11 anni fa #132929

In generale, ho riscontrato che i risultati del backtest SQ e i risultati della MT4 si allineano. In caso contrario, sospetto che il backtesting in MT4 non sia corretto. Per far sì che MT4 esegua il backtest in modo corretto è necessario un supporto di terze parti come Tick Data Suite di Birt.

 

Sembra che tu abbia preso una decisione, SQ e EA analyzer non sono i prodotti che fanno per te al momento. Forse alcune versioni future si allineeranno a ciò che state cercando.

 

Buona fortuna nel trading.

Ho dimenticato una cosa. Naturalmente, il fatto di non tenere conto dei bias dovuti ai test multipli contamina l'intera analisi di robustezza, in quanto i dati di input (la strategia scelta) hanno un bias, quindi è anche uno show stoppper.....

 

Il backtester MT4 è OK, quello che non è OK sono le funzioni interne di MQL come iMAOnArray, iRSI e altre. Ho avuto lo stesso problema di mancata corrispondenza tra MT4 e MATLAB, ma quando ho sostituito queste funzioni con funzioni MQL personalizzate è andato tutto bene.

 

Personalmente ritengo che SQ ed EA siano ottimi strumenti, in quanto anche con quelli che ho scritto sono in vantaggio rispetto alla concorrenza grazie, ad esempio, alla possibilità di estendere i prodotti in modo personalizzato, ma sicuramente hanno bisogno di più lavoro.

 

Krzysztof

0

Mark Fric

Amministratore, sq-ultimate, 2 risposte.

Visita il profilo

11 anni fa #133207

Krysztof, ho letto questi articoli già qualche tempo fa e voglio incorporare alcune delle cose menzionate nel nuovo SQ 4.

 

Ma la cosa più importante è che stiamo sviluppando il nuovo SQ 4 come un sistema più aperto ed estendibile, per cui sarà possibile per voi utenti aggiungere funzioni come queste al programma con più o meno programmazione.

 

Per quanto riguarda le differenze tra SQ e MT4, si tratta di un tema infinito e di solito il problema risiede in dati diversi o in impostazioni di test diverse. Piccole differenze nei dati o nelle impostazioni possono avere un impatto sui risultati - solo 1-2 operazioni mancate possono fare una differenza molto grande.

Se eseguito con gli stessi dati e le stesse impostazioni, il test in SQ è praticamente equivalente a quello di NT4, ad eccezione di piccoli errori di arrotondamento, che a volte possono creare una grande differenza in alcune strategie.

 

Ma quello che penso sia importante capire è che se la strategia ha backtest diversi in SQ e mT4 potrebbe anche significare che non è abbastanza divina - perché ogni test è solo un'approssimazione.
Il vostro trading reale sarà ancora una volta diverso da qualsiasi backtest e la strategia di Dio dovrebbe essere in grado di funzionare anche in un ambiente modificato.

Buttate via queste strategie e cercatene di nuove.

Marchio
Architetto StrategyQuant

0

krzysiaczek99

Abbonato, partecipante al bbp, comunità, 68 risposte.

Visita il profilo

11 anni fa #133226

Krysztof, ho letto questi articoli già qualche tempo fa e voglio incorporare alcune delle cose menzionate nel nuovo SQ 4.

 

Ma la cosa più importante è che stiamo sviluppando il nuovo SQ 4 come un sistema più aperto ed estendibile, per cui sarà possibile per voi utenti aggiungere funzioni come queste al programma con più o meno programmazione.

 

Per quanto riguarda le differenze tra SQ e MT4, si tratta di un tema infinito e di solito il problema risiede in dati diversi o in impostazioni di test diverse. Piccole differenze nei dati o nelle impostazioni possono avere un impatto sui risultati - solo 1-2 operazioni mancate possono fare una differenza molto grande.

Se eseguito con gli stessi dati e le stesse impostazioni, il test in SQ è praticamente equivalente a quello di NT4, ad eccezione di piccoli errori di arrotondamento, che a volte possono creare una grande differenza in alcune strategie.

 

Ma quello che penso sia importante capire è che se la strategia ha backtest diversi in SQ e mT4 potrebbe anche significare che non è abbastanza divina - perché ogni test è solo un'approssimazione.
Il vostro trading reale sarà ancora una volta diverso da qualsiasi backtest e la strategia di Dio dovrebbe essere in grado di funzionare anche in un ambiente modificato.

Buttate via queste strategie e cercatene di nuove.

 

 

 

 

Da dove provengono questi errori di arrotondamento? Se si utilizzano gli stessi dati e gli stessi tipi di variabili (double, float) e la stessa precisione nell'arrotondamento non ci saranno errori. Ho lavorato con i test del software per circa 25 anni, quindi è difficile da credere per me......Sai esattamente o hai solo un sospetto?

 

Krzysztof

0

Mark Fric

Amministratore, sq-ultimate, 2 risposte.

Visita il profilo

11 anni fa #133237

Da dove provengono questi errori di arrotondamento? Se si utilizzano gli stessi dati e gli stessi tipi di variabili (double, float) e la stessa precisione nell'arrotondamento non ci saranno errori. Ho lavorato con i test del software per circa 25 anni, quindi è difficile da credere per me......Sai esattamente o hai solo un sospetto?

 

Lo so esattamente, ci sono due differenze:

 

1. SQ è in Java, mentre MT4 è probabilmente in C. Ci sono leggere differenze nelle funzioni di arrotondamento (o nelle impostazioni utilizzate) tra le funzioni in Java e quelle in C.

 

2. non si considera che MT4 potrebbe lavorare con tutti i trade non arrotondati e arrotondare solo la somma risultante. Ma nel report che QA carica i trade sono già arrotondati, quindi la differenza nella somma finale è minima.

Marchio
Architetto StrategyQuant

0

krzysiaczek99

Abbonato, partecipante al bbp, comunità, 68 risposte.

Visita il profilo

11 anni fa #133244

Lo so esattamente, ci sono due differenze:

 

1. SQ è in Java, mentre MT4 è probabilmente in C. Ci sono leggere differenze nelle funzioni di arrotondamento (o nelle impostazioni utilizzate) tra le funzioni in Java e quelle in C.

 

2. non si considera che MT4 potrebbe lavorare con tutti i trade non arrotondati e arrotondare solo la somma risultante. Ma nel report che QA carica i trade sono già arrotondati, quindi la differenza nella somma finale è minima.

Biglietto Ora di apertura Tipo Dimensione Prezzo dell'articolo S / L T / P Ora di chiusura Prezzo Commissione Tasse Scambio Profit
461143512015.08.24 01:28:12vendita 0,01 eurusd 1,13764 1,15767 1,11767 2015.08.24 02:36:001,14471 -0,08 0,00 0,00 -7,07

.

Per curiosità ho controllato. Ecco l'esempio. Prezzo di apertura 1.13764, prezzo di chiusura 1.14471 dimensione del lotto 0.01 quindi profitto = (1.13764-1.14471)*10000*0.01 = -7.07 quindi esattamente quello che è scritto nel report. Se si utilizzano gli stessi dati e la stessa tecnica si otterranno esattamente gli stessi risultati.

 

Se la somma finale viene arrotondata si possono ottenere solo piccole differenze, ma le differenze tra MT4 e SQ a volte sono enormi. Credo che Richard abbia inviato a Tomas circa 2 settimane fa questo esempio, ma finora non ha ricevuto risposta. Se le differenze sono enormi significa che il backtester SQ non è affidabile.

 

Krzysztof

0

krzysiaczek99

Abbonato, partecipante al bbp, comunità, 68 risposte.

Visita il profilo

11 anni fa #133245

Non riesco a postare un nuovo argomento nella sezione QA, ricevendo l'errore 'pagina non trovata'. Puoi risolvere il problema?

 

Krzysztof

0

Mark Fric

Amministratore, sq-ultimate, 2 risposte.

Visita il profilo

11 anni fa #133247

Se la somma finale viene arrotondata si possono ottenere solo piccole differenze, ma le differenze tra MT4 e SQ a volte sono enormi. Credo che Richard abbia inviato a Tomas circa 2 settimane fa questo esempio, ma finora non ha ricevuto risposta. Se le differenze sono enormi significa che il backtester SQ non è affidabile.

 

 

state mischiando due cose diverse. Le grandi differenze tra SQ e MT4 potrebbero essere causate da differenze nei dati o nelle impostazioni, non dall'arrotondamento. 

L'arrotondamento potrebbe causare differenze solo in centesimi.

 

 

Se le differenze sono enormi, significa che il backtester SQ non è affidabile.

 

 

si tratta di un'incomprensione del funzionamento del backtesting. Il backtesting sia in MT4 che in SQ è solo un'approssimazione. Non si può dire che il backtesting in MT4 sia migliore di quello in SQ, solo perché produce risultati diversi per alcune strategie.

Quello che si può dire è che questa strategia ha probabilmente alcune proprietà intrinseche che la rendono difficile da verificare, quindi nessun backtest sarà affidabile.

Se prendete la stessa strategia e la sottoponete a un backtest con un altro programma, otterrete di nuovo risultati diversi: questo è un problema della strategia, non del backtester.

 

È davvero una perdita di tempo lavorare con strategie che hanno risultati troppo diversi tra MT4 e SQ - prendetele per quello che sono - strategie che non possono essere testate in modo affidabile e che dovrebbero essere evitate.

Marchio
Architetto StrategyQuant

0

krzysiaczek99

Abbonato, partecipante al bbp, comunità, 68 risposte.

Visita il profilo

11 anni fa #133249

Wow

 

Il backtesting sia in MT4 che in SQ è solo un'approssimazione.

 

Non posso crederci. Ho un sistema AI con MATLAB e MT4 e il backtesting di MATLAB corrisponde quasi al pip, quindi non è affatto un'approssimazione !!!!

 

Il grande disallineamento può verificarsi se l'implementazione interna degli indicatori è diversa da quella degli indicatori MT4 e dopo aver generato il codice li si mappa sugli indicatori e sulle funzioni MT4. Un esempio è iRSI che è implementato in modo diverso da Wilder RSI. Quindi il generatore di codice MT4 mappa gli indicatori in indicatori MT4 o in funzioni personalizzate?

 

Krzysztof

0

Mark Fric

Amministratore, sq-ultimate, 2 risposte.

Visita il profilo

11 anni fa #133251

L'EA generato da SQ utilizza gli indicatori standard di MT4 e il calcolo degli indicatori in SQ dovrebbe corrispondere a quelli di MT4; li abbiamo reimplementati tutti in Java.

Ma è vero che potrebbe esserci un bug (anche se improbabile) o semplicemente un errore di arrotondamento nell'implementazione di alcuni indicatori in SQ che potrebbe causare valori leggermente diversi degli indicatori -> segnali di entrata/uscita diversi -> risultati diversi della strategia.

 

Ma è per questo che dico che il backtesting è sempre un'approssimazione.

 

Se si dispone di una strategia che si comporta bene in un backtest e che, utilizzando dati o indicatori leggermente diversi (non una logica diversa, solo errori di arrotondamento), fa fallire l'intera strategia, allora non è affidabile.

Significa che la strategia si adatta alla combinazione specifica di dati/indicatori.

 

È necessario utilizzare i test di robustezza per riconoscere tali strategie vulnerabili alle variazioni dei dati o degli indicatori.

Solo dopo che la vostra strategia avrà funzionato bene anche nel test di robustezza, potrete essere più sicuri che sia affidabile e che non sia stata adattata alle curve.

 

Non voglio sostenere le differenze tra MT4 e SQ, i risultati in entrambi i programmi dovrebbero essere uguali o simili per la maggior parte dei casi. Ma quando non lo sono, di solito significa qualcosa di diverso da un bug in SQ.

Marchio
Architetto StrategyQuant

0

krzysiaczek99

Abbonato, partecipante al bbp, comunità, 68 risposte.

Visita il profilo

11 anni fa #133276

Marc,

Non c'è approssimazione nella progettazione del software: ci sono solo bug !!!!

La ragione di queste discrepanze è la diversa implementazione degli indicatori di base in MT4 e SQ. Seguite i miei interventi (fajst_k) in questo forum.

http://www.forex-tsd.com/metatrader-4/8221-rsi-moving-average-30.html#post671448

fino al post 325

Lo so perché ho avuto una mancata corrispondenza tra MATLAB e MT4 e quando ho sostituito alcune funzioni di MT4 con altre personalizzate ho ottenuto una corrispondenza.

L'analisi di robustezza non garantisce lo screening delle strategie che non corrispondono ai backtest della MT4. Se la strategia 'buona' viene presentata a nuovi dati durante il trading, può prendere un ramo diverso e possono essere chiamate funzioni MT4 'cattive'. Oltre a questo, in questi casi si butta via la strategia solo a causa di bug e questa strategia può essere preziosa. Basta cambiare il generatore di codice MT4 e sostituire le funzioni "cattive" di MT4 (iRSI, IMA, IMAoNArray e chissà cos'altro) con funzioni personalizzate.

Non riesco ancora a postare un nuovo argomento nella sezione QA del forum, mi appare "pagina non trovata". Potete risolvere il problema?

Krzysztof

0

Mark Fric

Amministratore, sq-ultimate, 2 risposte.

Visita il profilo

11 anni fa #133292

Il mio obiettivo è che gli indicatori in SQ e MT4 corrispondano e che ci siano test per tutti gli indicatori implementati.

Corrispondono con differenze occasionali molto piccole alla terza e quarta cifra decimale, causate da errori di arrotondamento e da un'implementazione leggermente diversa delle funzioni Math in Java.

 

Non conosco alcun bug in SQ in cui l'indicatore abbia valori molto diversi da quelli calcolati da MT4.

 

 

Non riesco ancora a postare un nuovo argomento nella sezione QA del forum, mi appare "pagina non trovata". Potete risolvere il problema?

 

Non riesco a capire cosa c'è che non va, potresti inviarmi l'URL esatto che stai cercando di aprire?

Marchio
Architetto StrategyQuant

0

krzysiaczek99

Abbonato, partecipante al bbp, comunità, 68 risposte.

Visita il profilo

11 anni fa #133298

Dopo aver tentato di creare un nuovo argomento nella sezione Quant Analyzer, ricevo l'errore "pagina non trovata". Vedere lo screenshot.

 

Krzysztof

File: scr.jpgscr.jpg

0

krzysiaczek99

Abbonato, partecipante al bbp, comunità, 68 risposte.

Visita il profilo

11 anni fa #133299

Il mio obiettivo è che gli indicatori in SQ e MT4 corrispondano e che ci siano test per tutti gli indicatori implementati.

Corrispondono con differenze occasionali molto piccole alla terza e quarta cifra decimale, causate da errori di arrotondamento e da un'implementazione leggermente diversa delle funzioni Math in Java.

 

Hai un file di log di questi test? Puoi presentarlo sul forum?

 

Krzysztof

0

Mark Fric

Amministratore, sq-ultimate, 2 risposte.

Visita il profilo

11 anni fa #133303

Hai un file di log di questi test? Puoi presentarlo sul forum?

 

cosa vuoi esattamente? Vuoi verificare che sia come dico io o cosa?

Si tratta di test JUnit standard, che restituiscono OK quando tutti i test sono stati superati. Non ho un file di log. 

Marchio
Architetto StrategyQuant

0

krzysiaczek99

Abbonato, partecipante al bbp, comunità, 68 risposte.

Visita il profilo

11 anni fa #133310

cosa vuoi esattamente? Vuoi verificare che sia come dico io o cosa?

Si tratta di test JUnit standard, che restituiscono OK quando tutti i test sono stati superati. Non ho un file di log. 

Dovreste inviare il segnale di prova ai vostri indicatori e lo stesso segnale, ad esempio, agli indicatori integrati in MT4. Poi confrontate i risultati. L'unica discrepanza ammessa dovrebbe essere un errore di arrotondamento molto piccolo. Questo test dovrebbe essere ripetuto per diverse combinazioni e valori dei parametri di ingresso, poiché non si conosce l'implementazione delle funzioni di MT4 e non si può garantire che si comportino correttamente. E naturalmente questo test dovrebbe essere fatto con gli indicatori di tutte le piattaforme di trading per le quali SQ genera il codice della strategia. Avete fatto questo test? Se sì, fornisci un logfile almeno per MT4.

 

Krzysztof

0

Stai visualizzando 15 risposte - dal 16 al 30 (di 36 totali)

← 1 2 3 →