Quanto robusto è abbastanza robusto?
31 risposte
_Cujo
10 anni fa #115074
Quali impostazioni utilizzate per i test di robustezza Monte Carlo? Mi rendo conto che la prudenza non è mai troppa, e che si tratta di denaro, e che bisogna essere certi, quindi non voglio ridurre troppo i test di robustezza, ma...
Ho iniziato con l'immagine superiore. Ogni strategia testata non solo non funzionava, ma era molto, molto, molto negativa. Mi ha fatto pensare che forse le mie impostazioni (immagine in alto) sono troppo severe. In questo modo le strategie di moderato successo, utilizzando gli stessi dati IS per il Monte Carlo, si trasformerebbero non solo in una distruzione del conto, ma in un'eliminazione totale.
Sommando il tutto, ad esempio, c'è una probabilità di 60% che accada qualcosa come 20% di cambiamento dei parametri, o 20% di cambiamento dei prezzi, ecc... logicamente, questo sembra molto pesante.
Dove ho iniziato

Ho fatto qualche esperimento, pensando inizialmente che se prendessi un gruppo di strategie, sullo stesso IS, le facessi passare attraverso la simulazione Monte Carlo e la modificassi in modo che il profitto netto più robusto fosse ~10% da una parte e dall'altra, forse sarebbe giusto. Ma mi sembrava un po' eccessivo ottimizzare il rischio cercando un risultato specifico con le mie impostazioni di robustezza, che mi sembrava sbagliato (e comunque molto difficile).
Poi ho pensato: "Lo so, faccio metà di tutto", lasciando comunque una possibilità di 30% che succeda qualcosa, come un'operazione saltata o un cambio di parametro, ecc... e così mi sono ritrovato con questo...
Dove mi trovo ora

Poi ho iniziato a pensarci su, quindi ho pensato di chiedere un consiglio. Quali impostazioni utilizzate per verificare la robustezza della simulazione Monte Carlo? Forse anche l'immagine 2 è troppo pesante?
Quante simulazioni Monte Carlo eseguire
Questo mi ha fatto riflettere sul numero di simulazioni da eseguire:
- 5000 è più o meno sufficiente, 7500 è meglio e 10.000 è eccessivo, da uno studio che ha analizzato gli studi sulle simulazioni Monte Carlo.
- 500-1000 è sufficiente per testare le armi, ma i risultati si stabilizzano dopo ~500. Credo che la differenza tra 98% morti e 95% morti sia irrilevante.
- Almeno 440 voltese si utilizza un software di analisi del rischio dedicato e professionale (nota: analizzatore di rischio professionale, non trader professionista).
- Molte letture hanno indicato che il numero di volte in cui è necessario eseguirlo dipende dalla deviazione standard dei dati su cui è stato eseguito.
Per quante volte eseguirlo per la valutazione del sistema di trading, ambi broker consiglia 1000 (qui e qui), Vanguard do 5000 corre, la raccomandazione più bassa che ho trovato è stata 500, ma il consiglio migliore sembrava essere quello di scalare intorno ai 4000, a seconda di quanti parametri ci sono nel vostro sistema... quanti ne state usando?
Ho cambiato il mio livello di fiducia da 95% a 98%, il che mi ha fatto sentire più sicuro, ma mi chiedo ancora quali impostazioni utilizzare...?
0
mabi
10 anni fa #136717
Stiamo solo usando i test di robustezza per vedere se la strategia generata è adattata alla curva del rumore del mercato, se lo è non avrete bisogno nemmeno di 500 esecuzioni perché mostrerà immediatamente se è adattata alla curva con i cali delle curve azionarie ... Comunque questo è il mio modo di intendere i test di robustezza.
Tuttavia, se il time frame è più basso, c'è più rumore e un rischio più elevato per una strategia a curva...
0
mabi
10 anni fa #136718
Quindi, in breve, il test di adattamento della curva "Robustezza" è solo un modo rapido per eliminare le strategie sbagliate. Il vero test è il walkforward test, se non lo supera eliminare o migliorare la strategia.
0
_Cujo
10 anni fa #136722
Quindi, in breve, il test di adattamento della curva "Robustezza" è solo un modo rapido per eliminare le strategie sbagliate. Il vero test è il walkforward test, se non lo supera eliminare o migliorare la strategia.
Naturalmente hanno scopi diversi. Monte Carlo riguarda più il rischio, la fiducia nei risultati e la verifica della robustezza attraverso il rumore, la randomizzazione, ecc.
Il walk forward serve più che altro a capire se i parametri devono essere ottimizzati (ma non quale sia l'ottimizzazione), quindi a testare l'OOS (che verifica la robustezza).
Ecco una serie di buoni articoli sui due, qui e qui (non necessariamente le differenze, ma system trader è un buon sito web, credo che molti qui lo conoscano).
Ma, mettendo da parte le differenze tra Walk forward vs Simulazione Monte Carlos, concentrandosi sulla Simulazione Monte Carlo... che impostazioni stai usando in Monte Carlo rispetto alle immagini nell'OP? Sembra che tu abbia dato molti consigli da dare... 🙂
0
mabi
10 anni fa #136727
Grazie! Ho gli strumenti gratuiti di Kevin Davey e il suo libro. Credo di doverlo rileggere! (In realtà mi ha detto che 2 settimane fa) Tuttavia quando costruiamo una strategia stiamo cercando il vero segnale senza adattare la strategia al rumore del mercato e questo è ciò per cui usiamo Montecarlo. Se abbiamo troppi indicatori la strategia sarà sicuramente adattata, quindi ne cerco solo di molto semplici. Un modo che ho trovato per farlo con SQ è generare solo su 1-4 anni di dati e lasciare che 15 anni siano fuori campione. In questo modo ho scoperto che gli unici che hanno effettivamente una curva di okey sono molto semplici e robusti.
(Non conosco Kevin Davey, ma frequenta un altro forum ed è molto attivo).
https://www.youtube.com/watch?v=kBW7-p2DMVU
0
eastpeace
10 anni fa #136763
500 simulazioni permettono a SQ di fermarsi. (831 strategie nel pool di test)
i7-4790, 16G ram.
0
geektrader
10 anni fa #136858
No, non lo fa, io uso sempre 1000, anche con molte strategie contemporaneamente nel Re-Tester. Non tiene nulla qui, non usa molta RAM, ma ci mette solo molto tempo:) Ma SQ non si è mai bloccato, solo che a volte ha richiesto diversi giorni;)
0
mabi
10 anni fa #136859
1000 test significa semplicemente che 950 test su 1000 devono rientrare nell'intervallo di deviazione accettabile. A volte trovo difficile determinare quali test e quante modifiche applicare per avere un impatto ragionevole sulle prestazioni delle strategie senza distruggerle completamente, a seconda della loro complessità. Ciò solleva un'altra questione: come impostare SQ per trovare un certo tipo di strategie in modo da sapere che le impostazioni applicate al test di Monecarlo stanno avendo l'effetto desiderato. Scegliere semplicemente tutto nel builder e lasciarlo funzionare produrrà un'ampia gamma di strategie di tipo diverso che non possono essere testate con le stesse impostazioni e dovrebbero essere suddivise prima di essere testate. O mi sbaglio?
0
_Cujo
10 anni fa #136919
Stavo pensando alla robustezza e stavo riascoltando un Kevin Davey podcast da Il successo del System TraderImmagino che tutti qui li conoscano entrambi, ovviamente... 🙂
Ha detto di aver fatto 5000 simulazioni Monte Carlo. Io ne faccio più o meno 50, a volte 550, subito dopo la generazione come parte del processo di eliminazione. Credo di avvicinarmi a questo numero solo per le strategie che hanno superato alcuni test di robustezza di base e una passeggiata in avanti, a cui sono sempre più interessato. Di certo non quando sto eliminando migliaia di strategie dalla banca dati...
[media]https://www.youtube.com/watch?v=TpmDzRFIu0k[/media]
0
_Cujo
10 anni fa #136920
Grazie! Ho gli strumenti gratuiti di Kevin Davey e il suo libro. Credo di doverlo rileggere! (In realtà mi ha detto che 2 settimane fa) Tuttavia quando costruiamo una strategia stiamo cercando il vero segnale senza adattare la strategia al rumore del mercato e questo è ciò per cui usiamo Montecarlo. Se abbiamo troppi indicatori la strategia sarà sicuramente adattata, quindi ne cerco solo di molto semplici. Un modo che ho trovato per farlo con SQ è generare solo su 1-4 anni di dati e lasciare che 15 anni siano fuori campione. In questo modo ho scoperto che gli unici che hanno effettivamente una curva di okey sono molto semplici e robusti.
(Non conosco Kevin Davey, ma frequenta un altro forum ed è molto attivo).
https://www.youtube.com/watch?v=kBW7-p2DMVU
Sì, Kevin è davvero un buon modello. Ho letto e riletto il suo libro diverse volte. È molto attivo sui forum e...beh, è un buon modello, insegna molto. 🙂 Non lo conosco nemmeno io, ma mi sembra molto disponibile. Immagino che abbia anche venduto molti, molti dei suoi libri.
0
statistica
10 anni fa #137119
Quanto è affidabile il test Robust?
La strategia originale fallisce, ma il test Robust mostra ottimi risultati.
Vedere l'istantanea della configurazione.
http://s33.postimg.org/9gc31fw5r/Robust_test_failure_settings.png
Qualcuno può commentare?
Grazie.
0
mabi
10 anni fa #137120
Statistica,
Il test di robustezza cerca di simulare diverse condizioni di mercato modificando i dati. Sembra che la vostra strategia possa funzionare meglio in qualsiasi altra condizione di mercato piuttosto che in quella in cui l'avete creata.
0
statistica
10 anni fa #137121
@ Statistica, il test di robustezza cerca di simulare diverse condizioni di mercato cambiando i dati. Sembra che la vostra strategia possa funzionare meglio in qualsiasi altra condizione di mercato piuttosto che in quella in cui l'avete creata.
Grazie @Mabi, per la risposta rapida. Ho generato un gruppo di strategie che funzionano meglio in ALTRE condizioni rispetto ai dati originali.
Non l'avevo mai visto prima di passare a Dukas Copy data.
La strategia è generata su M15, il commercio su barra aperta veloce, ma quando fare Retest utilizzare Real Tick.
Non ha molto senso come ciò avvenga.
Di solito utilizzavo i dati commerciali di M1 e ho esaminato manualmente più di un milione di strategie, ma non mi era mai capitato di vedere una tale discrepanza prima di passare ai dati di Dukas Copy Tick.
Vi risulta che ciò avvenga con i dati tick di Dukas Copy?
Grazie.
0
statistica
10 anni fa #137125
500 simulazioni permettono a SQ di fermarsi. (831 strategie nel pool di test) i7-4790, 16G ram.
Ciao amico, ho appena fatto 1000 test su 100 strategie, ho una CPU 35% vedi screenshot.
Quindi non c'entra nulla con il tuo SQ, devi solo usare Severs con specifiche più elevate.
Impostazioni:
0
_Cujo
10 anni fa #137126
Inoltre, non ho problemi a eseguire 1.000 o 5.000 simulazioni Monte Carlo sulle strategie.
0
statistica
10 anni fa #137127
Inoltre, non ho problemi a eseguire 1.000 o 5.000 simulazioni Monte Carlo sulle strategie.
Eseguire 1000 test su 100 strategie è un tempo troppo lungo, oltre 30 minuti! Ma va bene, per il bene dei test.
è meglio escludere prima le strategie che non funzionano su 20/100/300 test.
In questo modo non è necessario eseguire tutte le strategie in fallimento per 5 minuti ciascuna.
0