Le simulazioni Monte Carlo non sembrano concludere nulla sulla performance futura di una strategia.

Oggi ho trovato questo interessante articolo di Daniel: http://mechanicalforex.com/2016/05/do-monte-carlo-simulations-say-anything-about-system-robustness.html

 

Una scoperta molto interessante e in linea con le mie scoperte finora.... Sono circa 8 anni che gestisco sistemi live (non solo da SQ) che sono stati precedentemente simulati con Monte Carlo e finora non ho trovato alcuna conclusione sul fatto che le strategie che hanno avuto cattivi risultati di simulazione Monte Carlo prima di diventare live abbiano fatto peggio di quelle che hanno avuto ottimi risultati di simulazione Monte Carlo. Daniel lo descrive molto bene: le simulazioni Monte Carlo tendono a preferire le strategie che funzionano bene solo su dati smussati e possono far cestinare le strategie live redditizie che funzionano solo su un'azione precisa del prezzo e che comunque avrebbero ottimi risultati in futuro (come Daniel descrive la società che compra per sempre dopo 2 nuovi massimi, ecc.) Di fatto, le simulazioni di Monte Carlo possono farvi scartare strategie molto valide che avrebbero fatto bene in futuro e quindi sono controproducenti per noi.

 

Qualcun altro con una solida base di trading dal vivo ha qualche altra conclusione sulla stabilità di Monte Carlo rispetto al trading dal vivo? Sarebbe bello sentirle...

@Treshold: la strategia che citi, la gestisco esattamente così già da 1 anno e mezzo 🙂 Penso che tutti noi l'abbiamo trovata esattamente così, è una delle più comuni (break out). Ad ogni modo, questo è apprezzato da MC per il motivo che si basa sui break out. Inoltre, supera tutti i test, anche con dati distorti (70% di probabilità, 30% di variazione ATR, 400 test). Il motivo è questo: si tratta di una strategia di breakout basata su breakout piuttosto grandi e grandi valori di trailing, che si riferisce anche agli ultimi 300 massimi o minimi, per cui una distorsione dei dati, anche pesante, o una variazione dei parametri le consentono di superare il test MC, perché i breakout si verificano comunque anche in dati fortemente distorti. Anche questo tipo di strategie è favorito dall'MC.

 

Tuttavia, ho una strategia che ho creato circa 6 anni fa (non in SQ, ovviamente) che fa riferimento a Open[85] e ad altri valori molto specifici nel tempo. Utilizza anche una buona quantità di parametri, un bel po' in realtà, che tutti chiameremmo "curve-fitted". Eppure questa strategia funziona bene da 6 anni! L'ho codificata in SQ un po' di tempo fa e ho eseguito MC, qualsiasi tipo di test (a parte lo spread e lo slippage) l'ha fatta sembrare TERRIBILE - quel tipo di strategia che metteresti subito nel cestino. Eppure ha fatto meglio della maggior parte delle strategie che ho creato e che avevano un ottimo MC. Quindi sì, come ho già detto nel post iniziale, le strategie che non passano il MC possono anche essere molto redditizie in futuro, quindi il MC non dice nulla sulla performance futura o sulla stabilità, altrimenti questa strategia di 6 anni fa avrebbe già dovuto fallire. Questa è anche la conclusione di Daniel e il motivo per cui ho postato questo articolo, perché volevo sentire cosa ne pensano gli altri.

 

In realtà non è difficile da simulare. Possiamo farlo in questo modo:

 

1) Creare una strategia sui dati dal 1989 al 2000

2) Eseguire il MC su questa strategia anche dal 1989 al 2000 e prendere nota dei risultati (MC buono o cattivo?).

3) Ora eseguite la strategia sui dati dal 2000 al 2016, annotando anche i risultati (con buoni risultati o meno?).

4) Annotate questi risultati in Excel e fatelo per almeno 100 strategie per ottenere una rilevanza statistica significativa.

5) Verificare se è possibile stabilire una relazione tra una buona (pseudo) performance di OOS dal 2000 al 2016 e i risultati della simulazione MC sui dati dal 1989 al 2000 (buona MC = buoni risultati di pseudo OOS in >50% dei casi).

 

Penso che sia meglio non aprire più argomenti di questo tipo qui. E in effetti ho tenuto la maggior parte del materiale che ho trovato ultimamente sulla creazione di strategie di maggior successo e su come accelerare ulteriormente il SQ fuori da qui, dato che non è la prima volta che c'è flaming invece di una buona discussione che si evolve intorno a questi post. Sembra che qui ci sia solo una minoranza che vuole davvero discutere di argomenti importanti su come ottenere profitti nel trading automatico, a parte il solito "dovrebbe funzionare così, ma non ho prove né idea se funzioni davvero, l'ho messo in funzione e fallisce di nuovo, dannazione..." e invece si gira in tondo per sempre senza fare soldi. Ora capisco perfettamente il valore di una comunità chiusa in cui tutti pagano per farne parte - si ottengono discussioni di grande qualità invece di stupidi flame perché tutti hanno messo dei soldi sul tavolo e vogliono davvero avere successo e imparare qualcosa. È una comunità priva di perditempo, come purtroppo ce ne sono molte qui.

 

P.S.: Ho appena ricevuto la risposta (purtroppo comprensibile) di Daniels. Grazie ad alcuni degli utenti qui presenti che non sono interessati ad una discussione sensata ma preferiscono insultare e fare flame in questo thread:

 

“Ciao Geektrader,

Grazie per avermelo fatto sapere, lo terrò d'occhio! Tuttavia non sono un grande fan del flaming, quindi mi asterrò dall'entrare nella discussione di cui sopra. Grazie ancora per aver commentato,

Cordiali saluti,

Daniel"

Geek. Solo Chillout. Abbiamo qui una buona discussione che include i tuoi e altri post. Questo thread è eccellente. Quindi, togliete le tende e iniziamo a fare insieme questi test. A questo punto posso solo concordare con la mia ricerca che per me alcune impostazioni di strategia (1 giorno, 4 ore strategie TF) non può passare attraverso i miei test MC. I risultati di Daniels sono un buon punto di partenza per la ricerca. E senza alcuna discussione, sta gestendo uno dei migliori blog 😉 🙂

Ho lavorato in una vera e propria società di trading, per sopravvivere in quegli ambienti ci vuole una pelle spessa :ph34r: 

Geek. Solo Chillout. Abbiamo qui una buona discussione che include i tuoi e altri post. Questo thread è eccellente. Quindi, togliete le tende e iniziamo a fare insieme questi test. A questo punto posso solo concordare con la mia ricerca che per me alcune impostazioni di strategia (1 giorno, 4 ore strategie TF) non può passare attraverso i miei test MC. I risultati di Daniels sono un buon punto di partenza per la ricerca. E senza alcuna discussione, sta gestendo uno dei migliori blog 😉 🙂

 

Ho aggiornato il mio post precedente con la risposta di Daniels, che ha deciso di non iscriversi qui anche a causa dei flamers. Non si tratta di rilassarsi, io mi rilasso benissimo, semplicemente non ho tempo da perdere con flamers come notch o mikeyc, semplicemente non vale un solo minuto del mio tempo. O facciamo una discussione fondamentale e significativa su come possiamo testare le cose invece di supporre qualsiasi cosa e senza flammare, o semplicemente continuo a fare la ricerca per conto mio come ho fatto ultimamente invece di postarla qui dato che finiva sempre per perdere tempo con i flamers e i nay-sayers che non hanno alcun tipo di prova né l'hanno testata, ma hanno il tempo di postare commenti infantili. Mi dispiace, ma non ho più 19 o 20 anni come sembrano avere questi ragazzi e so che la vita è il nostro più grande valore e dono. Le persone che non lo capiscono sono "fuori dalla mia lista" in un batter d'occhio.

In questi giorni ho comprato asirkuy mmbrshp devo preparare i dati e poi farò questi test con le mie strategie attuali e i risultati li posterò qui. sono d'accordo. non perdere tempo

 

Mi fa piacere sentirlo, clonex. Immagino che le tue strategie attuali siano state create su 15 anni di dati dal 2000 al 2016 o qualcosa di simile? Se è così, è ancora più facile per te, puoi fare il contrario:

 

1) Eseguite simulazioni MC per queste strategie sul vostro attuale set di dati dal 2000 al 2016 e annotate i risultati, se MC buoni o cattivi.

2) Eseguire gli strats sui nuovi dati Asirikuy dal 1989 al 2000 e vedere se hanno una buona performance pseudo OOS lì e scrivere anche questo.

3) Verificare se esiste una correlazione tra un buon MC dal 2000 al 2016 e un buon pseudo OOS dal 1989 al 2000.

 

Non vedo l'ora!

Mi fa piacere sentirlo, clonex. Immagino che le tue strategie attuali siano state create su 15 anni di dati dal 2000 al 2016 o qualcosa di simile? Se è così, è ancora più facile per te, puoi fare il contrario:

 

1) Eseguite simulazioni MC per queste strategie sul vostro attuale set di dati dal 2000 al 2016 e annotate i risultati, se MC buoni o cattivi.

2) Eseguire gli strats sui nuovi dati Asirikuy dal 1989 al 2000 e vedere se hanno una buona performance pseudo OOS lì e scrivere anche questo.

3) Verificare se esiste una correlazione tra un buon MC dal 2000 al 2016 e un buon pseudo OOS dal 1989 al 2000.

 

Non vedo l'ora!

Lo farò e ti farò sapere 😉

1) Creare una strategia sui dati dal 1989 al 2000

2) Eseguire il MC su questa strategia anche dal 1989 al 2000 e prendere nota dei risultati (MC buono o cattivo?).

3) Ora eseguite la strategia sui dati dal 2000 al 2016, annotando anche i risultati (con buoni risultati o meno?).

4) Annotate questi risultati in Excel e fatelo per almeno 100 strategie per ottenere una rilevanza statistica significativa.

5) Verificare se è possibile stabilire una relazione tra una buona (pseudo) performance di OOS dal 2000 al 2016 e i risultati della simulazione MC sui dati dal 1989 al 2000 (buona MC = buoni risultati di pseudo OOS in >50% dei casi).

Ancora una volta

 

MC è per misurare RISCHIO.

Il vostro backtest potrebbe dire 4% DD.
La simulazione Monte Carlo mostrerà che un 7% DD è possibile. È a questo che si adatta la dimensione dell'operazione.
 ma il vero scopo di Monte Carlo è quello di individuare i probabili drawdown.
 

 

In un certo senso sono d'accordo sul fatto che sia inutile per i test di robustezza, perché a mio parere non lo è per i test di robustezza. Per il dimensionamento della posizionee per la proiezione di una futura fascia di capitale.

Sono d'accordo, il MC serve per aggiustare il rischio, non per dimostrare la robustezza.^ Penso che altri test siano di gran lunga migliori per la robustezza rispetto al MC.

MC è per questo...
Si costruisce un sistema che effettua un backtest di 10% DD con 1% di rischio per operazione.
Lo si monta 10.000 volte. Si trovano 95% fiducia 20% DD.
You really can only tolerate 10%DDs and that’s why you chose this system.
La simulazione di Monte Carlo mostra che dovreste ridurre il rischio a 0,5% per operazione per mantenere un livello di fiducia di 95% e rimanere entro un DD di 10%.

È per questo che la maggior parte dei professionisti usa l'MC. Non test di robustezza, ma sembra che la saggezza convenzionale dica che si tratta di un buon test di robustezza... non è così. Sono tendenzialmente d'accordo.

In questi giorni ho comprato asirkuy mmbrshp devo preparare i dati e poi farò questi test con le mie strategie attuali e i risultati li posterò qui. sono d'accordo. non perdere tempo

Credo che questa sia stata la prima gif postata sul forum di SQ.
Molte grandi cose in arrivo.

questo è un argomento davvero interessante, ma anche a volte personale.

 

dovremmo discutere del merito, non delle persone coinvolte. 

 

Geektrader, ultimamente hai pubblicato alcuni articoli interessanti che portano un'altra opinione e contraddicono la mia.

 

Nonostante il test di Daniels, ritengo che sia importante testare la strategia su diversi simboli/tempi, in quanto fornisce un'indicazione sul fatto che la strategia sia adatta alla curva dei dati.

Credo inoltre che Monte Carlo sia un buon strumento per stimare il rischio e la gamma di prestazioni che possiamo aspettarci.

 

Abbiamo in programma di utilizzare il bootstrapping in SQ4 come ulteriore test di robustezza, devo solo implementarlo.

 

A proposito, anch'io sono stato membro di Asirikuy qualche tempo fa e ho trovato gli articoli di Daniels molto interessanti.

Grande discussione Gente!

 

Per me l'MC serve a determinare il rischio, come hanno detto altri in questo thread, infatti non uso l'MC in SQ se non per vedere 1) qual è il WC 95% in termini di strategia originale e 2) solo un'indicazione visiva dei run MC che non siano "troppo in giro" L'analisi MC in SQAnalysis è molto migliore ed è quella che uso di più in assoluto, mi piacerebbe davvero vederla in SQ, inoltre uso l'MC in SQA per determinare il fallimento della strategia, ad es.I miei OOS sui conti demo/live sono in linea con il mio Worst case DD.  

 

Come ha detto @threshold, anch'io sono d'accordo con lui e lo uso per determinare la dimensione della posizione e il rischio,

 

Da quando ho iniziato a usare SQ ho sempre pensato che il MC in SQ sia stato erroneamente chiamato test di robustezza e che dovrebbe essere più simile a "WC/DD e analisi del rischio".

 

Ho dichiarato molte volte in questo forum che sono anche un membro di Daniels, Asirikuy, da diversi anni ormai e apprezzo le informazioni che ha da offrire e non ho ancora letto quel post sul blog (non mi sono messo in pari con le notizie questa settimana), quindi darò un'occhiata durante il fine settimana.

 

Per me il test di robustezza è la capacità di operare con profitto in molte circostanze diverse, ossia coppie diverse, condizioni di mercato, dati di broker diversi. Negli ultimi tempi il K.I.S.S. è stato il mio motto nella generazione delle strategie. Eseguo le mie estrazioni solo con gli indicatori più semplici, il tempo ci dirà se si riveleranno più robuste.

 

Questo ci riporta alla discussione che abbiamo avuto in un thread precedente, in cui tendevo a concordare con te @geektrader sul fatto che ciò che stiamo vedendo negli ultimi anni con l'aumento della generazione di sistemi intelligenti, GA, NN e così via. Penso che per noi trader al dettaglio le dinamiche del mercato forex possano essere cambiate e metto in dubbio la validità dei dati storici su alcuni timeframe, perché strumenti come SQ si basano totalmente sulla storia per produrre e testare strategie robuste, quindi questo approccio è valido anche per l'analisi MC nel suo complesso se le dinamiche sono cambiate?

 

Ritengo tuttavia che si tratterà di tendenze, in quanto i mercati sono mossi dai fondamentali e dalla politica del governo, ovvero un paese avrà un tasso di interesse target che vuole raggiungere per controllare altri fondamentali economici come la spesa, le esportazioni, eccetera, quindi il flusso di denaro nel mercato forex entrerà o uscirà dal paese a seconda di queste politiche. Se applicazioni come SQ e Asirikuys Kantu funzioneranno in futuro, lo dirà il tempo, ma tendo ancora ad essere positivo su questo fronte, dato che ogni secondo del giorno vengono generati nuovi dati di mercato: questi sistemi si adatteranno? Chi può dirlo? Solo il tempo, ma nel frattempo continuerò a lavorare alla generazione di strategie utilizzando questo grande strumento.

 

Inoltre, in termini di solidità, tendo a credere che in questo mercato (forex), dove la borsa è decentralizzata, il broker e le sue buffonate abbiano molto a che fare con le cose, soprattutto per la maggior parte di noi che sono trader al dettaglio. Quello che ho visto su due diversi broker sui loro conti retail premium (pepperstone e Go Markets Australia) è che la performance delle strategie sembra essere influenzata in modo proporzionale alla quantità di capitale che ho sul conto, cioè più ne ho, peggiore è la performance delle mie strategie, mentre il conto con il minimo sembra funzionare molto bene. Ho anche verificato trasferendo la maggior parte dell'$ dal conto alto al mio conto più piccolo sull'altro broker, in modo che diventasse il mio conto più grande, ed ecco che questo conto ha iniziato a funzionare male mentre il mio conto ora piccolo ha iniziato a funzionare come previsto, entrambi questi conti eseguono le stesse strategie agli stessi livelli di rischio. l'unica differenza è il broker e il capitale del conto. Penso che il livello d'oro sia di 5K, ma non l'ho assolutamente convalidato; ora sto cercando di aprire altri conti e di distribuire il mio capitale su conti più piccoli, assicurandomi di mantenere l'$ sotto i 5K, per vedere se la performance complessiva del mio portafoglio si risolleva.

 

Infine, penso che per migliorare le prestazioni / la robustezza, le strategie debbano operare sotto il controllo di un trade manager che effettuerà lo shadow trading e determinerà il dimensionamento finale del contratto in modo dinamico sulla base delle prestazioni della strategia in condizioni reali; parte di ciò consiste nell'effettuare un MC all'interno del ciclo di gestione su ogni strategia che gestisce per determinare il suo rischio attuale, in modo da mettere automaticamente fuori linea una strategia con scarso rendimento quando inizia a fallire, ma al contrario dovrebbe riportarla in linea quando le condizioni di mercato tornano in linea con i fondamentali sottostanti e persino aumentare il dimensionamento dei contratti se il rendimento della strategia inizia a crescere, in modo che effettivamente la strategia continui a operare in background. Credo di aver presentato una richiesta di funzionalità in tal senso sul forum pertinente.

 

Spero sinceramente che nessuno smetta di dare il proprio contributo a questo forum della comunità, sono sicuro che possiamo essere tutti adulti nelle discussioni che abbiamo, in modo da poter dare un contributo positivo per aiutarci l'un l'altro, so che possiamo essere eccitati a volte 😀 Personalmente apprezzo i contributi di tutti, quindi grazie a tutti per tutti i vostri contributi.

 

Per me il viaggio è ancora in corso!

 

Stefano

Quando vedo stronzate come questa:

So solo che il trading e la ricerca di strategie semplici e robuste non sono così complicati. Ai quants piace essere fantasiosi, soprattutto a quelli che hanno lavorato per le banche... Alla fine tornano tutti alla semplicità. Ernie Chan ha scritto alcuni libri su questo tema, in cui si fa un uso molto pesante degli algoritmi. Ha programmato HFT AI per le banche (Goldman Sachs, credo) e quando ha iniziato a fare trading per conto proprio è tornato a modelli semplicistici e a test di robustezza. Alcuni di questi pdf vanno davvero al di là di ciò che è effettivamente necessario per trovare una strategia robusta che faccia soldi. Non è così complicato.

In generale, poche cose nel trading sono sempre vere, ma possono esserlo per lo più.

I miei sistemi ADX autocostruiti che sfruttano una reale che si verifica in QUALSIASI mercato e gli asset falliscono a Monte Carlo perché hanno solo circa 80 scambi di dati storici per coppia. Si tratta di un evento raro che si verifica in ogni coppia forse solo 3-5 volte all'anno, eppure è incredibilmente affidabile in QUALSIASI mercato. Sono l'elemento di maggior successo che regge il mio portafoglio. Quindi, in base alla mia esperienza diretta, questo mi ha insegnato a fidarmi meno di MC.
Alcune perfette strategie generate da curve azionarie che sfruttano un pattern inesistente (basta acquistare stop a distanza X dalla curva adattata alle deviazioni storiche della coppia di valute) passano MC a pieni voti e si rompono non appena entrano in funzione. In base alla mia esperienza diretta, questo mi ha insegnato a fidarmi meno di MC.

Non sto dicendo che sia completamente inutile e non mi fido nemmeno del 100% di MCA. Non è così facile come fare una strategia Monte Carlo e vincere. Nessuno su questo forum si lamenterebbe più e tutti avrebbero un successo sfrenato, persino tu, se questo fosse vero.
Nel trading nulla è mai 100% affidabile. Certo, forse può essere un altro filtro, ma prima di tutto serve a dimensionare il rischio.
Io uso WFM esattamente per quello per cui si usa MC (parametri variabili/insiemi di dati), ma WFM ha effettivamente dei criteri che posso definire per passare/fallire. MC in SQ non li ha.

Una bella chiacchierata,

In base alla mia esperienza, uno dei migliori test di robustezza sono:

¢ 1 ~ 2 Timeframe sopra/sotto il Timeframe corrente,

¢ I parametri degli indicatori devono funzionare nell'intervallo 10~25% e devono essere uguali ai parametri originali,

 

tipo di MC...,

In un software alternativo a SQ ho scoperto che i test di MC incorporano tempi diversi..., questo potrebbe migliorare il flusso di lavoro con SQ4 🙂

 

Buon fine settimana!

 

Inoltre, in termini di solidità, tendo a credere che in questo mercato (forex), dove la borsa è decentralizzata, il broker e le sue buffonate abbiano molto a che fare con le cose, soprattutto per la maggior parte di noi che sono trader al dettaglio. Quello che ho visto su due diversi broker sui loro conti retail premium (pepperstone e Go Markets Australia) è che la performance delle strategie sembra essere influenzata in modo proporzionale alla quantità di capitale che ho sul conto, cioè più ne ho, peggiore è la performance delle mie strategie, mentre il conto con il minimo sembra funzionare molto bene. Ho anche verificato trasferendo la maggior parte dell'$ dal conto alto al mio conto più piccolo sull'altro broker, in modo che diventasse il mio conto più grande, ed ecco che questo conto ha iniziato a funzionare male mentre il mio conto ora piccolo ha iniziato a funzionare come previsto, entrambi questi conti eseguono le stesse strategie agli stessi livelli di rischio. l'unica differenza è il broker e il capitale del conto. Penso che il livello d'oro sia di 5K, ma non l'ho assolutamente convalidato; ora sto cercando di aprire altri conti e di distribuire il mio capitale su conti più piccoli, assicurandomi di mantenere l'$ sotto i 5K, per vedere se la performance complessiva del mio portafoglio si risolleva.

 

 

Ciao Steven,

 

perché la performance è peggiore sui conti più grandi? È a causa dello slippage? Questo è l'unico aspetto che dovrebbe fare la differenza nel profitto tra due diversi broker, non è vero? (Lo spread è diverso, ovviamente, ma questo non dovrebbe avere l'impatto di cui avete scritto).

 

Patrick