I test di robustezza funzionano davvero?

Per dimostrare se i "test di robustezza" funzionano davvero, si potrebbe eseguire la seguente procedura.

1. Costruire 1000 strategie con EURUSD H1, utilizzando il periodo 2018-2023 come dati "In Sample" e lasciando il 2024 come "Unseen Data".
2. Una volta costruite le 1000 strategie, con una bella curva di equity, un buon fattore di profitto e un fitness accettabile, testatele nel periodo "Unseen".

Diciamo che 30% delle strategie iniziali, cioè trecento, danno un profitto se testate solo nel 2024. Ciò significa che se avessi scelto una strategia a caso tra le mille, avrei avuto una probabilità di 30% di chiudere il 2024 in profitto.

3. Testare le 1000 strategie iniziali con un "Test di robustezza", ad esempio la "Matrice di avanzamento", nel periodo "In Sample", 2018-2023.

Diciamo che 10% di queste strategie, cento, superano il test.

4. Ora testate queste cento strategie nel periodo "inedito", il 2024.

Se il "Test di robustezza" ha funzionato bene, dovrebbe selezionare le strategie migliori e la percentuale di quelle redditizie dovrebbe essere superiore alla 30% ottenuta senza utilizzare il "Test di robustezza".

Ho eseguito questa procedura molte volte con diversi asset, in diversi periodi di tempo, cambiando i parametri e utilizzando ogni tipo di "test di robustezza", ma il risultato era sempre lo stesso: il "test di robustezza" non era in grado di selezionare le strategie che avevano maggiori probabilità di essere redditizie nei periodi "non visti".

Ho scritto questo post per potermi confrontare con altri trader, per capire se qualcuno ha le prove che i "test di robustezza" possono davvero essere utili a qualcosa e in che modo.

Se non siete soddisfatti dei Too di SQX, provate gli strumenti di Thomas Nickel. Er schreibt:

La fase iniziale di SQX è stata molto problematica: in tutti i casi si sono verificati dei problemi. In seguito, la situazione è peggiorata, ma la strada da percorrere è stata lunga.
Programmo in Java, ma ho lavorato anche in C e C++. L'Assembler si trova già un po' più in là, ma non è ancora pronto per l'uso.
Avete visto i miei tre programmi Pro? Das Monitortool installiert und überwacht SQX-generierte EAs, die Toolbox generiert Workflows, und der Metrikanalyser enthält eine KI auf Basis von Weka.
Questi strumenti aiutano ad analizzare e installare i robot SQX. Sono disponibili come freeware.
Ich habe auch mal darüber nachgedacht, die Software zu verkaufen oder Schulungen anzubieten, um anderen zu zeigen, wie man profitable Strategien erstellt.
Ci sono molte persone che cercano di farlo, ma la maggior parte non funziona. Le strategie redditizie sono difficili da trovare - nessuno sa quali sono quelle che funzionano meglio.
Il problema del Problem è spesso legato alla circostanza che molte strategie sono perfettamente "curve-fitted", ovvero funzionano solo sulla base di dati storici e si infrangono nella pratica.
Ho fatto da solo e mi sono accorto che questi sistemi non funzionano.
L'uomo deve tradurre il flusso di lavoro complessivo e simulare tutto. Per questo motivo ho creato il Toolbox, e da allora ho notato che i flussi di lavoro non funzionano.
Finora ho solo un flusso di lavoro, che è molto bello: il flusso di lavoro GBPJPY H1 del forum SQX.

Ich bin noch zu neu und kann das nicht kommentieren. Thomas ha acquistato l'SQX da poco più di 10 anni.

PS: il link per il download è in formato PDF.

La fase iniziale di SQX è stata davvero problematica: c'erano bug ovunque. Nel frattempo le cose sono migliorate notevolmente, ma la strada è stata lunga.

Programmo in Java, ma ho lavorato anche in C e C++. L'assembler è stato un po' di tempo fa; oggi è poco usato.

Conoscete già i miei tre programmi? Lo strumento di monitoraggio installa e controlla gli EA generati da SQX, il toolbox genera flussi di lavoro e l'analizzatore di metriche contiene un'intelligenza artificiale basata su Weka.

Questi strumenti ausiliari aiutano ad analizzare e installare i robot SQX. Sono disponibili come freeware.

Ho anche pensato di vendere il software o di offrire corsi di formazione per mostrare ad altri come creare strategie redditizie.

Ci sono molte persone che ci provano, ma la maggior parte delle volte non funziona. Le strategie redditizie sono difficili da trovare: quasi nessuno ne ha una che funzioni davvero bene.

Spesso il problema è che molte strategie sono semplicemente "adattate alle curve", cioè funzionano solo su dati storici e si rompono nella pratica.

Ci sono passato anch'io e ho capito che questi sistemi non funzionano.

È necessario esaminare l'intero flusso di lavoro e simulare tutto. È per questo che ho sviluppato il toolbox e da allora mi ha sempre dimostrato che i flussi di lavoro non funzionano.

Finora ho trovato solo un flusso di lavoro ragionevolmente buono: il flusso di lavoro GBPJPY H1 del forum SQX.

Ok, grazie per la risposta. Studierò attentamente i documenti che mi hai inviato. Restiamo in contatto!

Le mie informazioni sulla "Robustezza" sono riportate qui:

https://dnyl.space/tag/robustness/

Ciao Drunkshingha, grazie per il tuo post.

Non sono riuscito a trovare l'argomento che ho trattato nel tuo link, è corretto?

Secondo la mia esperienza, i test di robustezza come quelli di Montecarlo, Walk Forward Matrix ecc. ecc. non sono in grado di selezionare le strategie che hanno maggiori probabilità di essere redditizie in futuro.

Sto chiedendo ai commercianti se hanno qualche prova che funzionano.

Strategyquant fa il suo lavoro: trova le strategie che sono state redditizie in passato, ma la maggior parte di esse non funzionerà con i dati non visti. Dobbiamo selezionare le strategie che funzioneranno in futuro per essere redditizie. Non ho ancora trovato uno strumento in grado di farlo. Nella mia esperienza i test di robustezza classici non funzionano.

Ho iniziato a leggere i documenti postati in questo forum da Thomas Nickel. Ha sviluppato un nuovo strumento per selezionare le strategie generate da Strategyquant. L'idea è molto buona, ma ho bisogno di tempo per testare il suo metodo.

Anch'io sto sviluppando un metodo da solo, se funziona ve lo farò sapere.

Se qualcuno è interessato a questo argomento, per favore lasciate le vostre idee!

Penso che si debba considerare il test di robustezza come uno strumento da utilizzare per le strategie che superano una serie di backtesting di base. Questo strumento vi mostra le caratteristiche del vostro sistema per una valutazione dal vivo.

Per quanto mi riguarda, divido i miei dati in tre parti e ogni parte deve fornire un insieme statisticamente significativo di operazioni da valutare.

In genere ciò significa che sono necessari più di 10 anni di dati storici. Supponiamo di avere il periodo 2013 - 2017 come chunk 1, il periodo 2017 - 2021 come chunk 2 e il periodo 2021 - 2025 come chunk 3. Si addestra il sistema su 1/2 del chunk 2 e lo si valuta sull'altra metà. Quindi si lavora esclusivamente con i dati del periodo 2017-2021. Questa strategia deve superare una serie di filtri di base. Partiamo dal presupposto che una strategia che ha un fattore di profitto costante di 1,75 avrà molto probabilmente un PF vicino a 1,75 su questo intervallo di dati.

Da questo piccolo test sappiamo che se abbiamo un insieme sufficientemente ampio di strategie accettabili, da qualche parte in quell'insieme speriamo di avere un sottoinsieme più piccolo di strategie sufficientemente robuste per fare trading. Come facciamo a trovarle? Dal punto di vista dei dati del chunk 2, i chunk 1 e 3 sono dati "non visti". Testiamo quindi le nostre nuove strategie sul chunk 1 e vediamo cosa otteniamo.

Intuitivamente, una strategia robusta dovrebbe operare bene sul chunk 1. Ho riscontrato che un numero compreso tra 10 e 50% delle mie strategie si comportano in modo accettabile sul chunk 1. Quindi ora abbiamo almeno l'inizio di qualcosa.

Successivamente, testate le strategie che passano su una serie di diversi timeframe e titoli. Fate attenzione a testare la vostra strategia in modo rigoroso, ma non così rigoroso da non avere alcuna possibilità di passare. Ciò richiede una certa discrezione e conoscenza del mercato. Ad esempio, non scegliete il VIX come secondo titolo per convalidare una strategia sull'ES. Esercitate la stessa cautela sui timeframe. Se state valutando una strategia TF a 1 ora, non convalidatela su un timeframe a 1 metro. C'è MOLTO più rumore sull'1m e le strategie che operano lì sotto hanno bisogno di caratteristiche diverse. Personalmente non credo che sia possibile fare trading al dettaglio su un timeframe così breve. Non mi preoccuperei nemmeno di estrarre strategie al di sotto dei 15m TF.

Se ottenete una strategia che supera questi test, date un'occhiata ai diversi test di Monte Carlo disponibili. Utilizzateli per capire come dovrebbe comportarsi la vostra strategia di fronte a diverse realtà di mercato. Verificate come si comporta con una serie di slippage o di operazioni saltate. Verificate le diverse curve azionarie mostrate dal test dei parametri.

Se riuscite a superarli tutti, ALLORA potete valutare la vostra strategia sull'ultima porzione di dati. Se la strategia si comporta bene sui dati rimanenti, allora forse avete qualcosa. Ci sono ancora alcuni test da eseguire, ma è possibile che ora stiate lavorando con una strategia abbastanza robusta da poter fare trading dal vivo.

Ho scoperto che molte persone, me compreso, sono un po' irrealistiche su come una strategia dovrebbe comportarsi sui dati reali. Vogliamo guadagnare immediatamente, ma se leggiamo attentamente i nostri backtest ci rendiamo conto che non è proprio quello che succede. Una buona strategia potrebbe avere un periodo di stagnazione di 180 giorni o più (è un tempo lungo per valutare se si è in quel "buco"). Ho trovato alcune strategie perfettamente accettabili che operano in modo piatto e hanno un paio di buone vittorie ogni trimestre o giù di lì. Ciò significa che potreste avere 3 o 4 perdite di fila in un trading che rientra perfettamente in una buona fascia di confidenza di ciò che la vostra strategia dovrebbe fare.

Ecco cosa penso funzioni bene. Valutate onestamente il vostro back test e i vostri test di robustezza. Non passate uno strat che non potreste personalmente negoziare. Per me questo significa un tasso di vincita di 50%, ret/dd > 8, PF > 1,5, rischio < 2% del conto. Date un'occhiata a ciò che vi dice il backtest. Se vi dice che potreste subire 6 perdite di fila, ipotizzate che queste perdite possano essere massime. Riconoscete che 6 perdite di fila sono una statistica e non un massimo reale. Potreste averne 7 o 8. Cosa dovreste fare se ne avete 7 nel vostro periodo di valutazione? Dovete staccare la spina? Avere un piano. Il mercato è imprevedibile.

Cercate di valutare le diverse parti della vostra curva di equity con la conoscenza di come era il mercato all'epoca. Come si è comportato il vostro studio durante il crash di Covid? Forse potreste avere una serie di statistiche per il trading sul mercato "normale" e una seconda serie per le condizioni di mercato eccezionali. In che tipo di mercato vi trovate ora? È altamente volatile? I mercati molto volatili colpiranno i vostri stop loss molto più spesso e dovete sapere se questo è accettabile o se la vostra strategia si sta rompendo.

Rendetevi conto che 6 perdite di fila * 2% potrebbero essere un sacco di soldi per voi. Riuscite a sopportarlo? In caso contrario, dovrete modificare i vostri sistemi per far rientrare il rischio in una fascia a voi congeniale. Questo potrebbe significare che non potete negoziare alcuni titoli. Ho scoperto che molti retail racimolano $5000 e si dirigono verso l'ES, senza rendersi conto che quest'ultimo potrebbe aver bisogno di $2000 - $5000 di SL per muoversi per un'operazione, anche su un orizzonte temporale più breve. Molti algoritmi beneficiano del survivorship bias e per trarne vantaggio è necessario uno stoploss più ampio di quello indicato dalla matematica. Riconoscete i limiti del vostro patrimonio netto e non cercate di negoziare titoli che non avete la possibilità di negoziare. Per quanto mi riguarda, non prenderei in considerazione la negoziazione di titoli mini senza almeno $100k USD a causa della mia esperienza personale. Se non avete questa disponibilità, prendete in considerazione i micro.

Da 4 anni costruisco strategie a margine e pratico il trading discrezionale. Mantengo la mia famiglia grazie al mio trading discrezionale. Utilizzo SQx solo da pochi mesi, ma ho imparato molto. Alcune delle strategie che valutavo in passato le abbandonavo perché perdevano più soldi di quanto volessi. Occasionalmente tornavo indietro e scoprivo che quelle stesse strategie si erano rafforzate e avevano guadagnato una discreta quantità di denaro in seguito. Se avessi valutato onestamente e capito cosa mi stava dicendo il backtest, avrei potuto lasciarle operare più a lungo e sarei stato in attivo.

L'ultima parte della valutazione, quella con dati reali e denaro vero, è sempre la più difficile. È importante costruire un quadro o una mappa di ciò che la strategia dovrebbe fare in un determinato periodo di tempo. Non abbiate paura di tirare i profitti prima del tempo, ma lasciate che il sistema operi e vi dica dove sarebbe uscito. Ho scoperto che, come trader discrezionale, sono molto più bravo a valutare intuitivamente il mercato e a tirare i profitti in anticipo, ma devo guardare alla curva delle azioni che il sistema avrebbe generato, non alla curva delle azioni che ho ottenuto.

Lo faccio come parte del periodo di valutazione, in modo da avere un po' più di fiducia nella possibilità di preservare l'equity che ho se sto valutando una strategia perdente. Dopo aver acquisito fiducia nel sistema, lo lascio andare perché il trading discrezionale richiede tempo e lo scopo dell'esecuzione degli algoritmi è, per me, quello di liberare più tempo. Quindi, se avete problemi a trovare algoritmi robusti, forse non è il test dell'algoritmo che dovete migliorare, ma la vostra interpretazione dei dati del backtest. Ho sentito un bravo trader di algo in un podcast dire che il trading di algos non è un'esperienza priva di emozioni, l'unica vera differenza tra il trading di algos e il trading discrezionale è che avete più fiducia nei vostri dati di backtest. Credo che in realtà intendesse dire che si hanno più dati a disposizione. Ma questo significa che dobbiamo usarli in modo efficace quando valutiamo i sistemi live.

Spero che questo sia d'aiuto.

In fin dei conti, la robustezza offre solo maggiori possibilità di successo della strategia.

Cose da pensare:

1. Cosa voglio ottenere e quali test sono adatti a questo scopo.

Volete trovare parametri stabili? Forse ottimizzazione sequenziale, spp o anche walk forward.

Volete trovare il peggior drawdown? Forse Monte Carlo.

Volete trovare schemi e anomalie nei vostri dati di backtest? Forse utilizzate le simulazioni "what if".

Volete vedere come si comporta il vostro backtest su dati sconosciuti? Magari fate un backtest su altri mercati.

**Il punto è che nel trading tutto è un forse. È nostro compito mettere le probabilità a nostro favore e monitorare le prestazioni.

2. Una volta ottenuti i dati del backtest e il test di robustezza, chiedetevi: il vostro backtest sembra normale?

- Esistono solo operazioni di acquisto/vendita? Ad esempio, la simmetria delle operazioni 0%.

-Quali sono le maggiori perdite/vinte?

-Mi aspetto molti o pochi scambi?

**Nessuno ne parla, ma da un certo punto di vista i filtri umani sono un test di robustezza in sé.

Spero che questo sia d'aiuto. 🙂