Přejít k obsahu | Menu Přejít k hlavnímu | Přejít k vyhledávání
I test di robustezza sono una componente importante degli strumenti StrategyQuant X che aiutano gli utenti a valutare la stabilità, l'affidabilità e l'adattabilità delle loro strategie di trading in varie condizioni di mercato e potenziali incertezze. .
L'obiettivo principale dei test di robustezza è quello di valutare le prestazioni di una strategia di trading in diverse condizioni di mercato, scenari e impostazioni dei parametri.
L'StrategyQuant contiene diversi strumenti specifici per valutare la robustezza delle strategie. In questo documento analizziamo l'efficacia degli strumenti selezionati. Questa valutazione garantisce che la strategia non sia sovra-ottimizzata per un dato dato e che possa adattarsi alle mutevoli condizioni di mercato, aumentando così le probabilità di successo delle performance di trading.
Un esempio di strategia robusta e non robusta
La parte blu di ogni grafico è costituita dai dati fuori campione (sconosciuti)., Possiamo vedere che la strategia a sinistra si comporta bene anche su questa parte, mentre la strategia a destra fallisce sui dati sconosciuti - è quasi certo che si tratti di una curva adattata.jasne
L'obiettivo dello studio è quello di esaminare l'efficacia di vari tipi di test di robustezza in StrategyQuant X in.
I risultati di questo studio dovrebbero riguardare i seguenti punti chiave:
In conclusione, lo studio dovrebbe valutare a fondo l'efficacia dei vari tipi di test di robustezza in StrategyQuant X e fornire indicazioni sui loro punti di forza e di debolezza e sulle loro applicazioni pratiche.
I risultati aiuteranno i trader e gli investitori a comprendere meglio il valore di ciascun test e a prendere decisioni informate quando sviluppano e convalidano il loro trading.
Il risultato dell'analisi è la constatazione che la Il test più efficace per verificare la robustezza nelle impostazioni scelte sembra essere quello di testare la strategia su più mercati.. Per testare la strategia su più mercati, intendiamo selezionare le strategie in base ai valori medi più elevati delle metriche della strategia su più mercati. In media, migliorano le prestazioni della strategia di 14%. In StrategyQuant è molto facile testare la solidità di una strategia su più mercati utilizzando il metodo Test sul controllo incrociato dei mercati supplementari.
Il secondo miglior controllo di robustezza è la randomizzazione Monte Carlo dei dati storici.. Nelle pagine seguenti è possibile leggere i risultati dettagliati della nostra analisi e la metodologia da noi utilizzata. L'analisi è stata pensata per essere utile agli utenti del programma StrategyQuant X.
Per ulteriori informazioni su tutti i test di robustezza di Strategy Quant X, consultare la nostra documentazione.
Nell'analisi abbiamo utilizzato le seguenti impostazioni e tipologie di test di robustezza:
Si noti che questo risultato è valido solo per la configurazione di build e di test indicata di seguito - forex, timeframe 4H, set di simboli e impostazioni di build esatte.
È un lavoro per il futuro - che abbiamo intenzione di fare come continuazione di questa serie - verificare se questo risultato è valido anche per altri asset, altri tempi e altre configurazioni di costruzione.
Nella parte che segue, ho preparato per voi uno studio su cui ho lavorato per 2 mesi. Ho sviluppato decine di pagine di codice Python per questo studio. Si tratta di un grande progetto in cui bisogna lavorare con enormi insiemi di dati, eseguire operazioni numeriche, analizzare i dati e interpretarli successivamente. L'obiettivo era capire come un particolare test di robustezza possa aiutare a selezionare strategie che hanno maggiori probabilità di produrre risultati robusti in futuro. Il documento segue la logica della procedura nell'analisi.
In primo luogo, carichiamo 5 set di dati con classifiche generali di strategie di bastone per ogni test di robustezza. Per set di dati intendiamo 100 000 strategie selezionate in base a una classifica molto generica.
Ripeterò questa procedura in diversi periodi di tempo
Ogni set di dati aveva un'impostazione di IS = 30% e OOS 70%, il vero fuori campione era di 2 anni.
Esempio nell'immagine sottostante: Il dataset 2003-2017 termina il 31.12.2016 e ha un vero e proprio periodo fuori campione di 2 anni dall'1.1.2017 al 31.12.2018.
In altre parole, simuleremo la generazione di strategie con la fine della generazione nel 2017, 2018, 2019, 2020, 2021. Dopo ogni finestra temporale, le strategie seguiranno il cosiddetto vero fuori campione. ( + 2 anni )
In primo luogo, generiamo set di dati senza test di robustezza e poi applichiamo a ciascun set di dati test selezionati su periodi fuori campione.
Per ogni periodo fuori campione, seleziono le strategie tra le prime 1% di valori con la metrica del test di robustezza data, trovo la performance di queste strategie nel periodo fuori campione e confronto la loro performance con quella di tutte le strategie nel periodo fuori campione. Ottengo i dati per ogni periodo di tempo e quindi so come un determinato controllo di robustezza sarebbe utile in media.
Alla fine dell'articolo troverete una tabella in cui ho descritto quali test funzionano meglio... e viceversa, cosa che non ho assolutamente confermato. Potete utilizzare questa tabella per creare la vostra strategia. I test che sono stati confermati dovrebbero sicuramente essere inclusi nel vostro flusso di lavoro.
Cominciamo...
In primo luogo, generiamo 5 insiemi di dati. Per set di dati intendiamo 100 000 strategie selezionate in base a una classifica molto generica.
Ho filtrato le strategie generate da SQX in base a questi criteri di base:
Ripeterò questa procedura in diversi periodi di tempo
Ogni set di dati aveva un'impostazione di IS = 30% e OOS 70%, il vero fuori campione era di 2 anni.
Ho generato un semplice tipo di strategie per un time frame di 4 ore. La strategia poteva entrare solo con Enter At market. Ho impostato sia lo stop loss che il profit target su base ATR. Ho utilizzato solo gli indicatori integrati e solo le condizioni. Le strategie potevano avere al massimo due condizioni di entrata...
Abbiamo scelto un time frame di 4 ore, ma la mia esperienza mi insegna che i singoli time frame, i mercati e i setup possono avere le loro idiosincrasie, quindi non è possibile trarre conclusioni generali dopo una singola analisi. L'obiettivo dello studio era quello di mostrare le tendenze nell'utilizzo dei test di robustezza, al fine di preparare il flusso di lavoro per ulteriori analisi e di sollevare questioni da discutere.
La creazione e la pulizia di un set di dati così grande (5* 100 000) richiede molto tempo e impegno. Ho creato le strategie su 2 workstation AMD Threadripper 2950 con 32 processori. Ci sono voluti circa 12 giorni per creare la strategia con un progetto personalizzato.
Gli spread, gli swap sono impostati in base al broker Darwinex, tutti gli spread sono aumentati di 0,5 pip o arrotondati per eccesso. Per ogni operazione è stata applicata una commissione di 2,2 USD.
Nella figura seguente sono riportate le caratteristiche qualitative di ciascun set di strategie creato per un determinato periodo.
Nel colonna verde abbiamo i valori delle metriche strategiche acquisite nel periodo fuori campione
Nella colonna blu abbiamo i valori delle strategie nel vero fuori campione periodo
Come si può vedere nel grafico precedente, le strategie perdono la loro performance nei veri periodi fuori campione. Notiamo l'instabilità delle performance delle strategie nei periodi di vero fuori campione.
Ci sono anni in cui il Fattore Profit medio delle strategie in vero fuori campione è superiore a 1 e ci sono anni ( 2018 / 2019 / 2020 ) al di sotto di 1. In altre parole, le strategie in media stanno perdendo. Allo stesso modo si osservano valori bassi e instabili nel caso di Avg. Trade e Ret/DD Ratio.
Payout Ratio , Avg. Ore di trading e Avg. Le compravendite mensili sono relativamente simili sia nel fuori campione che nel fuori campione vero e proprio.
Nella figura sottostante, vediamo nel riquadro verde la variazione assoluta (delta) tra il fuori campione e il vero fuori campione di queste metriche strategiche:
Nella parte sinistra (riquadro verde) vediamo il delta (differenza) delle metriche selezionate tra il loro fuori campione e il vero fuori campione.
Nella parte destra (riquadro blu) possiamo vedere il coefficiente di correlazione di Sheppard nel caso di Profit Factor, Payout Ratio, Avg.Trade, Ret/ DD Ratio tra i valori di questi indicatori in fuori campione e in vero fuori campione. Possiamo notare che le correlazioni per Profit Factor, Avg. Trade, Ret/ DD Ratio sono piuttosto basse e instabili. In altre parole, i valori bassi indicano un basso valore predittivo tra il fuori campione e il vero fuori campione.
Le analisi di altri set di dati e di altri tipi di strategie mostrano performance diverse per le strategie con e senza blocchi di price action. Ora dividerò l'intero set di dati di 5*100 000 strategie in insiemi di dati
Diamo quindi un'altra occhiata al set di dati di base partizionato
Nelle immagini sottostanti si possono vedere le stesse statistiche di cui sopra, ma visualizzate per le strategie in cui possono essere presenti blocchi di indicatori + price action. La struttura dei dati visualizzati è esattamente la stessa dell'analisi dell'intero set di dati.
Nelle immagini sottostanti possiamo vedere le caratteristiche di base del dataset Solo con i blocchi di price action.
La mia ipotesi si basa su un'analisi simile sugli indici e presuppone che le strategie con SOLO blocchi di azione dei prezzi abbiano una performance migliore sia in fuori campione che in vero fuori campione. In questa analisi, l'ipotesi non è stata soddisfatta e la migliore performance delle strategie con indicatori e blocchi di prezzo è stata mantenuta. Si noti che per il fuori campione, la performance è migliore per le strategie con SOLO blocchi di price action, mentre per il vero fuori campione, la performance è peggiore per le strategie con solo blocchi di price action. Anche se possiamo trovare alcune differenze, non sono molto significative e coerenti.
Il dataset di base è costituito da strategie che soddisfano i requisiti di base del fuori campione e non abbiamo eseguito test di robustezza. La domanda che segue è se possiamo ottenere risultati statisticamente migliori tra i veri fuori campione con le strategie selezionate rispetto al dataset di base dei veri fuori campione (senza test di robustezza, solo con le classifiche di base di cui sopra) eseguendo i test di robustezza selezionati.
Il processo di analisi
Nota. Non ho escluso i valori anomali dall'analisi.
Monitoreremo le prestazioni dei test di robustezza su queste metriche:
Analizzeremo i seguenti test di robustezza
Nota: Il test Monte Carlo Randomize Strategy Parameters verrà applicato solo alle strategie con indicatori e blocchi price action. Non applichiamo questo test alle strategie con soli blocchi di price action perché randomizziamo SOLO i periodi degli indicatori indicati.
Vediamo brevemente come abbiamo impostato i singoli test di robustezza.
Rapporto tra metriche OOS/IS
Il rapporto tra metriche fuori campione e metriche dentro campione.
Media dei mercati aggiuntivi Matrici
Abbiamo eseguito i backtest sui mercati utilizzando la parte di dati fuori campione per ciascun set di dati. Il grafico mostra il valore medio di una determinata metrica in base ai backtest su tutti i mercati aggiuntivi.
Potete scaricare questi snippet dal nostro server di condivisione qui.
Abbiamo testato questi mercati:
Metodi Monte Carlo Retest: Randomizzare i dati storici OHLC
Abbiamo utilizzato i dati storici di Randomize OHLC, che sono stati aggiunti nella versione 136. Le impostazioni sono visibili nell'immagine sottostante.
Metodi Monte Carlo Retest: Randomizzare i parametri della strategia - Periodi
Per il test dei parametri randomizzati della strategia ho utilizzato uno snippet modificato in cui solo i periodi dei parametri erano randomizzati.
Monte Carlo Randomizzare la manipolazione dei trade : Ordine di compravendita casuale
Nella figura seguente vediamo le metriche di robustezza ordinate per Avg. Profit Factor in true out of sample vs. Avg.Profit Factor All in true out of sample nel dataset con non è stato applicato alcun test di robustezza.
Nelle colonne blu e bianche vediamo il confronto in ogni periodo in cui abbiamo generato il dataset.
Nota esplicativa della tabella
Come valutare la tabella precedente
La prima colonna nel riquadro blu a sinistra mostra l'anno 2017. Profit Factor Avg. rappresenta il fattore di profitto medio di 1% (99° percentile) delle strategie selezionate dopo il test di robustezza. Profit Factor All Avg. rappresenta il fattore di profitto medio di tutte le strategie in un determinato campione vero e proprio.
Abbiamo quindi selezionato le strategie in base al test di robustezza nel fuori campione, ma confrontiamo i risultati di queste strategie nel vero fuori campione. Il delta è la variazione assoluta dei valori medi.
Nei riquadri blu sono riportati tutti i periodi di tempo (set di dati) in cui abbiamo condotto lo studio, mentre nell'ultima colonna rossa è riportata la variazione percentuale della media delle strategie selezionate in base al test di robustezza e all'intero set di dati.
Tra le tre metriche esaminate, la performance Multi Market delle strategie è al primo posto.
Il quarto test di robustezza efficiente è la selezione di 1% strategie secondo MCRHD: Avg. Trade (MC retest, livello Conf. 95%), che aumenta le prestazioni di 7,8% in media.
Gli altri due sono 1. TV: Avg. Trade (OOS), 1. TV: Profit Factor (OOS). Se dovessimo selezionare 1% degli stratagemmi in base a queste metriche strategiche, il fattore di profitto in OOS aumenterebbe in media di circa 6%. Anche le metriche OOS/IS hanno una buona performance.
Anche in questo caso, applico i test di robustezza SOLO alle strategie filtrate nel processo di costruzione utilizzando i seguenti criteri.
Poiché si tratta di strategie in cui non abbiamo applicato filtri avanzati, né abbiamo simulato un flusso di lavoro fondamentale. Pertanto, i risultati vanno considerati come un'indicazione di tendenza.
Il miglioramento delle prestazioni delle metriche di base in OOS è dovuto anche al fatto che nella creazione dei set di dati abbiamo utilizzato solo classifiche di base. In altre parole, i criteri utilizzati sono stati impostati per generare il maggior numero di strategie redditizie nel più breve tempo possibile. Nella prossima parte, apriremo la possibilità di simulare le classifiche attuali e di applicare test di robustezza a queste strategie.
Nell'immagine sottostante allego una versione semplificata del grafico precedente.
| Tipo di test di robustezza | Miglioramento medio % del fattore Profit nel Vero Fuori Campione rispetto al fattore Profit nel periodo Fuori Campione |
| Performance multimercato | 12.11 |
| Metodi Monte Carlo Retest: Randomizzare i dati storici OHLC | 4.71 |
| Rapporto tra le metriche fuori campione e le metriche nel campione | 4.61 |
| Metriche fuori campione (media di Profit factor, Avg.Trade, Profit Factor) | 4.61 |
| Rapporto tra i metodi di retest Monte Carlo: Randomizzare i dati storici OHLC vs. metriche fuori campione | 3.59 |
| Monte Carlo Randomizzare le operazioni Manipolazione : Ordine di randomizzazione dei trade | 3.44 |
| Rapporto di manipolazione Monte Carlo Randomize Trades : Ordine di randomizzazione dei trade vs. metriche fuori campione | 2.13 |
| Metodi Monte Carlo Retest: Randomizzare i parametri della strategia - Periodi | -6.06 |
| Rapporto tra i parametri della strategia di randomizzazione Monte Carlo e le metriche fuori campione | -9.09 |
Nella figura sopra, vediamo il miglioramento medio del fattore prfot per un determinato tipo di robustezza. Il risultato è la prima delle tre metriche utilizzate per valutare i test di robustezza (media del fattore Profit, Avg.Trade, Profit Factor).
Prestazioni multimercato ( OOS ) darebbe un miglioramento medio di 12% del fattore di profitto della strategia nel vero periodo fuori campione. Il secondo Il miglior test di robustezza è il Metodo Monte Carlo Retest: Randomizzare i dati storici OHLC si tradurrebbe in media in un miglioramento di 4,7% del fattore di profitto della strategia nel suo vero periodo fuori campione.
Nell'analisi precedente abbiamo utilizzato le metriche di base per la selezione delle strategie. Esistono metriche strategiche con un valore predittivo più elevato? Questo problema può essere chiarito con diversi metodi. Impariamo alcuni metodi dall'apprendimento automatico con problemi di estrazione di caratteristiche. La logica di base è quella di misurare la relazione tra le metriche di strategia in fuori campione e la relazione tra la dipendenza delle variabili in fuori campione vero.
Coefficiente di informazione massima
Si tratta di un metodo non parametrico per valutare le relazioni lineari e non lineari tra le variabili. Nel grafico qui sotto, vediamo la relazione tra le variabili selezionate (colonna di sinistra) del fuori campione e le variabili del fuori campione (colonna di sinistra). Profattore di adattamento nel campione vero in ciascuno dei set di dati. Si tratta di calcoli molto preliminari, ma si noti che né il fattore Profit, né Avg.Trade, né il rapporto Ret/ DD si trovano nelle prime posizioni. Da queste informazioni, possiamo concludere che esistono metriche strategiche migliori per prevedere la performance futura delle startup che non fanno parte del campione.
Estenderemo l'analisi data con diversi passaggi
Dove andremo a finire nelle analisi successive al rilascio della versione finale 137?
Nella parte introduttiva, abbiamo suggerito che il test più efficace del time frame a 4 ore su EURUSD è quello di testare una strategia multi-mercato - robustezza multi-mercato. Abbiamo scoperto che alcune metriche della strategia possono avere un valore predittivo più elevato di altre. Abbiamo scoperto che anche la randomizzazione dei dati storici può portare a miglioramenti interessanti.
Tornerò su questo set di dati in un articolo di ottobre, dove cercheremo di applicare alcuni dei miglioramenti citati alla fine dell'articolo. Poi faremo un set di dati simile a novembre e dicembre con i miglioramenti apportati e ci concentreremo sulle strategie e sull'orizzonte temporale orario degli indici.
Accolgo con favore tutti i suggerimenti e le critiche costruttive.
Trading smart means making the most of your time and resources, especially when comparing your current trading results with historical data. That’s where Quant Analyzer steps in, offering a streamlined …
Tomas Vanek2. 5. 2024
We’d like to announce the release of the new SX 139 Dev 1 version – note that this is a development version for testing, not the final 139 version. Most …
Dive into Algorithmic Trading Without the Coding Headache! Are you intrigued by algorithmic trading but dread the thought of coding? Today marks the beginning of our exciting series that’s about …
Inglese
Spagnolo
Portoghese
Francese
Tedesco
Articolo interessante. Grazie mille. Una domanda: si può pensare di utilizzare R-Square come funzione di fitness?
Grazie,
Rosso
Ciao, Redlock. In questa ricerca non ho riscontrato una relazione significativa tra il valore quadratico R e le prestazioni reali fuori campione.
"Articolo eccellente. Come sempre! Avete utilizzato qualche criterio nella selezione delle valute? Qualche correlazione specifica?".
Grazie!
Ciao Diego. Ho scelto in base alla liquidità, ma la prossima volta sceglierò i mercati in base alla correlazione. Non è stata una scelta ideale.
Articolo fantastico, grazie mille.
Domanda: possiamo includere anche l'effetto dell'Edge Ratio nel test di robustezza sul mercato Forex?
Ciao, Stu. Hai un'idea concreta di come implementare il test di robustezza Edge Ratio?
Che ne dite di utilizzare lo stesso approccio descritto in questo blog?
https://strategyquant.com/blog/edge-ratio-in-strategyquant-x
Questo tipo di lavoro è molto buono, ma alla fine vogliamo sapere quali sono i test che danno un valore reale nel trading dal vivo, perché se li si esegue tutti è un lavoro che richiede molto tempo e non viene fuori quasi nessuna strategia.
Mikael
Grazie Mikael, sì, sono d'accordo
Salve, quale intervallo di correlazione delle coppie di valute dovrebbe essere utilizzato quando si sceglie un Multi Market? Le coppie di valute con una correlazione prossima allo zero dovrebbero essere utilizzate per i test di robustezza?