Analisi di test di robustezza selezionati in StrategyQuant X su Forex

Introduzione

I test di robustezza sono una componente importante degli strumenti StrategyQuant X che aiutano gli utenti a valutare la stabilità, l'affidabilità e l'adattabilità delle loro strategie di trading in varie condizioni di mercato e potenziali incertezze. .

 

L'obiettivo principale dei test di robustezza è quello di valutare le prestazioni di una strategia di trading in diverse condizioni di mercato, scenari e impostazioni dei parametri.

L'StrategyQuant contiene diversi strumenti specifici per valutare la robustezza delle strategie. In questo documento analizziamo l'efficacia degli strumenti selezionati. Questa valutazione garantisce che la strategia non sia sovra-ottimizzata per un dato dato e che possa adattarsi alle mutevoli condizioni di mercato, aumentando così le probabilità di successo delle performance di trading.

 

Un esempio di strategia robusta e non robusta

La parte blu di ogni grafico è costituita dai dati fuori campione (sconosciuti)., Possiamo vedere che la strategia a sinistra si comporta bene anche su questa parte, mentre la strategia a destra fallisce sui dati sconosciuti - è quasi certo che si tratti di una curva adattata.jasne

 

Obiettivo della ricerca

L'obiettivo dello studio è quello di esaminare l'efficacia di vari tipi di test di robustezza in StrategyQuant X in. 

I risultati di questo studio dovrebbero riguardare i seguenti punti chiave:

  1. Confronto delle prestazioni: confrontare le prestazioni delle strategie di trading sottoposte a diversi test di robustezza in StrategyQuant X, evidenziando l'efficacia di ciascun test nell'identificare strategie robuste.
  2. Prevenzione dell'overfitting: misura l'efficacia di ciascun test di robustezza nel ridurre al minimo l'overfitting, assicurando che le strategie funzionino bene sia sui dati del campione che su quelli fuori campione.
  3. Prestazioni di trading reali: si analizza la correlazione tra le strategie che superano ciascun test di robustezza e le loro prestazioni effettive in ambienti di trading reali, fornendo indicazioni sul valore pratico di questi test.
  4. Adattabilità ai cambiamenti del mercato: valutare la capacità di ciascun test di robustezza di identificare strategie di trading in grado di adattarsi alle mutevoli condizioni di mercato e di mantenere le proprie prestazioni nel tempo.
  5. Raccomandazioni per le combinazioni di test: fornire raccomandazioni sulla combinazione ottimale di test di robustezza per massimizzare l'identificazione di strategie di trading resilienti e adattabili, mantenendo efficienza e praticità.

 

In conclusione, lo studio dovrebbe valutare a fondo l'efficacia dei vari tipi di test di robustezza in StrategyQuant X e fornire indicazioni sui loro punti di forza e di debolezza e sulle loro applicazioni pratiche. 

I risultati aiuteranno i trader e gli investitori a comprendere meglio il valore di ciascun test e a prendere decisioni informate quando sviluppano e convalidano il loro trading.

 

Risultati

Il risultato dell'analisi è la constatazione che la Il test più efficace per verificare la robustezza nelle impostazioni scelte sembra essere quello di testare la strategia su più mercati.. Per testare la strategia su più mercati, intendiamo selezionare le strategie in base ai valori medi più elevati delle metriche della strategia su più mercati. In media, migliorano le prestazioni della strategia di 14%. In StrategyQuant è molto facile testare la solidità di una strategia su più mercati utilizzando il metodo Test sul controllo incrociato dei mercati supplementari.  

Il secondo miglior controllo di robustezza è la randomizzazione Monte Carlo dei dati storici.. Nelle pagine seguenti è possibile leggere i risultati dettagliati della nostra analisi e la metodologia da noi utilizzata. L'analisi è stata pensata per essere utile agli utenti del programma StrategyQuant X.

 

Per ulteriori informazioni su tutti i test di robustezza di Strategy Quant X, consultare la nostra documentazione.

 

 

Nell'analisi abbiamo utilizzato le seguenti impostazioni e tipologie di test di robustezza:

 

 

Si noti che questo risultato è valido solo per la configurazione di build e di test indicata di seguito - forex, timeframe 4H, set di simboli e impostazioni di build esatte.

È un lavoro per il futuro - che abbiamo intenzione di fare come continuazione di questa serie - verificare se questo risultato è valido anche per altri asset, altri tempi e altre configurazioni di costruzione.

Introduzione all'analisi

Nella parte che segue, ho preparato per voi uno studio su cui ho lavorato per 2 mesi. Ho sviluppato decine di pagine di codice Python per questo studio. Si tratta di un grande progetto in cui bisogna lavorare con enormi insiemi di dati, eseguire operazioni numeriche, analizzare i dati e interpretarli successivamente. L'obiettivo era capire come un particolare test di robustezza possa aiutare a selezionare strategie che hanno maggiori probabilità di produrre risultati robusti in futuro. Il documento segue la logica della procedura nell'analisi.

In primo luogo, carichiamo 5 set di dati con classifiche generali di strategie di bastone per ogni test di robustezza. Per set di dati intendiamo 100 000 strategie selezionate in base a una classifica molto generica.

Ripeterò questa procedura in diversi periodi di tempo

 

  • 2003 - 2017 + 2 anni reali fuori campione (1.1.2017 - 31.12.2018)
  • 2004 - 2018 + 2 anni di vero fuori campione ( 1.1.2018 - 31.12.2019)
  • 2005 - 2019 + 2 anni reali fuori campione (1.1.2019 - 31.12.2020)
  • 2006 - 2020 + 2 anni di vero fuori campione (1.1.2020 - 31.12.2021)
  • 2007 - 2021 + 2 anni reali fuori campione (1.1.2021 - 31.12.2022)

 

Ogni set di dati aveva un'impostazione di IS = 30% e OOS 70%, il vero fuori campione era di 2 anni.

Esempio nell'immagine sottostante: Il dataset 2003-2017 termina il 31.12.2016 e ha un vero e proprio periodo fuori campione di 2 anni dall'1.1.2017 al 31.12.2018. 

 

In altre parole, simuleremo la generazione di strategie con la fine della generazione nel 2017, 2018, 2019, 2020, 2021. Dopo ogni finestra temporale, le strategie seguiranno il cosiddetto vero fuori campione. ( + 2 anni )

In primo luogo, generiamo set di dati senza test di robustezza e poi applichiamo a ciascun set di dati test selezionati su periodi fuori campione.

Per ogni periodo fuori campione, seleziono le strategie tra le prime 1% di valori con la metrica del test di robustezza data, trovo la performance di queste strategie nel periodo fuori campione e confronto la loro performance con quella di tutte le strategie nel periodo fuori campione. Ottengo i dati per ogni periodo di tempo e quindi so come un determinato controllo di robustezza sarebbe utile in media.

Alla fine dell'articolo troverete una tabella in cui ho descritto quali test funzionano meglio... e viceversa, cosa che non ho assolutamente confermato. Potete utilizzare questa tabella per creare la vostra strategia. I test che sono stati confermati dovrebbero sicuramente essere inclusi nel vostro flusso di lavoro.

Cominciamo...

 

Impostazioni del costruttore e descrizione del set di dati

Datasets

In primo luogo, generiamo 5 insiemi di dati. Per set di dati intendiamo 100 000 strategie selezionate in base a una classifica molto generica.

Ho filtrato le strategie generate da SQX in base a questi criteri di base:

 

Ripeterò questa procedura in diversi periodi di tempo

  • 2003 - 2017 + 2 anni reali fuori campione
  • 2004 - 2018 + 2 anni reali fuori campione
  • 2005 - 2019 + 2 anni reali fuori campione
  • 2006 - 2020 + 2 anni reali fuori campione
  • 2007 - 2021 + 2 anni veri fuori campione

 

Ogni set di dati aveva un'impostazione di IS = 30% e OOS 70%, il vero fuori campione era di 2 anni.

 

Configurazione del costruttore - impostazione del tipo di strategia

Ho generato un semplice tipo di strategie per un time frame di 4 ore. La strategia poteva entrare solo con Enter At market. Ho impostato sia lo stop loss che il profit target su base ATR. Ho utilizzato solo gli indicatori integrati e solo le condizioni. Le strategie potevano avere al massimo due condizioni di entrata... 

Abbiamo scelto un time frame di 4 ore, ma la mia esperienza mi insegna che i singoli time frame, i mercati e i setup possono avere le loro idiosincrasie, quindi non è possibile trarre conclusioni generali dopo una singola analisi. L'obiettivo dello studio era quello di mostrare le tendenze nell'utilizzo dei test di robustezza, al fine di preparare il flusso di lavoro per ulteriori analisi e di sollevare questioni da discutere.

La creazione e la pulizia di un set di dati così grande (5* 100 000) richiede molto tempo e impegno. Ho creato le strategie su 2 workstation AMD Threadripper 2950 con 32 processori. Ci sono voluti circa 12 giorni per creare la strategia con un progetto personalizzato.

Gli spread, gli swap sono impostati in base al broker Darwinex, tutti gli spread sono aumentati di 0,5 pip o arrotondati per eccesso. Per ogni operazione è stata applicata una commissione di 2,2 USD.

 

 

Valutazione della qualità delle strategie generate quando i test di robustezza non sono stati utilizzati

Nella figura seguente sono riportate le caratteristiche qualitative di ciascun set di strategie creato per un determinato periodo.

 

Nel colonna verde abbiamo i valori delle metriche strategiche acquisite nel periodo fuori campione

 

  • No. Strats - il numero di strategie in un determinato set di dati
  • Nessun blocco unico - numero di strategie con blocchi di ingresso unici
  • 1TP9Fattore di adattamento Avg. - fattore di profitto medio di tutte le 100 000 strategie nel periodo fuori campione
  • Ret DD/Ratio Avg. - la media Ret DD/Ratio di tutte le 100.000 strategie nel periodo fuori campione
  • Avg. Commercio Avg. - media dell'Avgerage Trade di tutte le 100.000 strategie nel periodo fuori campione
  • Payout Ratio Avg. - media del Payout Ratio di tutte le 100.000 strategie nel periodo fuori campione
  • Avg. Ore di lavoro nel commercio Avg. - il numero medio di ore di posizione aperta di 100.000 strategie nel periodo fuori campione
  • Operazioni medie al mese Avg. - media Operazioni medie al mese di tutte le 100.000 strategie nel periodo fuori campione. Operazioni al mese di tutte le 100.000 strategie nel periodo fuori campione

 

Nella colonna blu abbiamo i valori delle strategie nel vero fuori campione periodo 

 

  • 1TP9Fattore di adattamento Avg. - media del fattore Profit di tutte le 100 000 strategie nel periodo vero fuori campione
  • Avg.Trade Avg. - media degli scambi medi di tutte le 100.000 strategie nel periodo vero e proprio fuori dal campione
  • Rapporto Ret/DD Avg. - la media della Ret DD/Ratio di tutte le 100 000 strategie in vero fuori campione 
  • Payout Ratio Avg. - media del Payout Ratio di tutte le 100.000 strategie nel periodo vero e proprio fuori campione
  • Avg. Ore di lavoro nel commercio Avg.   il numero medio di ore di posizione aperta di 100.000 strategie in un vero periodo fuori campione
  • Media delle transazioni al mese Operazioni al mese Avg.  - media di Avg. Operazioni al mese di tutte le 100.000 strategie nel vero periodo fuori campione

 

Come si può vedere nel grafico precedente, le strategie perdono la loro performance nei veri periodi fuori campione. Notiamo l'instabilità delle performance delle strategie nei periodi di vero fuori campione.

 

Ci sono anni in cui il Fattore Profit medio delle strategie in vero fuori campione è superiore a 1 e ci sono anni ( 2018 / 2019 / 2020 ) al di sotto di 1. In altre parole, le strategie in media stanno perdendo. Allo stesso modo si osservano valori bassi e instabili nel caso di Avg. Trade e Ret/DD Ratio. 

Payout Ratio , Avg. Ore di trading e Avg. Le compravendite mensili sono relativamente simili sia nel fuori campione che nel fuori campione vero e proprio. 

 

Nella figura sottostante, vediamo nel riquadro verde la variazione assoluta (delta) tra il fuori campione e il vero fuori campione di queste metriche strategiche: 

  • 1TP9Fattore di adattamento ( link)
  • Rapporto Ret/DD ( link)
  • Avg. Commercio( link)
  • Rapporto di remunerazione ( link)

Nella parte sinistra (riquadro verde) vediamo il delta (differenza) delle metriche selezionate tra il loro fuori campione e il vero fuori campione.

 

Nella parte destra (riquadro blu) possiamo vedere il coefficiente di correlazione di Sheppard nel caso di Profit Factor, Payout Ratio, Avg.Trade, Ret/ DD Ratio tra i valori di questi indicatori in fuori campione e in vero fuori campione. Possiamo notare che le correlazioni per Profit Factor, Avg. Trade, Ret/ DD Ratio sono piuttosto basse e instabili. In altre parole, i valori bassi indicano un basso valore predittivo tra il fuori campione e il vero fuori campione.

 

Le analisi di altri set di dati e di altri tipi di strategie mostrano performance diverse per le strategie con e senza blocchi di price action. Ora dividerò l'intero set di dati di 5*100 000 strategie in insiemi di dati 

  • Strategie con SOLO blocchi di price action senza indicatori
  • Strategie con blocchi di indicatori e price action

 

Diamo quindi un'altra occhiata al set di dati di base partizionato

 

Strategia Dataset con indicatori + blocchi di price action

 

 

Nelle immagini sottostanti si possono vedere le stesse statistiche di cui sopra, ma visualizzate per le strategie in cui possono essere presenti blocchi di indicatori + price action. La struttura dei dati visualizzati è esattamente la stessa dell'analisi dell'intero set di dati.

 

Strategia del set di dati solo con blocchi di azione del prezzo

Nelle immagini sottostanti possiamo vedere le caratteristiche di base del dataset Solo con i blocchi di price action.

 

Breve confronto tra i due set di dati

La mia ipotesi si basa su un'analisi simile sugli indici e presuppone che le strategie con SOLO blocchi di azione dei prezzi abbiano una performance migliore sia in fuori campione che in vero fuori campione. In questa analisi, l'ipotesi non è stata soddisfatta e la migliore performance delle strategie con indicatori e blocchi di prezzo è stata mantenuta. Si noti che per il fuori campione, la performance è migliore per le strategie con SOLO blocchi di price action, mentre per il vero fuori campione, la performance è peggiore per le strategie con solo blocchi di price action. Anche se possiamo trovare alcune differenze, non sono molto significative e coerenti.

 

Valutare la qualità delle strategie generate quando sono stati utilizzati i test di robustezza.

Il dataset di base è costituito da strategie che soddisfano i requisiti di base del fuori campione e non abbiamo eseguito test di robustezza. La domanda che segue è se possiamo ottenere risultati statisticamente migliori tra i veri fuori campione con le strategie selezionate rispetto al dataset di base dei veri fuori campione (senza test di robustezza, solo con le classifiche di base di cui sopra) eseguendo i test di robustezza selezionati.

 

Descrizione della procedura per valutare l'efficacia dei test di robustezza

Il processo di analisi

  1. Eseguire un test di robustezza specifico per i periodi fuori campione in ogni set di dati.
  2. Selezione dei migliori valori 1% di un determinato test di robustezza in base al suo valore nella metrica della strategia nel fuori campione.
  3. Misurare il fattore Avg. Profattore di adattamento di una determinata selezione su un campione vero e proprio.
  4. Confrontare il fattore Avg. Il fattore Profit di una determinata selezione su un vero fuori campione con il fattore Avg. Fattore Profit sull'intero set di dati fuori campione vero
  5. Poiché abbiamo un totale di 5 serie di dati in diversi periodi di tempo, facciamo una media dei risultati e tracciamo il delta percentile medio tra i valori nella serie di dati di base (senza utilizzare il test di robustezza) e nella serie di dati in cui abbiamo utilizzato il test di robustezza.

 

Nota. Non ho escluso i valori anomali dall'analisi.

 

Metriche della strategia

Monitoreremo le prestazioni dei test di robustezza su queste metriche:

  • 1TP9Fattore di adattamento
  • Rapporto Ret/DD
  • Avg. Commercio

 

Test di robustezza utilizzati

Analizzeremo i seguenti test di robustezza

 

  • Rapporto OOS/IS
  • Metodi di retest Monte Carlo: Selezione casuale dei dati storici di OHLC
  • Metodi Monte Carlo Retest: Selezione casuale dei parametri della strategia - periodi
  • Monte Carlo Randomizzare la manipolazione dei trade : Ordine di compravendita casuale 
  • Metodi Monte Carlo di ritiro : Metodi Monte Carlo di ritiro: Randomizzare i parametri della strategia - Periodi vs. metriche fuori campione 
  • Metodi Rapporto Monte Carlo Retest : Metriche : Randomizzare i dati storici OHLC rispetto alle metriche fuori campione 
  • Rapporto Monte Carlo Randomizzare i trade Manipolazione : Randomize Trades Ordine vs. metriche fuori campione 
  • Media delle metriche strategiche in altri mercati

 

Nota: Il test Monte Carlo Randomize Strategy Parameters verrà applicato solo alle strategie con indicatori e blocchi price action. Non applichiamo questo test alle strategie con soli blocchi di price action perché randomizziamo SOLO i periodi degli indicatori indicati.

 

Descrizione delle impostazioni

 

Vediamo brevemente come abbiamo impostato i singoli test di robustezza.

 

Rapporto tra metriche OOS/IS

 

Il rapporto tra metriche fuori campione e metriche dentro campione.

 

Media dei mercati aggiuntivi Matrici

Abbiamo eseguito i backtest sui mercati utilizzando la parte di dati fuori campione per ciascun set di dati. Il grafico mostra il valore medio di una determinata metrica in base ai backtest su tutti i mercati aggiuntivi. 

Potete scaricare questi snippet dal nostro server di condivisione qui.

Abbiamo testato questi mercati:

  • GBPJPY
  • EURJPY
  • GBPUSD
  • USDJPY

 

Metodi Monte Carlo Retest: Randomizzare i dati storici OHLC

Abbiamo utilizzato i dati storici di Randomize OHLC, che sono stati aggiunti nella versione 136. Le impostazioni sono visibili nell'immagine sottostante.

 

Metodi Monte Carlo Retest: Randomizzare i parametri della strategia - Periodi

Per il test dei parametri randomizzati della strategia ho utilizzato uno snippet modificato in cui solo i periodi dei parametri erano randomizzati. 

 

 

Monte Carlo Randomizzare la manipolazione dei trade : Ordine di compravendita casuale 

Risultati OOS veri per le 1% di strategie che hanno ottenuto i migliori valori del test di robustezza ( 99° percentile ) 

Nella figura seguente vediamo le metriche di robustezza ordinate per Avg. Profit Factor in true out of sample vs. Avg.Profit Factor All in true out of sample nel dataset con non è stato applicato alcun test di robustezza.

 

Nelle colonne blu e bianche vediamo il confronto in ogni periodo in cui abbiamo generato il dataset.

 

Nota esplicativa della tabella

  • Rapporto OOSIS: Rapporto OOS/IS
  • MCRHD: - Metodi Monte Carlo Retest: Randomizzare i dati storici OHLC
  • MCRSP: - Metodi Monte Carlo Retest: Randomizzare i parametri della strategia - Periodi
  • MCRTO: - Monte Carlo Randomize Trades Manipulation : Ordine di compravendita casuale  
  • MCRHD Ratio Monte Carlo Randomize Dati storici vs. metriche fuori campione
  • Rapporto MCRHD: Metodi di retest Monte Carlo: Randomizzare i dati storici OHLC vs. metriche fuori campione
  • Rapporto MCRSP: Rapporto tra i parametri della strategia di randomizzazione Monte Carlo e le metriche fuori campione.
  • Rapporto MCRTO: Rapporto Monte Carlo Randomize Trades Manipulation : Randomize Trades Ordine vs. metriche fuori campione
  • MM( OOS ) - Media della metrica della strategia sui mercati aggiuntivi 

 

Come valutare la tabella precedente

La prima colonna nel riquadro blu a sinistra mostra l'anno 2017. Profit Factor Avg. rappresenta il fattore di profitto medio di 1% (99° percentile) delle strategie selezionate dopo il test di robustezza. Profit Factor All Avg. rappresenta il fattore di profitto medio di tutte le strategie in un determinato campione vero e proprio.

Abbiamo quindi selezionato le strategie in base al test di robustezza nel fuori campione, ma confrontiamo i risultati di queste strategie nel vero fuori campione. Il delta è la variazione assoluta dei valori medi.

Nei riquadri blu sono riportati tutti i periodi di tempo (set di dati) in cui abbiamo condotto lo studio, mentre nell'ultima colonna rossa è riportata la variazione percentuale della media delle strategie selezionate in base al test di robustezza e all'intero set di dati.

 

Interpretazione dei risultati

Tra le tre metriche esaminate, la performance Multi Market delle strategie è al primo posto.

  • MM (OOS): AddMAvg.TradeAvg (Portafoglio) + 15,24%
  • MM (OOS): AddMReturnDDRatioAvg (Portafoglio) + 9,62%
  • MM (OOS): AddMAvg.TradeAvg (Portafoglio) +8,24%

 

Il quarto test di robustezza efficiente è la selezione di 1% strategie secondo MCRHD: Avg. Trade (MC retest, livello Conf. 95%), che aumenta le prestazioni di 7,8% in media.

Gli altri due sono 1. TV: Avg. Trade (OOS), 1. TV: Profit Factor (OOS). Se dovessimo selezionare 1% degli stratagemmi in base a queste metriche strategiche, il fattore di profitto in OOS aumenterebbe in media di circa 6%. Anche le metriche OOS/IS hanno una buona performance.

 

Anche in questo caso, applico i test di robustezza SOLO alle strategie filtrate nel processo di costruzione utilizzando i seguenti criteri. 

  • 1TP9Fattore di adattamento ( IS ) > 1,3
  • Avg. Operazioni all'anno ( IS ) > = 15
  • Avg. Operazioni all'anno ( OOS ) > = 15
  • Utile netto ( OOS ) > 0

 

Poiché si tratta di strategie in cui non abbiamo applicato filtri avanzati, né abbiamo simulato un flusso di lavoro fondamentale. Pertanto, i risultati vanno considerati come un'indicazione di tendenza.

 

Il miglioramento delle prestazioni delle metriche di base in OOS è dovuto anche al fatto che nella creazione dei set di dati abbiamo utilizzato solo classifiche di base. In altre parole, i criteri utilizzati sono stati impostati per generare il maggior numero di strategie redditizie nel più breve tempo possibile. Nella prossima parte, apriremo la possibilità di simulare le classifiche attuali e di applicare test di robustezza a queste strategie.

 

Nell'immagine sottostante allego una versione semplificata del grafico precedente.

Tipo di test di robustezza Miglioramento medio % del fattore Profit nel Vero Fuori Campione rispetto al fattore Profit nel periodo Fuori Campione
Performance multimercato 12.11
Metodi Monte Carlo Retest: Randomizzare i dati storici OHLC 4.71
Rapporto tra le metriche fuori campione e le metriche nel campione 4.61
Metriche fuori campione (media di Profit factor, Avg.Trade, Profit Factor) 4.61
Rapporto tra i metodi di retest Monte Carlo: Randomizzare i dati storici OHLC vs. metriche fuori campione 3.59
Monte Carlo Randomizzare le operazioni Manipolazione : Ordine di randomizzazione dei trade 3.44
Rapporto di manipolazione Monte Carlo Randomize Trades : Ordine di randomizzazione dei trade vs. metriche fuori campione 2.13
Metodi Monte Carlo Retest: Randomizzare i parametri della strategia - Periodi -6.06
Rapporto tra i parametri della strategia di randomizzazione Monte Carlo e le metriche fuori campione -9.09

 

Nella figura sopra, vediamo il miglioramento medio del fattore prfot per un determinato tipo di robustezza. Il risultato è la prima delle tre metriche utilizzate per valutare i test di robustezza (media del fattore Profit, Avg.Trade, Profit Factor).

 

Prestazioni multimercato ( OOS ) darebbe un miglioramento medio di 12% del fattore di profitto della strategia nel vero periodo fuori campione. Il secondo Il miglior test di robustezza è il Metodo Monte Carlo Retest: Randomizzare i dati storici OHLC si tradurrebbe in media in un miglioramento di 4,7% del fattore di profitto della strategia nel suo vero periodo fuori campione.

 

Idee, miglioramenti e passi futuri

Nell'analisi precedente abbiamo utilizzato le metriche di base per la selezione delle strategie. Esistono metriche strategiche con un valore predittivo più elevato? Questo problema può essere chiarito con diversi metodi. Impariamo alcuni metodi dall'apprendimento automatico con problemi di estrazione di caratteristiche. La logica di base è quella di misurare la relazione tra le metriche di strategia in fuori campione e la relazione tra la dipendenza delle variabili in fuori campione vero.

 

Coefficiente di informazione massima

Si tratta di un metodo non parametrico per valutare le relazioni lineari e non lineari tra le variabili. Nel grafico qui sotto, vediamo la relazione tra le variabili selezionate (colonna di sinistra) del fuori campione e le variabili del fuori campione (colonna di sinistra). Profattore di adattamento nel campione vero in ciascuno dei set di dati. Si tratta di calcoli molto preliminari, ma si noti che né il fattore Profit, né Avg.Trade, né il rapporto Ret/ DD si trovano nelle prime posizioni. Da queste informazioni, possiamo concludere che esistono metriche strategiche migliori per prevedere la performance futura delle startup che non fanno parte del campione.

 

Estenderemo l'analisi data con diversi passaggi

 

  • Potremmo analizzare i blocchi in ingresso e il loro margine medio nel corso dei periodi. In questo modo, si potrebbero selezionare i blocchi efficienti, che mantengono una prestazione stabile.
  • La selezione in caso di rapporti OOS/IS può essere effettuata meglio che con il metodo dei percentili.
  • Possiamo cercare di trovare metriche strategiche migliori per selezionare le strategie con bordi più alti.
  • Possiamo simulare il flusso di lavoro selezionato e applicare test di robustezza alle strategie ottenute da esso (ad esempio, scegliamo strategie con fattore di profitto OOS/IS > 0,9, fattore di profitto IS > 1,3 e applichiamo test di robustezza a queste strategie).
  • Possiamo analizzare combinazioni di questi test di robustezza.
  • Lo standard per queste analisi è la validazione incrociata. Nella prossima parte effettueremo la convalida incrociata all'interno di un set di dati ma anche su altri set di dati. (Ad esempio, testeremo un set di dati generato su EUR USD su USD/JPY). 
  • Nei test di robustezza possiamo utilizzare un'impostazione più rigida
  • Possiamo utilizzare più mercati per il test multimercato. In questa analisi abbiamo utilizzato 5 mercati
  • I singoli test Monte Carlo verranno impostati in modo più restrittivo. I parametri della strategia di randomizzazione Monte Carlo possono essere impostati separatamente in modo più rigoroso.  
  • Possiamo utilizzare tecniche più rigorose per quantificare il bordo dei test di robustezza.
  • È stato possibile aggiungere all'analisi valori selezionati degli indicatori di ottimizzazione Profiles e SPP Median, ottimizzazione sequenziale. Dopo la release 138 aggiungeremo l'analisi dell'efficienza del WFO.
  • Ho utilizzato un'impostazione di IS 30% e OOS 70% seguita da True OS 2 anni. Qui c'è spazio per la sperimentazione. Possiamo utilizzare altre impostazioni di IS e OOS per applicare i test di robustezza nei periodi di campionamento. Ci sono molte possibilità.

 

Dove andremo a finire nelle analisi successive al rilascio della versione finale 137?

  • Possiamo analizzare tutti gli indicatori esterni e le regole di carattere basate su di essi. Negli ultimi anni abbiamo aggiunto diversi indicatori e snippet di alta qualità, il cui valore predittivo è significativamente superiore a quello degli indicatori integrati in SQX.
  • È possibile testare diverse lunghezze di True Of Sample, diverse impostazioni di input e output e diversi archi temporali. Ho scelto 2 anni di True Of Sample per avere un campione statisticamente più significativo nell'analisi.

 

Conclusioni e raccomandazioni

Nella parte introduttiva, abbiamo suggerito che il test più efficace del time frame a 4 ore su EURUSD è quello di testare una strategia multi-mercato - robustezza multi-mercato. Abbiamo scoperto che alcune metriche della strategia possono avere un valore predittivo più elevato di altre. Abbiamo scoperto che anche la randomizzazione dei dati storici può portare a miglioramenti interessanti. 

Tornerò su questo set di dati in un articolo di ottobre, dove cercheremo di applicare alcuni dei miglioramenti citati alla fine dell'articolo. Poi faremo un set di dati simile a novembre e dicembre con i miglioramenti apportati e ci concentreremo sulle strategie e sull'orizzonte temporale orario degli indici.

 Accolgo con favore tutti i suggerimenti e le critiche costruttive.

 

clonex / Ivan Hudec

Ivan Hudec, known as “Clonex” on the forum, is an experienced algorithmic trader, consultant, and researcher who has been trading for 15 years and using StrategyQuant X (SQX) since 2014. He contributes to the SQX blog and enhances the software by adding new indicators, snippets, and incorporating Python programming for advanced data analysis, machine learning algorithms, and quantitative modeling. Ivan offers his expertise to help others accelerate their trading projects and approach them in innovative ways.

Abbonarsi
Notificami
10 Commenti
Il più vecchio
Più recente I più votati
Feedback in linea
Visualizza tutti i commenti
Redlock55
17. 10. 2023 20:02

Articolo interessante. Grazie mille. Una domanda: si può pensare di utilizzare R-Square come funzione di fitness?

Grazie,

Rosso

DIEGO SANTOS
17. 10. 2023 20:49

"Articolo eccellente. Come sempre! Avete utilizzato qualche criterio nella selezione delle valute? Qualche correlazione specifica?".

Grazie!

ytu
ytu
18. 10. 2023 12:03 pm

Articolo fantastico, grazie mille.
Domanda: possiamo includere anche l'effetto dell'Edge Ratio nel test di robustezza sul mercato Forex?

ytu
ytu
Rispondi a  clonex / Ivan Hudec
30. 10. 2023 13:14

Che ne dite di utilizzare lo stesso approccio descritto in questo blog?
https://strategyquant.com/blog/edge-ratio-in-strategyquant-x

Mikael Wendelsten
26. 10. 2023 17:23

Questo tipo di lavoro è molto buono, ma alla fine vogliamo sapere quali sono i test che danno un valore reale nel trading dal vivo, perché se li si esegue tutti è un lavoro che richiede molto tempo e non viene fuori quasi nessuna strategia.
Mikael

sina
sina
1. 11. 2023 7:31

Salve, quale intervallo di correlazione delle coppie di valute dovrebbe essere utilizzato quando si sceglie un Multi Market? Le coppie di valute con una correlazione prossima allo zero dovrebbero essere utilizzate per i test di robustezza?

Continua a leggere