Tipi di test di robustezza in SQX

Nel campione / Fuori dal campione

I test In-Sample (IS) e Out-of-Sample (OOS) sono concetti essenziali nello sviluppo, nella verifica e nella validazione delle strategie di trading. Aiutano a valutare la robustezza delle strategie e a garantire che non siano eccessivamente adatte a uno specifico set di dati. Di seguito viene fornita un'ampia spiegazione dei test In-Sample e Out-of-Sample:

Definizione dei dati IS e OOS:

Dati in campione (IS): I dati IS sono la porzione di dati storici utilizzati per sviluppare e ottimizzare la strategia di trading. Durante il processo di sviluppo della strategia, vari parametri, regole e indicatori vengono regolati e messi a punto per ottenere la migliore performance possibile sui dati IS.

Dati fuori campione (OOS): I dati OOS sono una parte separata e non visibile dei dati storici riservata al test e alla convalida della strategia di trading. I dati OOS non vengono utilizzati nel processo di sviluppo o di ottimizzazione per garantire che la performance della strategia su questi dati sia una valutazione imparziale della sua efficacia e della sua solidità..

L'obiettivo principale dell'utilizzo di dati IS e OOS è quello di valutare la robustezza e la generalizzabilità delle strategie di trading. Valutando la performance della strategia su dati IS e OOS, gli utenti possono identificare un potenziale overfitting e assicurarsi che la strategia non sia eccessivamente ottimizzata per uno specifico set di dati. Una strategia che si comporta bene sia sui dati IS che su quelli OOS ha maggiori probabilità di essere resiliente e adattabile alle mutevoli condizioni di mercato.

Nel contesto dello sviluppo e del test delle strategie di trading, i dati storici vengono suddivisi in segmenti IS e OOS. La strategia viene sviluppata e ottimizzata utilizzando i dati IS e la sua performance viene poi convalidata utilizzando i dati OOS. Gli utenti possono confrontare le metriche di performance di entrambi i set di dati per valutare la robustezza della strategia ed evitare l'overfitting.

Vantaggi dei test nel campione e fuori dal campione:

1. Test di robustezza: Confrontando le prestazioni della strategia sui dati IS e OOS, gli utenti possono valutarne la robustezza e la generalizzabilità. Una strategia che si comporta bene su entrambi i set di dati ha meno probabilità di essere sovraadattata e più probabilità di ottenere buoni risultati nel trading live.

2. Convalida dei concetti della strategia: Se una strategia di trading ottiene buoni risultati con i dati OOS, ciò fornisce ulteriore fiducia nel fatto che l'idea di trading sottostante sia solida e non solo il risultato di un adattamento alle curve o di una casualità.

3. Prevenzione dell'overfitting: L'uso di dati OOS aiuta a prevenire l'overfitting, in quanto costringe la strategia a dimostrare la propria efficacia su un set di dati non ancora noto. Ciò garantisce che la strategia non sia eccessivamente ottimizzata per uno specifico set di dati e che possa adattarsi alle mutevoli condizioni di mercato.

Test Monte Carlo

I test Monte Carlo sono parte integrante degli strumenti di verifica della robustezza di StrategyQuant X e consentono agli utenti di valutare la stabilità e l'affidabilità delle loro strategie di trading in vari scenari casuali. Eseguendo le simulazioni di Monte Carlo, gli utenti possono comprendere la potenziale gamma di risultati per le loro strategie e valutare la loro resistenza a eventi e condizioni di mercato inaspettati. Di seguito viene fornita un'ampia spiegazione dei test Monte Carlo in StrategyQuant X:

Cosa sono i test Monte Carlo: 

I test Monte Carlo sono un metodo statistico che prevede la simulazione di un gran numero di scenari casuali per valutare la performance di una strategia di trading. Questi test generano variazioni casuali di fattori quali l'ordine di negoziazione, lo slippage, il capitale iniziale e il dimensionamento della posizione per analizzare le prestazioni della strategia in diverse condizioni. Esaminando i risultati di queste simulazioni, gli utenti possono valutare la stabilità e l'affidabilità delle loro strategie di trading.

L'obiettivo principale dei test Monte Carlo è quello di valutare la robustezza e l'adattabilità delle strategie di trading. Analizzando la performance della strategia in vari scenari casuali, gli utenti possono comprendere la sua potenziale gamma di risultati e identificare potenziali debolezze o vulnerabilità. Queste informazioni aiutano gli utenti a comprendere i rischi associati alle loro strategie e a decidere con cognizione di causa se impiegarle in ambienti di trading reali.

In StrategyQuant X è possibile utilizzare due tipi di test Monte Carlo:

Manipolazione del commercio Monte Carlo

Questo controllo incrociato esegue simulazioni in cui in ogni simulazione le operazioni esistenti vengono manipolate - vengono rimescolate, alcune vengono omesse, ecc.
Questa funzione è molto veloce, in quanto non richiede backtest, ma lavora con le operazioni esistenti del backtest principale.
L'idea alla base è quella di verificare quanto la curva della strategia dipenda dall'ordine delle operazioni e cosa succede se alcune operazioni non vengono eseguite.

È possibile eseguire queste manipolazioni commerciali in qualsiasi simulazione:

• Randomizzare l'ordine delle compravendite - Questo è il test più semplice, in cui l'ordine delle operazioni viene rimescolato in modo casuale. Questo non cambia il profitto netto, ma è molto utile per studiare le diverse variazioni di drawdown che possono derivare dal diverso ordine degli scambi.
• Saltare gli scambi in modo casuale - salta i trade in modo casuale con una certa probabilità. Nel trading reale, può capitare di perdere un'operazione a causa di un errore della piattaforma o di internet, o semplicemente perché si smette di fare trading per qualche tempo. Questo test vi dà un'idea di come potrebbe apparire la curva dei titoli se alcune operazioni venissero saltate in modo casuale.

Metodi di retest Monte Carlo

Si tratta di un altro tipo di simulazione Monte Carlo. In questo caso, vengono simulate variazioni casuali delle proprietà che richiedono una nuova verifica della strategia, ad esempio variazioni dello spread, dello slippage, dei parametri della strategia o dei dati storici.

Poiché è necessario un backtest completo per ogni simulazione, questo controllo incrociato può richiedere molto tempo.
Ad esempio, se il backtest con i dati principali ha richiesto 0,5 secondi e si vogliono eseguire 100 simulazioni in questo controllo incrociato, si può ipotizzare che ci vorranno 100 x 0,5 = 50 secondi per ogni strategia in cui viene applicato.

Verranno testati i seguenti tipi di Metodi di retest Monte Carlo

• Randomizzare i parametri della strategia - ogni strategia utilizza parametri, come il periodo di un indicatore o una costante, per il confronto. Questo test verifica la sensibilità della strategia a una piccola variazione del valore del parametro. La probabilità di variazione è la probabilità che un parametro cambi il suo valore. Max. Parameter Change è la percentuale massima di variazione del valore del parametro. Ad esempio, se si imposta Max. Parameter Change a 10%, un parametro con valore 60 può essere modificato casualmente in un intervallo compreso tra 54 e 66 (+- 10% del valore originale di 60).
• Randomizzare i dati storici - Un caso molto comune di adattamento della curva è quando la strategia dipende troppo dai dati storici. Questa opzione controlla il comportamento della strategia quando i dati storici vengono modificati.

Rapporti OOS/IS

Rappresenta il rapporto tra le metriche del periodo fuori campione e le metriche del periodo dentro campione.

Il rapporto OOS / IS esprime il grado di deterioramento della strategia nel periodo fuori campione rispetto al periodo dentro il campione.

Il deterioramento della strategia si riferisce al deterioramento della performance di una strategia di trading quando viene applicata a nuovi dati che non sono ancora stati visti. Questo deterioramento si verifica spesso quando una strategia ottimizzata e messa a punto per i dati in-sample (IS) viene testata su dati out-of-sample (OOS). Il deterioramento può essere dovuto a un adattamento eccessivo della strategia ai dati IS o a un cambiamento delle condizioni di mercato a cui la strategia non può adattarsi.

Le metriche out-of-sample (OOS) e in-sample (IS) sono concetti critici nello sviluppo, nel test e nella validazione delle strategie di trading. Queste metriche aiutano a valutare la robustezza delle strategie e a garantire che non siano troppo adatte a un particolare set di dati.

L'obiettivo principale dell'utilizzo dei rapporti OOS / IS è quello di valutare la robustezza e la generalizzabilità delle strategie di trading. Valutando la performance della strategia sia sui dati IS che su quelli OOS, è possibile identificare un potenziale overfitting e garantire che la strategia non sia eccessivamente ottimizzata per un particolare set di dati. Una strategia che si comporta bene sia su IS che su OOS è probabilmente più resistente e adattabile alle mutevoli condizioni di mercato.

Test multimercato (test su altri mercati)

Il Multi-Market Testing è una caratteristica essenziale di StrategyQuant X che consente di valutare le prestazioni e l'adattabilità delle strategie di trading per diversi strumenti finanziari o condizioni di mercato. Questo approccio di test mira a identificare le strategie che non sono efficaci solo in un singolo mercato, ma che si comportano bene anche in ambienti di mercato diversi, riducendo il rischio di overfitting e aumentando le probabilità di successo delle performance di trading.

Lo scopo principale del test multimercato è quello di determinare la solidità e la flessibilità di una strategia di trading. Una strategia che si comporta bene in più mercati è probabilmente più resistente e adattabile alle mutevoli condizioni di mercato, perché si è dimostrata efficace in una varietà di circostanze. Testare più mercati aiuta gli utenti a identificare le strategie che non sono eccessivamente ottimizzate per un particolare mercato. In questo modo si riduce il rischio di un eccessivo adattamento e si aumentano le possibilità di successo nel trading live.

Il test multimercato consiste nel testare le strategie di trading su diversi strumenti finanziari, come azioni, coppie di valute, materie prime e indici. Con StrategyQuant X è possibile selezionare più strumenti ed eseguire backtest su ciascuno di essi per valutare le prestazioni della strategia. Potrete quindi analizzare i risultati, confrontare le metriche di performance per i diversi mercati e identificare le strategie che mostrano prestazioni costanti e adattabilità.

Testando le strategie su più mercati, gli utenti possono identificare sistemi più robusti e meno inclini a un eccessivo adattamento. Una strategia che si comporta bene in più mercati è probabilmente più resistente ai cambiamenti delle condizioni di mercato. I test multimercato aiutano gli utenti a costruire un portafoglio diversificato, identificando le strategie che ottengono buoni risultati in diversi strumenti. Questa diversificazione può contribuire a ridurre il rischio complessivo del portafoglio e a migliorare la performance a lungo termine.

Quando un concetto di strategia ottiene buoni risultati in più mercati, ciò fornisce un'ulteriore garanzia che l'idea di trading sottostante è solida e non solo il risultato di un adattamento della curva o del caso.