La mia impostazione per il test di robustezza è troppo severa?
3 risposte
ybhx0315
10 anni fa #115124
Ciao a tutti,
Ero solito eseguire i test di robustezza in questo modo, seguendo lo stesso metodo menzionato in Ebook:
1. Ho impostato un numero di esperimenti pari a 200.
2. Eseguo ogni volta un solo tipo di test. Ad esempio, randomizzo prima gli scambi e poi randomizzo i parametri.
3. regola decisionale: ret/DD > metà del livello originale. La forma deve essere buona.
Con questo metodo ho ottenuto oltre 20 strategie che superano i test.
Ora sto provando un approccio diverso:
1. Ho impostato il numero di test a 1000.
2. Eseguo i primi 5 tipi di test simultaneamente.
3. la regola decisionale è la stessa.
Ora tutte le oltre 20 strategie non hanno superato i test.
Come devo interpretare questi risultati? Sto facendo troppi test? O è un segno che la mia strategia non è robusta?
Grazie per la risposta.
0
_Cujo
10 anni fa #136960
Ciao ybhx0315,
Ho iniziato ad essere molto, molto severo con la mia robustezza e non ho trovato nessuna strategia che potesse passare. Una volta capito che in realtà non sto cercando solo il profitto sullo storico, ma sto cercando cose come la capacità di scegliere i vincitori, di ridurre le perdite/DD, quindi questo tipo di metriche, non solo "quanti soldi ha fatto 10 anni fa", ma se la vincita % era buona qualche anno fa e se penso (attraverso la robustezza) che possa ancora prevedere i vincitori con un piccolo DD oggi/futuro, ha avuto più senso. Ho effettuato diversi test di robustezza OOS su dati risalenti alla metà degli anni '90, e non è passato nulla quando ho cercato solo il profitto. Ma ora cerco cose diverse, anche con il walk forward, ovviamente.
C'è anche una discussione sulla robustezza in questo filo.
0
ybhx0315
10 anni fa #136974
Ciao ybhx0315,
Ho iniziato ad essere molto, molto severo con la mia robustezza e non ho trovato nessuna strategia che potesse passare. Una volta capito che in realtà non sto cercando solo il profitto sullo storico, ma sto cercando cose come la capacità di scegliere i vincitori, di ridurre le perdite/DD, quindi questo tipo di metriche, non solo "quanti soldi ha fatto 10 anni fa", ma se la vincita % era buona qualche anno fa e se penso (attraverso la robustezza) che possa ancora prevedere i vincitori con un piccolo DD oggi/futuro, ha avuto più senso. Ho effettuato diversi test di robustezza OOS su dati risalenti alla metà degli anni '90, e non è passato nulla quando ho cercato solo il profitto. Ma ora cerco cose diverse, anche con il walk forward, ovviamente.
C'è anche una discussione sulla robustezza in questo filo.
Ciao Cujo,
Grazie per la tua risposta. Ho seguito il tuo thread e vorrei condividere due delle mie scoperte:
1. I risultati dei test di robustezza di solito si stabilizzano dopo 100 esecuzioni. Quindi vedo risultati simili in 100 esecuzioni, 500 esecuzioni e persino 1000 esecuzioni.
2. Alcuni risultati dei test di robustezza hanno un'ottima forma, ma numeri molto negativi. È vero anche il contrario. Ad esempio, il ret/dd originale è 20 e al livello di confidenza 95% il ret/dd è circa 6. Il DD% è quasi raddoppiato. Il DD% è quasi raddoppiato. Ma le linee di robustezza appaiono piuttosto addensate verso il centro e hanno un aspetto gradevole. Un altro esempio: il ret/dd originale è 4 e al livello 95% il ret/dd è circa 3. Le linee di robustezza sono molto larghe. Le linee di robustezza sono molto ampie. Avete notato la stessa cosa e come la interpretate?
Grazie.
0
_Cujo
10 anni fa #136979
Ciao Cujo,
Grazie per la tua risposta. Ho seguito il tuo thread e vorrei condividere due delle mie scoperte:
1. I risultati dei test di robustezza di solito si stabilizzano dopo 100 esecuzioni. Quindi vedo risultati simili in 100 esecuzioni, 500 esecuzioni e persino 1000 esecuzioni.
2. Alcuni risultati dei test di robustezza hanno un'ottima forma, ma numeri molto negativi. È vero anche il contrario. Ad esempio, il ret/dd originale è 20 e al livello di confidenza 95% il ret/dd è circa 6. Il DD% è quasi raddoppiato. Il DD% è quasi raddoppiato. Ma le linee di robustezza appaiono piuttosto addensate verso il centro e hanno un aspetto gradevole. Un altro esempio: il ret/dd originale è 4 e al livello 95% il ret/dd è circa 3. Le linee di robustezza sono molto larghe. Le linee di robustezza sono molto ampie. Avete notato la stessa cosa e come la interpretate?
Grazie.
...una bella curva dell'equity non serve a nulla se rovina il vostro conto, in quanto non vi riprenderete dopo un grosso DD fino a quando non metterete altri $.
0
Stai visualizzando 3 risposte - da 1 a 3 (di 3 totali)