SOLO LETTURA

Il forum è ora un archivio di sola lettura.

Per segnalazioni di bug e domande sulla piattaforma → [email protected]

La nostra comunità vive su Discord e YouTube: unisciti a noi!

UNISCITI A NOI SU Discordia YouTube

Logica di alcuni test di robustezza

11 risposte

afhampton

Cliente, bbp_partecipante, comunità, 26 risposte.

Visita il profilo

7 anni fa #237813

Sono ormai un paio d'anni che mi dedico a questo lavoro e mi sono addentrato abbastanza nei dettagli dell'algo trading da mettere in discussione alcune logiche che davo per scontate quando ho iniziato. Sono sicuro che ognuno ha il proprio punto di vista sulle mie sfide qui sotto e sono davvero interessato alla logica che sta dietro a questo pensiero. Sentitevi liberi di condividere i vostri pensieri sul perché utilizzate ciò che fate e come vi ha aiutato nell'identificazione delle vostre strategie.

 

1. Sono completamente d'accordo con i test di robustezza per: slippage variabile, spread variabile, randomizzazione della barra di partenza, randomizzazione dei dati storici (probabilità 20, variazione massima dell'ATR 5-10%), randomizzazione della distanza minima dal prezzo, randomizzazione dell'ordine di negoziazione (esatto e di ricampionamento) e salto casuale delle operazioni. Tutte queste opzioni hanno un senso all'interno di determinati intervalli e sembrano essere sufficienti per evitare un'ottimizzazione eccessiva e un adattamento alle curve.

 

Ecco quelle che per me non hanno senso. Se avete una logica valida per spiegare perché la pensate diversamente, vi prego di condividerla con me e di aiutarmi a capire dove posso sbagliare.

 

1. Test con altre coppie di valute - Perché aspettarsi che una strategia costruita su una coppia di valute sia efficace su un'altra, anche se sono "altamente" correlate per periodi di tempo? Ogni coppia di valute (soprattutto le principali) ha una propria "personalità" dovuta alle Banche Centrali e agli altri attori chiave che le controllano. Se dietro c'è una Banca Centrale indipendente, non ha senso aspettarsi che una valuta "correlata" abbia lo stesso andamento (ad esempio EURUSD, GBPUSD). Sono gestite in modo indipendente l'una dall'altra. Pertanto, quando SQ costruisce una strategia efficace su una coppia, a mio avviso, dovrei aspettarmi che sia valida solo per quella coppia e per nessun'altra.

 

2. Test su altri timeframe - Quando SQ costruisce una strategia che soddisfa i nostri requisiti (PF, DD, Net Profit, ecc.) su un timeframe, perché dovremmo aspettarci che abbia un rendimento anche solo lontanamente simile su un altro timeframe più breve o più lungo, soprattutto se sono coinvolti degli indicatori? I valori degli indicatori sono determinati dai parametri e dal numero di barre, ecc. Se lo stesso indicatore viene posizionato su un grafico che è la metà, 1/4 o 4x di un altro, i valori che emette sono, in molti casi, completamente diversi. Pertanto, le regole per entrare/uscire da un'operazione basate sul valore di tali indicatori non sono più applicabili nel diverso timeframe. Quindi, perché mai dovremmo aspettarci che la strategia abbia una performance simile a quella del timeframe originale?

 

3. Randomizzare i parametri della strategia - Come nel caso della #2 di cui sopra, con le strategie guidate dagli indicatori sono i parametri della strategia a guidare i calcoli. Pertanto, una loro regolazione più o meno elevata influenzerà sicuramente i valori di uscita e quindi le regole di entrata/uscita. Questo test mi sembra ragionevole solo se abbasso le aspettative di performance della strategia in modo che siano proporzionali alla quantità di modifiche che introduco/consento nei parametri. Se il mio standard di PF è 1,5 e introduco 20% di variazioni nei parametri, non ha senso aspettarsi che la strategia mantenga un PF di 1,5. La strategia è stata costruita per rispondere a determinate condizioni. La strategia è stata costruita per soddisfare determinate condizioni che si riflettono nel valore degli indicatori. Se queste condizioni cambiano, non dovrei aspettarmi che le regole siano rispettate e quindi lo stesso livello di performance.

 

Sarei lieto di ricevere il parere di altri utenti più esperti di SQ su questi argomenti. Potrebbero esserci cose che non sto considerando e su cui ho bisogno di essere illuminato. Idee?

 

0

Enric

Cliente, bbp_participant, comunità, sq-ultimate, 107 risposte.

Visita il profilo

7 anni fa #237818

1TP9Probabilmente non sarò un utente più esperto ma, se posso, vorrei aggiungere i miei due centesimi perché è un argomento che ho letto, pensato e credo sia fondamentale in questo settore. Ho letto da qualche parte che è necessario schiacciare la propria strategia il più possibile o il mercato lo farà per voi. Per me questo è il punto di aggiungere i test Multimarket e Multitimeframe come parte dei test di robustezza. Non mi preoccupo troppo delle ragioni, ma preferisco scartare un mucchio di buone strategie invece di prenderne alcune troppo sofisticate per sempre.

Per quanto riguarda i parametri della strategia Randomize. Per me è forse il test più importante. Tra i nostri backtest e l'esecuzione dal vivo c'è una miriade di variabili che giocano tutte a nostro sfavore: i) il backtest di SQ non corrisponde esattamente alla realtà. Anche il backtest di SQ non corrisponde esattamente al backtest di MT4 (potete verificarlo), ii) l'esecuzione del broker non è precisa, iii) i dati storici che abbiamo utilizzato non sono gli stessi del broker, almeno nel mio caso perché il mio broker non fornisce i suoi dati storici.

E hai saltato un test: la matrice Walk Forward. Lo applico come test finale per confermare la strategia.

0

mabi

Cliente, bbp_participant, comunità, sq-ultimate, 252 risposte.

Visita il profilo

7 anni fa #237822

Per rispondere brevemente a tutti i tuoi punti, l'unica ragione per fare questi test è capire quanto sia sensibile la strategia a diversi cambiamenti nel mercato, se le impostazioni attuali falliscono completamente, probabilmente la strategia è stata adattata ai dati su cui è stata creata e trovare è stato solo un colpo di fortuna o è stata ottimizzata troppo per fortuna. Ma se il cambio di mercato o la randomizzazione dei parametri ha un impatto negativo medio sulle prestazioni, significa che la strategia è abbastanza buona così com'è e che molto probabilmente può essere migliorata e adattata a un altro mercato attraverso l'ottimizzazione. Normalmente le strategie che possono essere adattate attraverso l'ottimizzazione ad altri mercati in cui hanno fallito nella loro forma originale sono robuste e possono essere negoziate anche dal vivo e per questo ora abbiamo l'eccellente strumento Opt.profile e SPP.

0

afhampton

Cliente, bbp_partecipante, comunità, 26 risposte.

Visita il profilo

7 anni fa #237827

Grazie per aver condiviso le vostre intuizioni Enric e Mabi. Entrambi avete parlato di overfitting e sovraottimizzazione. Come ho condiviso nel primo post, i test di robustezza che ho elencato al punto #1 per me sono assolutamente sensati: tutti hanno a che fare con qualcosa di realistico nel mercato per evitare l'overfitting. Posso assicurarvi che nulla di ciò che ha superato i miei test di robustezza è stato ottenuto "per fortuna". Esse sono in grado di affrontare le possibilità di cambiamento che ci si dovrebbe aspettare, e tutte queste cose sono in grado di risolvere i punti che entrambi avete sollevato.

 

Quindi la domanda che vi rivolgo è: se gli aspetti che vi preoccupano sono già stati affrontati da specifici test di robustezza, allora perché dovreste richiedere che la strategia superi altri test che non hanno assolutamente alcuna relazione con gli ostacoli "realistici" che la vostra strategia incontrerà sul mercato? Quali sono i problemi specifici che questi test affrontano (e che non sono già stati affrontati nei test precedenti)?

0

Enric

Cliente, bbp_participant, comunità, sq-ultimate, 107 risposte.

Visita il profilo

7 anni fa #237829

@afhampton. Lei mette in dubbio la necessità del Multimarket e del Multitimeframe come validi test di robustezza. Ho visto opinioni di trader istruiti che sostengono entrambe le tesi. Non credo che nessuno possa dare una risposta assoluta.

Preferisco includere questi test nel mio flusso di lavoro. Vedetela così: se mi sbaglio, avrò scartato delle buone strategie, un vero peccato. D'altra parte, se si escludono questi test e ci si sbaglia, si includono strategie troppo sofisticate. La prima opzione mi dà maggiore tranquillità.

Infine, @maby ha incluso due test aggiuntivi disponibili su SQX. Ovviamente li includerò anche nel mio flusso di lavoro. Cercherò di schiacciare le mie strategie sul processo di costruzione il più possibile per evitare che schiaccino il mio conto.

0

mabi

Cliente, bbp_participant, comunità, sq-ultimate, 252 risposte.

Visita il profilo

7 anni fa #237830

Nessuno dice che sia necessario eseguirli. Nei futures ho eseguito il test solo su strumenti correlati, altrimenti sarebbe fallito senza ottimizzarlo sugli strumenti non correlati. Nel Forex la maggior parte degli strumenti sono correlati, quindi si tratta di dati extra. Se lo realizzi su EurUsd e poi lo testi su GbpUsd hai altri 15 anni di OOS. Ma hai ragione, non è evidente che sia di grande aiuto se si considerano le performance delle strategie negoziate in tempo reale.

0

Ilya

Cliente, bbp_partecipante, comunità, 99 risposte.

Visita il profilo

7 anni fa #237832

Ottimo thread, metto anch'io i miei 2 centesimi.

Anche se posso capire le persone che scelgono di mettere alla prova le loro strategie in ogni modo possibile, personalmente sono d'accordo con te sui punti 1 e 2, non considero i controlli multimercato e multiquadro come test di robustezza validi, li faccio per vedere se posso negoziare anche un mercato diverso con la mia strategia, ma niente di più. Sicuramente non scarto una strategia che ha superato tutti gli altri test, sulla base di questo.

Dovresti sicuramente distruggere e sfidare la tua strategia il più possibile, ma se sono un buon rapper, non andrò a esibirmi in una sala dell'Opera, probabilmente finirà in un disastro e in fischi, giusto? Mi limiterò ai club di rap.

 

Per quanto riguarda il punto 3, "Randomizzare i parametri della strategia", lo interpreto in questo modo:

- Per me è praticamente la stessa cosa di "Randomizzare i dati storici", capovolta. Faccio un esempio:

Per semplicità, supponiamo di avere una strategia che va long quando il prezzo incrocia e chiude sotto la SMA delle ultime 5 barre.

Supponiamo che i prezzi di chiusura delle ultime 5 barre in un determinato momento siano: 5, 10, 15, 20, 25. Questo fa sì che la SMA in quel momento sia pari a 15.

Ora, durante la vostra test di randomizzazione dei dati storiciQuindi, permutiamo leggermente i prezzi di chiusura, ad esempio "6, 11, 14, 22, 27" per vedere se il leggero cambiamento dei dati storici avrà un impatto sulla vostra strategia o meno, giusto? Quindi questa volta la SMA in quel determinato momento è 16 (rispetto a 15 dei dati reali), e volete vedere se quella SMA di 16 farà ancora andare il vostro EA long/short, quanto vincete/perdete questa volta rispetto alla situazione originale, eccetera.

 

Ora, diciamo che si fa un randomizzare i parametri della strategia test con gli stessi dati, quindi questa volta il vostro EA prende in considerazione la SMA(6) invece della SMA(5) come la strategia originale, e diciamo che il prezzo di chiusura storico della barra precedente alle 5 barre citate è 21. Ora avete i seguenti prezzi di chiusura delle ultime 6 barre: 21, 5, 10, 15, 20, 25. Ora si hanno i seguenti prezzi di chiusura delle ultime 6 barre: 21, 5, 10, 15, 20, 25. La SMA di questi è? 16. Quindi, in sostanza, avete ottenuto lo stesso risultato mutato di quello ottenuto con dati storici leggermente diversi, solo "capovolti", diversificando i vostri test.

 

In altre parole, cerchiamo di modificare i dati storici dal punto di vista dell'EA (ovviamente senza modifiche molto ampie), piuttosto che dal punto di vista dei dati, e vediamo come la strategia li gestisce. Si tratta di un'ulteriore forma di sfida per la strategia, alla quale ci si può aspettare che sopravviva. Poiché le modifiche apportate sono più radicali rispetto a quelle apportate ai dati storici, questo è anche un test più impegnativo...

 

0

Enric

Cliente, bbp_participant, comunità, sq-ultimate, 107 risposte.

Visita il profilo

7 anni fa #237833

Capisco il suo punto di vista, ma non sono d'accordo.

Seguendo il tuo esempio. Se sei un buon cantante probabilmente potresti suonare il rap o l'opera. Se sei un rapper non sarai in grado di guadagnarti da vivere con l'opera ma sono sicuro che te la caverai bene 🙂

Hai ragione con i parametri di randomizzazione, tuttavia immagina uno strat con uno StopLoss = 0.73 * SMA(5). Cambiando il periodo SMA otterrò lo stesso risultato che cambiando i dati storici. Ok, nessun problema per me che ho un test ridondante. Ma se cambio il parametro 0,73 è qualcosa che potrebbe accadere nel trading reale.

0

Ilya

Cliente, bbp_partecipante, comunità, 99 risposte.

Visita il profilo

7 anni fa #237834

Capisco il suo punto di vista, ma non sono d'accordo. Seguendo il tuo esempio. Se sei un buon cantante probabilmente potresti suonare il rap o l'opera. Se sei un rapper non sarai in grado di guadagnarti da vivere con l'opera, ma sono sicuro che te la caverai bene 🙂 Hai ragione con i parametri di randomizzazione, ma immagina una strategia con uno StopLoss = 0.73 * SMA(5). Cambiando il periodo SMA otterrò lo stesso risultato che cambiando i dati storici. Ok, nessun problema per me che ho un test ridondante. Ma se cambio il parametro 0,73 è qualcosa che potrebbe accadere nel trading reale.

Va benissimo che tu non sia d'accordo e ti auguro buona fortuna. Per me è solo una forma di perfezionismo che è bello se funziona, ma non necessario. (Voglio dire, non tutti sono Freddy Mercury, giusto?).

Sono d'accordo anche con la seconda parte del tuo messaggio, è solo una ragione in più per usare quel test. Il mio esempio era solo una base per la necessità di quel test, ma non mi aiuta molto se finisco per fare la stessa cosa cambiando i dati della cronologia. Il punto è presentare un diverso al nostro EA, che si tratti della modifica del periodo, di lievi cambiamenti di SL/TP se è basato su ATR/Pips, o di modifiche del coefficiente come suggerito da voi. Finché il cambiamento non è troppo radicale, tutto ciò rappresenta una sfida importante da superare.

 

Ilya

0

afhampton

Cliente, bbp_partecipante, comunità, 26 risposte.

Visita il profilo

7 anni fa #237845

.... Il mio esempio era solo una base per la necessità di quel test, ... Ilya
Questo è esattamente il tipo di coinvolgimento che speravo di ottenere con questa domanda e complimenti a Ilya per aver presentato un'eccellente ragione logica per il test della randomizzazione dei valori dei parametri - supportata da un esempio legittimo. Molto ben spiegato e potrei riconsiderare il mio punto di vista su questo particolare test.
Quindi la domanda successiva che mi pongo è... "quanto è ragionevole cambiare per randomizzare i valori dei parametri"? Deve esserci un approccio ragionevole. Sono assolutamente d'accordo nel testare a fondo le strategie, ma devono esserci dei limiti ragionevoli. Ho visto alcuni post parlare di "schiacciare" le strategie. Posso distruggere qualsiasi strategia sviluppata da qualcuno rendendo le condizioni e i filtri irragionevolmente alti. Ma questo non ha senso. L'obiettivo è trovare strategie in grado di resistere alle normali condizioni, alle manipolazioni di routine e agli occasionali estremi del mercato. Questo le rende robuste. Ma come per gli altri test, il range deve essere giustificato. Posso dirvi perché il mio test sullo slippage è impostato su 5-10 pip... perché ci sono precedenti sul mercato. Posso dirvi perché anche il mio test sullo spread è di 3-12 pip, perché ci sono precedenti nel mercato.
Quindi, quanto è ragionevole cambiare per il test di randomizzazione dei valori dei parametri e perché?

0

mabi

Cliente, bbp_participant, comunità, sq-ultimate, 252 risposte.

Visita il profilo

7 anni fa #237900

Molte strategie di trading sono state realizzate su un altro strumento o time frame ma sono state testate bene e quindi le ho utilizzate. Mi ha fatto risparmiare molti mesi di generazione e mi ha permesso di costruire rapidamente portafogli diversificati.

0

afhampton

Cliente, bbp_partecipante, comunità, 26 risposte.

Visita il profilo

7 anni fa #237905

Grazie Mabi. Hai sollevato un'ottima questione. Come appare la correlazione di queste strategie quando si prende un portafoglio e lo si analizza con Quant Analyzer?

0

Stai visualizzando 11 risposte - da 1 a 11 (di 11 totali)