Falso backtest IS OOS, overfitting

SQ genera una "buona" strategia con buoni IS e OOS

ma si scopre che SQ sbircia nell'OOS e vi adatta una curva

perché allora OOS è così falso?

Come disabilitare SQ a sbirciare in OOS?

provare a costruire una strategia su IS e non avere OOS. poi testare il campione dopo la costruzione.

A mio parere, non si può mai evitare una sorta di adattamento della curva. È tutto ciò che abbiamo come trader. Costruiamo modelli e li verifichiamo sulla base dello storico. Anche se in seguito si utilizzano dati extra per verificare la strategia (dati mai utilizzati nel SQ), si adatta la strategia a quei dati. Se la strategia non funziona su quei dati probabilmente non la userete, ma la userete se la strategia si adatta a quei dati 🙂

questa è una pessima idea

lavoro manuale inefficiente

Basta smettere di SQ per sbirciare nel futuro OOS ed essere onesti con i backtest e se l'OOS non è buono allora abbandonatelo e passate oltre.

Mi sono sempre posto la stessa domanda: Se si seleziona un intervallo di dati OOS, SQ mescolerà attivamente le strategie sui risultati IS per ottenere un migliore adattamento su OOS? Oppure si limita a scartare quelle che ottengono l'adattamento migliore su IS e non raggiungono i criteri minimi selezionati su OOS?

Sospetto che SQ funzioni nel primo modo. Quindi, se si sceglie l'OOS, il processo di costruzione è influenzato da questo OOS, perché forza le strategie verso l'OOS migliore invece di costruire sulla base solo del periodo IS. Questa è la mia ipotesi. Quindi, se ho ragione, sarebbe meglio costruire solo con IS e fare un secondo run sull'intervallo di dati che sarebbe il vostro OOS.

se si fa solo IS

Poi dovrete fare un lavoro manuale testando le OOS e tutte queste strategie falliranno al 99,99%.

A cosa serve allora l'automazione e questo software?

È sempre possibile creare un progetto personalizzato per automatizzarlo. È quello che ho fatto io.

Intendo dire "ha fatto" perché da qualche settimana ho iniziato a costruire senza OOS. Tutti i dati che ho vanno a IS. Non male le mie scoperte finora

L'utilizzo della sola IS senza alcuni test di robustezza e l'utilizzo della genetica è un primo modo per iniziare a perdere

Ho testato molti e molti approcci e sì, posso tollerare le opinioni secondo cui non è necessario un test OOS, ma senza questo controllo su dati mai visti del vostro modello (flusso di lavoro) non avete idea di come il vostro modello sia robusto per il futuro.

Ho testato anche molti approcci. Dopo anni ho concluso che l'OOS non apporta alcun valore al processo.

Non fa male, quindi se si vuole usarlo per sicurezza, dovrebbe andare bene.

Lo stesso problema per me... quando uso OOS nel costruttore, l'algoritmo genetico sembra guardare al fitness IS+OOS per generare nuove strategie...

Ad esempio, se utilizzo OOS nel costruttore con criteri come ret/DD(IS) > 2 e nessun criterio per OOS e lascio che generi 100 strategie, tutte hanno un buon OOS.

Ma se utilizzo solo IS con gli stessi criteri e dopo aver ritestato le mie 100 strategie su OOS, 99% sono overfit e si bloccano nell'area OOS.

Quindi, per me, l'OOS è assolutamente inutile nel costruttore :/

hankeys ha scritto:

usare solo IS senza alcuni test robusti e usare la genetica è un primo modo per iniziare a perdere. Ho testato molti approcci e sì, posso tollerare opinioni che non hanno bisogno di alcuni test OOS, ma senza questo controllo su dati mai visti del tuo modello (flusso di lavoro) non hai idea di come il tuo modello sia robusto per il futuro.

perché non ti piace la genetica?

non crede nell'evoluzione e nella selezione naturale?

solo a caso?

Oh merda... scusate... ho fatto un grosso errore...

dopo la verifica, SQX builder guarda solo IS fitness. i risultati sono esattamente gli stessi se uso OOS durante il processo di costruzione o dopo. mi dispiace.

dall'altro lato c'è un grosso problema.

Se si generano strategie con l'opzione "backtest su mercato aggiuntivo" attivata, il costruttore cancella il fitness IS e il fitness OOS per considerare solo il fitness IS+OOS.

Quindi, se utilizziamo mercati aggiuntivi nel costruttore, gli OOS diventano falsi OOS e il costruttore sovraadatta le strategie.

Se, come me, si utilizza la generazione precedente come popolazione iniziale, si interrompe tutto il processo e si annulla l'area OOS.

Ciao Charles,

Credo che lei si sbagli. Dopo averti letto ero preoccupato perché utilizzo diversi controlli incrociati nel mio processo di costruzione e non vorrei che il processo di ottimizzazione includesse i mercati aggiuntivi. Così ho preso il manuale di SQ. Secondo il manuale, "la strategia si evolve solo sulla parte di dati in esame". Quindi l'evoluzione genetica è il processo di ottimizzazione. Funzionerebbe solo su IS - almeno lo spero!

Ho costruito e sto testando un certo numero di portafogli per M5 H1 e H4 in MT4.

Le strategie presenti nei portafogli vanno da quelle fortemente testate per la robustezza con WFM, MC ecc. a quelle che non prevedono alcun OOS.

Il mio portafoglio di gran lunga più performante è quello H4, composto da 96 strategie su 12 coppie FX e oro (13 coppie in totale).

Questo, ironia della sorte, è il portafoglio che ho costruito con strategie costruite solo con il compito di costruttore, utilizzando l'evoluzione genetica senza OOS. Nessuna di queste strategie è stata sottoposta a test di robustezza. Tutto ciò che ho fatto è stato costruirle utilizzando spread ridicolmente elevati e il massimo dei dati disponibili.

Ho voluto fare questo esperimento perché ho pensato che se riesco a ottenere una curva azionaria davvero buona per ogni strategia, con spread che molto probabilmente non vedrò mai nel trading reale, per un periodo di tempo molto lungo, su un time frame elevato dove è probabile che ci sia molto meno rumore, che anche se questa è "curva adattata", dovrà continuare a funzionare in una vasta gamma di condizioni di mercato variabili per una coppia.

Sembra che stia funzionando molto bene 🙂

Onestamente, un approccio piuttosto interessante. In un certo senso, noi siamo dei curvilinei: perché non accettarlo e rendere le cose più difficili? Inoltre, quanto tempo avete impiegato per raggiungere quel numero di strategie? Solo per curiosità/paragone(?)