Trovare strategie robuste e performanti

1 - 2 ore di compilazione non mi sembrano molte, a meno che non si disponga di una sorta di server multi-Xeon di dimensioni impressionanti.

Ho trovato alcune delle mie migliori strategie dopo qualche giorno, quindi forse è il caso di lasciar correre un po' di più....

Oh e intendi davvero Fuori campione Netto Profit <0?

Se la mia banca dati non ha più di 5.000 strategie, non smetterò di generare..... normalmente ho bisogno di una settimana per generare quella quantità di strategie.

Alla fine tutto dipende dai vostri criteri di selezione... potete essere molto rilassati e Abracadabra avere 5.000 strategie nella vostra banca dati in meno di un'ora e se siete molto severi, potete aspettare fino a quando le mucche non torneranno a casa 😀 e non avere ancora nulla....

Per quanto mi riguarda, un principiante, ho bisogno di circa un mese per generare alcune buone strategie che possano qualificarsi per andare su .....

Sto generando strategie su un server a 32 core per 1 mese (720 ore) e su 30 anni di dati storici e 99,9999% considererò non robusto. Le opzioni di classificazione non hanno nulla a che fare con la robustezza.

L'esecuzione per 1 settimana-1 mese sembra un overfitting, perché alla fine si troverà un sistema che si adatta meglio ai criteri di robustezza e al periodo fuori campione.  

 - Se ci vuole 1 settimana-1 mese per costruirlo, per quanto tempo il sistema funziona dal vivo prima che svanisca e sia necessario trovare un'altra strategia?  

- Inoltre, quali sono i periodi di tempo dentro/fuori dal campione che utilizzate? Io sto usando periodi di tempo brevi (sufficiente per avere 100-500 scambi durante l'In-Sample), quindi per le barre da 1 ora uso ~6 mesi In-sample e per le barre da 5 minuti mi bastano 2-3 mesi. L'altra mia preoccupazione è che l'utilizzo di periodi di tempo più lunghi (ad esempio 5 anni-10 anni) ci porti in diversi regimi di mercato in cui la strategia non mostrerà una performance costante.

Inoltre, qualche idea sulle impostazioni che sto utilizzando (allegate sopra nel mio primo post), che aiuterebbe il motore SQ a trovare strategie robuste e performanti più veloce?

 - Blocchi di costruzione: ho selezionato la maggior parte delle Regole di iscrizione e la maggior parte dei Tipi di ordine (non sono sicuro che limitarli aiuti a trovare più velocemente).

 - Stop Loss e obiettivo Profit - opzionale (non obbligatorio)

 - Opzioni genetiche - 125 dimensioni della popolazione, 20 generazioni, profondità massima dell'albero 4, mutazione Prob 20%, crossover Prob 80%

grazie

Kiran

Ci vuole un mese per trovare un sistema a causa di rigorosi test di robustezza su milioni di sistemi, non per cercare la strategia con la curva migliore. 75% di questo tempo è speso per la generazione casuale, non per l'ottimizzazione dell'evo genetico. In 1 o 2 ore di generazione dubito che si possa trovare una strategia altamente robusta.

Mi piacciono le tue impostazioni genetiche, ne uso di simili, ma sto eseguendo 32 SQ con 200 popolazioni genetiche ciascuno. Non per trovare la migliore curva adattata, ma perché ho intenzione di cestinare il 99,99999% delle strategie dopo tutti i miei test di robustezza.

Per i blocchi di costruzione uso quasi tutto, tranne il tempo (minuto ora giorno) e le candele Heikin Ashi.
Stop loss obbligatorio, take profit opzionale.
Aumentare il parametro massimo dell'indicatore a 300 da 200.
Aumenta la dimensione massima del raggio d'azione a 150 da 50.

Adattamento personalizzato - max dd%, profitto netto, stagnazione%, stabilità.
Non uso IS/OOS perché state letteralmente ancora scegliendo una strategia che passa ile *in ogni caso, l'intera serie di dati*.  Come test finale, testerò la strategia sugli ultimi mesi di mercato, ma questo è tutto. Utilizzo 30 anni di dati e cerco oltre 1500 operazioni per individuare i modelli che hanno funzionato attraverso guerre multiple, depressioni, crolli di mercato, il passaggio a mercati elettronici automatizzati e qualsiasi tipo di evento e continuano a funzionare. Questa è la vera solidità. Se siete Utilizzando serie di dati brevi, si sta sicuramente effettuando un adattamento della curva. Dovreste costruire un sistema attraverso molteplici crash, specialmente per le strategie ES. Se lo costruite basandovi solo sui dati del mercato rialzista, verrete uccisi dal prossimo crash perché avete adattato la strategia a un mercato rialzista.

Dopo aver ottenuto le strategie, le sottopongo a rigorosi test di robustezza. Voglio vederle superare 100% di oltre 100 variazioni della matrice Walk Forward (non per l'ottimizzazione, solo per vedere quanto sono robuste). Voglio testarle nuovamente su più coppie e timeframe per vedere se la strategia fallisce. Eseguo il test su alcuni dati OOS recenti di pochi mesi, esamino le regole dello pseudocodice e mi assicuro che la strategia abbia un senso. La sottopongo ai tradizionali test di robustezza, come lo slippage dello spread variabile e l'aggiustamento dei dati ATR, ecc.

In realtà ci vogliono alcune settimane per trovare una sola strategia che faccia tutto questo a mio piacimento.

Ho una piccola versione pubblica del mio portafoglio (quando è stato avviato non ho usato questo metodo, il DD iniziale è stato causato da una strategia costruita su serie di dati brevi e l'ho rimossa molto tempo fa), quindi se non siete d'accordo o siete d'accordo e vi chiedete quanto a lungo funzioneranno queste strategie, seguite il portafoglio. Sono abbastanza fiducioso nel mio metodo.

 

Ho lavorato su SQ per più di una settimana e ho avuto problemi a generare una strategia Futures che fosse robusta e fornisse prestazioni elevate. Ho provato con 5 minuti, 15 minuti, 1 ora, True Renko (con veri stoppini) - in genere su 4-6 mesi In-sample (Test + Validazione) e Out-of-sample su entrambe le estremità (inizio e fine di IS) di altri 1-2 mesi.

Anche se ottengo 1-2 strategie nella banca dati dopo 1-2 ore di compilazione, non supera il Retest quando eseguo il test per l'altro periodo di un mese fuori campione all'altro capo.

 

La mia funzione metrica - Ponderazione di Profit netto (2x - provato anche Avg Profit/Month), SQN (1x), Return/Drawdown (1x).

 

 I miei criteri per una prestazione accettabile (filtri per la banca dati) -

 1) Profit netto (Robusto) > x dove x dà un rendimento annualizzato di 20% sul capitale totale (sto usando $25K di capitale per 1 contratto ES e $15K per futures meno volatili come Corn ecc, che è abbastanza aggressivo per riportare un forte rendimento)

 2) Drawdown massimo < 15%

 3) In-sample Profit/Month / Out-of-sample Profit/mese <600%

 4) Fuori campione netto Profit <0

 5) SQN (nel campione) >2

 

Si tratta di un'aspettativa ragionevole per gli investitori, poiché queste strategie competono con gli hedge fund del mercato azionario e devono offrire un rendimento migliore poiché si basano su classi di attività più rischiose.

 

In allegato sono riportati un paio di file di impostazioni che sto utilizzando per ES-5min, ES-1hour, ES-5tick-TrueRenko

-> Apprezziamo se qualcuno ha un'opinione sulle mie impostazioni e mi consiglia se sto commettendo qualche errore fondamentale

-> Inoltre, sarebbe utile qualsiasi linea guida su ciò che di solito funziona bene (periodo di prova IS/OOS, tipo di barra, strumento, impostazioni/metriche GP, ecc.

 

grazie,

Kiran

 

I kiran,

Sei sicuro? renko supporta questi blocchi di edifici ora? ordine limite? valore di prezzo? il backtest corrisponde? 

grazie,

olivier

(Rimosso a posteriori perché era una domanda imbarazzante da principiante e non aggiungeva alcun valore, haha)

Non si tratta solo di core! SQ non è stato costruito perfettamente per utilizzare tutti i core, quindi 32 core = 32 o 16 istanze di sq e così via (probabilmente dedicherà 4 hyperthread per 1 istanza).
Per sq3 suggerirei un i7 ad alto clock (OC) piuttosto che uno xeon. Una cpu 5965x e sicuramente la nuova 6965 x (1700$) funzionano molto meglio di uno xeon a 32 core con velocità di clock 2.0.
Un 5965x 8 core OC a 4,5 -4,6
Oppure
6965x 10 core OC a 4.3 sarebbe un mostro per sq3.
1 settimana su tale pc = 1 mese su xeon a bassa velocità di clock.
Di solito non è così per tutti i software, ma per sq3 sì. Procuratevi delle ram della corsair come la corsair platinum 4000mhz.
Un m.2 samsung 950 (2500 di velocità di scrittura) e sicuramente un water xooling per l'OC della cpu per questo pagherà circa 4000$ computer ma sarà enorme per sq3 o sq4. Scappate dagli xeon (l'unico vantaggio che hanno è la memoria ecc) ma 10 errori su un milione non faranno fallire la banca :p la vostra banca.

Infine, ciò di cui non sono sicuro! È l'esecuzione di SQ con un vmware (parallels desktop)! E' strano ma ho sentito che su un sistema operativo non dedicato a vmware l'istanza di sq, che è una sola in esecuzione, consuma 100% di cpu 80-100 per tutto il tempo.
Magicly multi core funziona su parallels desktop (vmware) di sq.

In GACKT: vedi thread sulle fonti di dati.

@ gentmat: Sto ottenendo l'utilizzo dell'85% tramite parellelizzazione. C'è un intero thread al riguardo. Non ho uno Xeon a 32 core. Ho un server con 4 Xeon a 8 core. Posso ottenere un utilizzo di 100% eseguendo più SQ.
La velocità è di 2,4 ghz e ha il turbo a 2,6 ghz.

Per SQ 4 sono necessari più core e threading.

Sono d'accordo, ho 32 (64 thread) core in esecuzione sq ogni core 2.4, che esegue SQ 10 volte allo stesso tempo,

funziona alla grande, teoricamente più thread ci sono meglio è perché la scansione avviene 64 volte alla volta...

Quindi... non so se l'i7 darà gli stessi risultati...

No Karish, non è del tutto vero ed è quello che ho spiegato sopra. Un i7 supererà i vostri 32 core, ma vi dirò di più:
I dati passano da SSD a Ram a Cache CPU a core a 2 thread virtuali ...
32 core che estraggono i dati saranno lenti, dato che la cache è al massimo di 30. Credo che un 32 core avrà 15 mb, non neanche lontanamente 30 di cache l3.
Quindi il collo di bottiglia sarà l'ssd, poi le ram xeon hanno circa 1600MHZ, poi la cpu con 2.4 che può aumentare per 3-15 sessi a 3.6 a seconda della tensione.

Un i7 4.3, 10 core, 20 thread ... Cache 25MB OC con ram 3600 mhz oc a 4000 (la nuova x99 rampage v v 10 può gestirla con il nuovo aggiornamento del bios).
Con disco rigido m.2 con velocità di 2500 e non 450 mb.
I thread dei core non si aspettano l'un l'altro per finire il compito. Finiranno in un attimo. Dividere il lavoro e aspettare aggiunge molta latenza. Quindi, se potete prendere un i7 e non uno xeon, vi consiglio vivamente di provare la differenza.
Siate sorpresi.

Ora che me l'hai spiegato potrebbe essere interessante con una scheda madre per 4 CPU quando ogni cpu è un i7 della nuova serie di skylake, ho sentito che sono migliori ma non sono così intelligente da capire tutto :/

Sarebbe bello sapere cosa ne pensi di skylake rispetto all'i7x.

Grazie.

Ehi...

Sto usando SQ anche sui futures (faccio una grossa ipotesi e suppongo che tu stia usando gli eminis??), qualche consiglio, ma non sono assolutamente un esperto e sto ancora imparando il viaggio di apprendimento di SQ....

Utilizzo due diversi time frame. 1 ora e 1 giorno. Ho scoperto che qualsiasi cosa di meno è troppo rumorosa, per non parlare dell'abuso dei miei processori, perché... 10 anni (o qualsiasi altra cosa) di dati a 15 minuti, come 2 minuti per strategia sulle mie macchine...

4-6 mesi di IS e 1-2 mesi di OOS (imho) non sono affatto sufficienti. Io uso 15 anni di IS (anch'essi suddivisi in 3 parti - generazione, formazione, convalida OOS, quindi va bene :), e poi eseguo più test OOS manuali, con tempi variabili. Sì, sì, capisco l'argomentazione che riguarda il cambiamento di eminis del 2002/3 (elettronico), ma per me funziona. Ad esempio, il primo OOS che eseguo sulle strategie che ottengo dalla mia banca dati è quello degli ultimi 6 mesi, per vedere se sarei soddisfatto in questo momento. Questo uccide almeno 80% delle mie strategie. Per quanto riguarda la durata dei test, ho riscontrato questo: se generavo su un periodo breve (ho definito breve un periodo di 3 anni, quindi qualche mese non è possibile...), ho scoperto che i miei PC potevano generare MIGLIAIA di strategie molto, molto velocemente, ma la maggior parte di esse falliva nel mio OOS/robustezza molto, molto velocemente. Passando a time frame molto, molto più lunghi per la generazione, il numero di strategie è diminuito drasticamente, ma quelle che ho generato sono diventate molto, molto migliori nel superare i miei test manuali di OSS/robustezza. Sembra che dobbiate acquistare dei dati per ampliare (di molto) i vostri periodi di test.

Per le impostazioni della banca dati... certo, voglio dire, qualsiasi cosa vada bene per voi. In genere trovo che più semplice è meglio è... cose come SQN... sì... voglio dire, ho una visione molto più semplice - mi ha fatto guadagnare, non mi ha spaventato con grandi DD % (o ret/DD, o qualsiasi cosa vogliate usare), e non mi ha spaventato con una bassa vincita %. Inoltre, mi piace un buon rapporto di payout, in modo che non sia fragile, per esempio, se NT, o il mio VPS va giù, e perde quel 1 trade da cui dipendeva, non si romperà... cose come SQN, R, aspettativa, lo capisco, ma... sono un ragazzo semplice. 🙂

Inoltre, vorrei sottolineare che, pur volendo un ottimo sharpe ratio di 3,0 o più, in realtà non mi interessa se aveva uno sharpe elevato, o SQN, o altro, su dati di qualche anno fa, quello che voglio è che mi faccia guadagnare oggi.

Ho scoperto di generare circa 10k strategie per ogni 1 strategia che mi sembra abbastanza buona da incubare sulla mia piattaforma... con le impostazioni della mia banca dati come sopra... La durata della generazione di tali strategie dipende dalla vostra macchina, dalle vostre impostazioni, ecc... ma io raccolgo le mie strategie ogni venerdì, quindi solo una volta alla settimana (a volte meno...). Se non riuscite a lasciarlo in pace, prendete un VPS, mettetelo fuori dalla vista (e dalla mente) e lasciatelo correre....

***Scusate, un'aggiunta minore- Importante è anche la frequenza degli scambi. È necessario un numero sufficiente di scambi per essere staticamente significativi e per non essere così impazienti di incubare il prodotto da affrettarne la vita. Per esempio, se fa un solo scambio all'anno, ma vince 100% ottimo... ma avete davvero intenzione di incubarlo per 20-30 scambi (20-30 anni) per assicurarvi che sia a posto? Pro Probabilmente no. Io punto a un sistema che faccia un'operazione a settimana... alcuni ci riescono, molti no, ma questo è il mio obiettivo, almeno, in modo da poterlo vedere fare abbastanza operazioni nel corso della mia vita e metterlo in vita.

Hey...anch'io sto usando SQ sui futures (faccio una grossa ipotesi e suppongo che tu stia usando gli eminis??), qualche consiglio, ma non sono assolutamente un esperto, e sto ancora imparando il viaggio di SQ....

Utilizzo due diversi time frame. 1 ora e 1 giorno. Ho scoperto che qualsiasi cosa di meno è troppo rumorosa, per non parlare dell'abuso dei miei processori, perché... 10 anni (o qualsiasi altra cosa) di dati a 15 minuti, come 2 minuti per strategia sulle mie macchine...

4-6 mesi di IS e 1-2 mesi di OOS (imho) non sono affatto sufficienti. Io uso 15 anni di IS (anch'essi suddivisi in 3 parti - generazione, formazione, convalida OOS, quindi va bene :), e poi eseguo più test OOS manuali, con tempi variabili. Sì, sì, capisco l'argomentazione che riguarda il cambiamento di eminis del 2002/3 (elettronico), ma per me funziona. Ad esempio, il primo OOS che eseguo sulle strategie che ottengo dalla mia banca dati è quello degli ultimi 6 mesi, per vedere se sarei soddisfatto in questo momento. Questo uccide almeno 80% delle mie strategie. Per quanto riguarda la durata dei test, ho riscontrato questo: se generavo su un periodo breve (ho definito breve un periodo di 3 anni, quindi qualche mese non è possibile...), ho scoperto che i miei PC potevano generare MIGLIAIA di strategie molto, molto velocemente, ma la maggior parte di esse falliva nel mio OOS/robustezza molto, molto velocemente. Passando a time frame molto, molto più lunghi per la generazione, il numero di strategie è diminuito drasticamente, ma quelle che ho generato sono diventate molto, molto migliori nel superare i miei test manuali di OSS/robustezza. Sembra che dobbiate acquistare dei dati per ampliare (di molto) i vostri periodi di test.

Per le impostazioni della banca dati... certo, voglio dire, qualsiasi cosa vada bene per voi. In genere trovo che più semplice è meglio è... cose come SQN... sì... voglio dire, ho una visione molto più semplice - mi ha fatto guadagnare, non mi ha spaventato con grandi DD % (o ret/DD, o qualsiasi cosa vogliate usare), e non mi ha spaventato con una bassa vincita %. Inoltre, mi piace un buon rapporto di payout, in modo che non sia fragile, per esempio, se NT, o il mio VPS va giù, e perde quel 1 trade da cui dipendeva, non si romperà... cose come SQN, R, aspettativa, lo capisco, ma... sono un ragazzo semplice. 🙂

Inoltre, vorrei sottolineare che, pur volendo un ottimo sharpe ratio di 3,0 o più, in realtà non mi interessa se aveva uno sharpe elevato, o SQN, o altro, su dati di qualche anno fa, quello che voglio è che mi faccia guadagnare oggi.

Ho scoperto di generare circa 10k strategie per ogni 1 strategia che mi sembra abbastanza buona da incubare sulla mia piattaforma... con le impostazioni della mia banca dati come sopra... La durata della generazione di tali strategie dipende dalla vostra macchina, dalle vostre impostazioni, ecc... ma io raccolgo le mie strategie ogni venerdì, quindi solo una volta alla settimana (a volte meno...). Se non riuscite a lasciarlo in pace, prendete un VPS, mettetelo fuori dalla vista (e dalla mente) e lasciatelo correre....

***Scusate, un'aggiunta minore- Importante è anche la frequenza degli scambi. È necessario un numero sufficiente di scambi per essere staticamente significativi e per non essere così impazienti di incubare il prodotto da affrettarne la vita. Per esempio, se fa un solo scambio all'anno, ma vince 100% ottimo... ma avete davvero intenzione di incubarlo per 20-30 scambi (20-30 anni) per assicurarvi che sia a posto? Pro Probabilmente no. Io punto a un sistema che faccia un'operazione a settimana... alcuni ci riescono, molti no, ma questo è il mio obiettivo, almeno, in modo da poterlo vedere fare abbastanza operazioni nel corso della mia vita e metterlo in vita.

Sono bravo con i computer. Faccio schifo con SQ

@Soglia Vi aiuterà meglio di me perché è bravo e il suo portfolio è una piccola prova di successo o almeno di realizzazione.

Cercherò di aiutarvi per quanto possibile

"Ho scoperto di generare circa 10.000 strategie per ogni strategia che ritengo corretta".

Sì, questo è abbastanza buono! Trovo che 1 strategia su 4 milioni vada bene. Questo è il motivo per cui la maggior parte dei ragazzi qui lasciare i loro server (Dedicated) non vps . per 1 mese che vengono e controllare le strategie.

Per rendere più veloce la ricerca di strategie, porre alcune limitazioni alla banca

non aggiungere strategie nella banca dati:

è

patrimonio netto <=0

DD >=15%

Staginazione >=15%

fattore di profitto < 1,15

fitness <0,65

numero di scambi per 10 anni, è necessario avere 480 scambi

Non preoccupatevi di sqn, usate dd

" Potrei volere un grande rapporto di sharpe di 3,0″.

Credo sia molto, ma qualcuno potrebbe anche aiutarti. Penso che tu debba escludere < 1.3 e non <3.0!!! Non vuoi che le strategie siano perfette perché saranno curve! Non c'è nulla di perfetto e nessuno script può essere magico.

trading = sentimenti umani e nessun computer può prevedere le menti umane idiote! a volte leggono le notizie e le notizie dicono cose buone sui dollari BOOOM il dollaro scende! nessuno sa perché!

Ora che me l'hai spiegato potrebbe essere interessante con una scheda madre per 4 CPU quando ogni cpu è un i7 della nuova serie di skylake, ho sentito che sono migliori ma non sono così intelligente da capire tutto :/

Sarebbe bello sapere cosa ne pensi di skylake rispetto all'i7x.

Grazie.

Non posso fare paragoni skylake a i7 perché skylake è una tecnologia i7 6700, 6800 ... ,6900, ... 6960 x

Gli i7 non sono come gli Xeon, quindi non si possono usare in parallelo come 4 cpu (non è possibile). 

Esistono alcune schede per xeon che accettano 1 i7 e 1 xeon, ma questo è il massimo che si può avere e non lo suggerisco, è meglio scegliere 2 xeon che 1 i7 e 1 xeon.

1 cpu (6960 x) è già un overkill per SQ perché SQ non è qualcosa che si vuole ora ora per trovare una strategia, si può aspettare un giorno e tale cpu su h1 timeframe può trovare app (e sto solo dando un'ipotesi) può generare circa 10 + milioni di strategie (scommetto che è molto di più, ma solo dato il minimo del minimo)

6960x viene fornito come 3.5 vai su siliconlottery.com e prendi una cpu in silicio che può essere OC a 4.4! Ora hai 10 core (20 thread) a 4.4! È una follia. e lascia il tuo computer aperto per 1 settimana o più.

Nota: non scegliete schede madri con doppia cpu, come 2 xeon o 3 o 10, inutili!

1 computer xeon 

1 computer xeon 

non è uguale a 1 computer con 2 xeon! No i 2 xeon condivideranno l'hdd e la ram e tutte le risorse. quindi è meglio avere 2 pc e non un server per SQ.

-- In ogni caso c'è un post per questo argomento, per favore cercatelo, dove tutti hanno contribuito con la teoria. 

trovare strategie robuste e ad alto rendimento 

o mandami un pm e ti aiuterò con i componenti del tuo pc e dove acquistare ciascuno di essi a prezzi più convenienti (non faccio affiliazioni :p non preoccuparti)