Tamanho da janela de dados

Olá pessoal, estou aqui para abrir um tópico produtivo.

Gostaria de saber por que Mark e a equipe de desenvolvedores ainda não colocaram um recurso principal.
Estou falando do tamanho automático das janelas de dados.
Como você sabe, não é possível escolher um tamanho de janela aleatório, ou pelo menos é possível, mas isso pode ser improdutivo. Explico melhor: quando iniciamos um processo de construção, estamos buscando estratégias produtivas/robustas no futuro próximo e, é claro, por exemplo, se estivermos buscando estratégias H1 que funcionem no próximo mês, é totalmente inútil usar dados de 12 anos atrás, não acha? Talvez nem todos saibam que existe uma maneira científica de identificar o tamanho correto das janelas com base em seu objetivo.
Então, aqui está, antes de escrevê-lo, quero ouvir a opinião de alguns membros da comunidade sobre isso: como você escolhe o tamanho das janelas? Você conhece o método científico?
Isso é para você, Mark, você sabe disso? Você e sua equipe sabem como calcular o tamanho correto das janelas dos dados?

Após alguns comentários, explicarei como fazer isso.

Eu queria saber mais sobre isso.

Parece-me que quanto mais dados uma estratégia tiver trabalhado no passado, maior será a probabilidade de ela funcionar nos dados futuros. Como você tem a possibilidade de criar muitas estratégias desse tipo, seria melhor testá-las novamente com dados recentes para ver quais estão funcionando agora e usá-las. Acho que você descobrirá que o % que funciona será muito maior do que as estratégias feitas em uma janela recente.

Não é totalmente correto, sim, é claro, mais uma estratégia está funcionando durante o histórico e mais é confiável em diferentes tipos de mercados, mas não estamos buscando uma estratégia do "Santo Graal" que funcione bem sempre e para sempre.
Uma estratégia criada em 12 anos ou mais será uma estratégia muito lenta e perderá muitas oportunidades de ganho. E a consequência do tamanho grande da janela de dados é um ajuste excessivo das estratégias criadas, para obter um bom retorno/DD durante todo esse tempo, o SQ criará regras muito complexas de entrada, saída, gerenciamento etc.

Na minha opinião, prefiro criar estratégias com mais frequência e otimizá-las/excluí-las e trocá-las quando perderem a confiabilidade, monitorando todas as estatísticas.

É estranho que esse tópico tenha tido tão pouco sucesso, eu estava pensando em uma luz mais forte para a comunidade...

Esse tópico é difícil. Por exemplo, crie estratégias com base nos dados do ano passado, mas exclua o maio mais recente. Você descobre que o 95 % está mais solto em maio, dependendo de como você o classifica. Também fiz outro teste ontem: testei 3800 EU que foram realmente bons durante 2018 rdd >5 (eles eram de um lote de 25000). 700 desses 3800 funcionaram muito bem no mês de janeiro a março, o restante foi perdedor. 525 deles funcionaram muito bem em abril de 2019 80%. Mas apenas 3 desses 525 foram lucrativos em maio e o restante foi realmente um grande prejuízo. Então, testei todos os 25.000 em maio de 2019, que foram criados e testados com base nos dados de 1986-2018-09. Agora eu tinha cerca de 2.700 que foram lucrativos em maio de 2019. Agora, fui mais longe e testei mês a mês para ver se não havia meses perdedores (mas não há problemas), voltando 12 meses atrás. Ainda tenho 37 que não têm um RDD acima de 5 em 2018, portanto não podem ser do meu teste original dos 3800.

Portanto, talvez esse seja um bom fluxo de trabalho. Sei que tenho 37 estratégias que funcionaram muito bem nos últimos 12 meses, mas também funcionaram bem nos últimos 30 anos ou mais.

Em anexo, a aparência deles na Duka.

"Você conhece o método científico?" Diga-nos

Eu lhe direi sobre o Clonex, mas antes quero ouvir alguns pontos de vista diferentes sobre ele.

Este tópico não tem fim? Por exemplo, no EURUSD H1, neste momento, há uma janela válida

De: "10 de outubro de 2018"
Para: "26 de abril de 2019"

Negociável em duas próximas janelas:
Janela 1: De: 27 de abril de 2019 a 21 de maio de 2019 com precisão de 90%

Janela 2: De: 22 de maio de 2019 a 27 de junho de 2019 com precisão de 80%

Ninguém sabe como eu sei disso?

Vamos lá, pessoal, sejam ativos!

Não tenho a menor idéia. A única coisa que sei é que você está se referindo ao histórico. Suponho que seja fácil provar isso mais tarde, testando o desempenho de algumas centenas de estratégias ao vivo com os dados de histórico sugeridos por você

Espero que você esteja certo 🙂

oi ...Gianfranco hurst exponent....for scan symbols and data Windows....up 0.5 ?

é a minha pequena ideia....automatic scan with min and max days... like WFM

obrigado

Gianfranco

Alguém disse isso, finalmente!!!
Sim, é o Expoente de Hurst, temos muitas ferramentas estatísticas para ter certeza de que estão funcionando corretamente.
Agora explico meu problema: tenho vários scripts em python: para limpar os dados, localizar a janela de dados, a correlação entre os dados, gerenciar a construção, localizar as estratégias não correlacionadas, monitorar o patrimônio e escolher a reotimização ou a exclusão.

Há muitos truques para acelerar todo o processo, por exemplo, correlação de estratégias com um pool muito grande, 10 mil estratégias, em vez de testar inteiramente com toda a janela de dados, estou reduzindo a janela de dados para 1/3 (IS-OOS) do original e usando essas ações, menos poder de computação, dividindo o pool em duas partes (boas correlações entre -0.5 e 0,5, e correlações ruins entre -1 e -0,51, 0,51 a 1, testando novamente as correlações de mercadorias com o tamanho original dos dados para ter certeza dos resultados parciais, e é isso, muita energia e tempo economizados.

Estou me perguntando por que eles ainda não incluíram todas essas ferramentas no pacote?
No entanto, se alguém precisar desses scripts, eu os compartilharei, mas prefiro compartilhá-los com a equipe de desenvolvimento para integrá-los ao software.

sim, se você for ou tiver um bom programador, muitas coisas poderiam ser muito mais fáceis.... temos, por exemplo, um script python para o antigo SQ para controlar os testes MC, etc.

Li alguns artigos sobre essa hipotese - https://www.mql5.com/en/articles/2930

mas não sei como usá-los em nosso "negócio"

Não acredito que isso funcionaria usando séries temporais para tentar prever períodos futuros curtos no mercado de câmbio, que é totalmente aleatório. Se funcionar em um período, foi apenas sorte. Prefiro otimizar uma entrada ao longo de 100 anos de dados para obter um bom desempenho médio e, em seguida, tentar adaptar as saídas ao mercado atual. Dessa forma, você também pode obter estratégias com >90% vencendo períodos de 6 meses, olhando para 30 anos atrás, e automatizar o fluxo de trabalho com as ferramentas atuais.