Um método de teste de avanço simulado

Por este meio quero propor um método de validação chamado 'teste antecipado simulado‘. (Este não é WF ou WFM, WF/WFM é um tópico diferente, este também não é um teste OOS como usado durante a geração da estratégia)

O teste de avanço simulado é basicamente um teste parecido com um 'teste de avanço' de seu 'fluxo de trabalho/método de projeto de estratégia total'.

Nos últimos meses, tentei desenvolver um fluxo de trabalho totalmente automatizado usando o módulo SQ-X 'projetos personalizados' e obtive resultados muito interessantes (que publicarei em outro tópico). Meu pequeno avanço foi baseado na observação de que a maioria dos comerciantes, e até mesmo comerciantes experientes dando cursos on-line, apenas assumem que estão certos sobre seu método de validação de estratégia com base em sua experiência e em seus resultados passados. Não há nada de errado com essa suposição, mas ela pode ser fatal para novos comerciantes ou pessoas que estão tentando projetar seus próprios métodos de concepção de estratégias.

O que você vê neste fórum e em todos os outros lugares é o seguinte:

1. Todos os comerciantes têm suas próprias idéias ou métodos para gerar estratégias e utilizam esses métodos para gerar seus novos sistemas.

2. Em 90% dos casos, novos comerciantes geram e executam seus sistemas em contas demo (ou pequenas contas ao vivo) para ver se suas estratégias são lucrativas ou não.

3. Isto resulta em uma metodologia de "gerar e esperar".

Na minha opinião, a abordagem adequada deveria ser a seguinte:

1. No início você desenvolve ou aprende um novo fluxo de trabalho de projeto de estratégia (um novo método de projeto de sistema incluindo geração/teste/validação de estratégia e seleção de estratégia).

2. Para testar se seu método funciona, você volta no tempo e finge estar vivendo no passado, por exemplo :2014. Este é o seu ponto de referência.

3. Então você desenvolve uma quantidade suficiente (significativa) de estratégias usando seu fluxo de trabalho usando dados 2014 é proibido para evitar qualquer tipo de 'viés de mineração de dados'.

4. Então você testa TODOS estratégias que passaram por seu fluxo de trabalho e seleção de estratégias em um período de simulação (seu futuro simulado) >2014 e verificar quantas das estratégias selecionadas funcionaram para você. Você faz isso sem se enganar ou enganar a si mesmo, então você usa TODAS as estratégias que passaram com sucesso em seu fluxo de trabalho. Você tira suas conclusões com base em vários critérios diferentes de aprovação/reprovação que são importantes para você, por exemplo Max DD, Lucro Líquido, Red/DD, Estagnação etc.... e anote a porcentagem de eficácia de seu fluxo de trabalho, por exemplo: 65% de estratégias selecionadas foram rentáveis (ou não excederam o Max. DD esperado) no futuro simulado.

5. Você repete todo o processo, selecionando um ponto de referência diferente no passado, por exemplo: 2016. E comece tudo de novo gerando, testando e selecionando novas estratégias. Depois você testa TODAS as estratégias selecionadas em um período simulado >2016.

Você pode repetir este processo muitas vezes, "caminhando para frente" todo o seu fluxo de trabalho usando dados históricos e ver se seu método de geração de estratégias realmente produz estratégias robustas em um período de avanço simulado.

Um exemplo de faixas horárias como as utilizadas em um fluxo de trabalho típico:

- Ponto de referência (no passado) = 2014.12.31 (você está proibido de usar dados > 2015.01.01 até que você tenha gerado 30 estratégias que passaram por seu fluxo de trabalho e método de seleção para negociação ao vivo, isto pode ser incluindo métodos de construção de portfólio)

- Seu primeiro IS/OSS para geração de estratégia é, por exemplo IS: 2008.01.01...2011.06.01 e seu primeiro OOS é 2011.06.02...2014.12.31. 

- Seu segundo OOS2 para verificação da cura é, por exemplo: 2003.01.01...2007.12.31

- Todos os outros testes de validação (spread,skipping trades, MC, cross market etc.) são feitos usando dados <=2014.12.31

- Você seleciona 30 estratégias e as testa TODAS nos dados >2015.01.01.01

Depois de estar confiante com seu fluxo de trabalho e seus resultados, você pode voltar ao tempo presente e gerar/validar e selecionar novas estratégias e sentir-se confiante de que os sistemas selecionados têm uma chance significativa de serem lucrativos no futuro próximo.

Só queria compartilhar isto porque esta abordagem levou ao meu primeiro pequeno avanço com o meu fluxo de trabalho automatizado 100%.

Conclusão: pare de se enganar, pare de gerar estratégias baseadas em métodos não testados e pare de esperar que elas funcionem bem para você no futuro...

Qualquer comentário é bem-vindo 🙂

Gr

Chris

 

 

 

 

 

 

 

 

 

 

 

Olá Chris, obrigado pelas idéias, como já lhe disse pessoalmente, essa é uma abordagem interessante (e sensata).

Pergunta: Você faz o teste antecipado simulado em todas as estratégias que você gera e live-trade SOMENTE após as estratégias passarem neste teste, ou você já o fez uma quantidade significativa de vezes com seu fluxo de trabalho, até conseguir ajustar seu fluxo de trabalho a um estágio satisfatório (por exemplo, 70% de estratégias finais passam SFT), e a partir daí você apenas usa seu fluxo de trabalho em todos os dados até hoje, e se sente confiante na rentabilidade do mesmo?

 

Cumprimentos,

Ilya

Sim. Parece uma abordagem interessante. Por favor, me corrija se eu estiver errado; eu entendo que você trabalha em duas etapas:

Passo 1: IS + OOS. Me parece que você usa IS 3,5 anos e OOS 9,5 anos divididos em duas partes. Uau! Isso é muito. Li por gurus 'confiáveis' o conselho de 50 IS + 50 OOS. Eu li por outras pessoas "confiáveis" que não são OOS, apenas IS e fortes testes de robustez. Bem, eu o vejo no 75% OOS. De qualquer forma, você pode encontrar 30 boas estratégias com seus critérios. Agora passe para o passo 2

Passo 2: OOS 4 anos; 2015 até agora.

Se eu o recebi corretamente. Quantas destas 30 estratégias sobrevivem à segunda etapa? se me permitem perguntar

Enriquecer apenas um comentário, ao usar o OOS enquanto gerando, isso é essencialmente um SI, pelo simples fato de passarmos por milhões (ou dezenas de milhões ou centenas de milhões no meu caso) de estratégias, para encontrar aquelas que têm um OOS lucrativo, colocando a estratégia no banco de dados. Portanto, essencialmente no exemplo, é mais como 7 anos de SI e 9 OOS. Ainda não é uma combinação comum 🙂

 

Ilya

Ilya escreveu:

Olá Chris, obrigado pelas idéias, como já lhe disse pessoalmente, essa é uma abordagem interessante (e sensata). Pergunta: Você faz o teste antecipado simulado em todas as estratégias que você gera e live-trade SOMENTE após as estratégias passarem neste teste, ou você já o fez uma quantidade significativa de vezes com seu fluxo de trabalho, até conseguir ajustar seu fluxo de trabalho a um estágio satisfatório (por exemplo, 70% das estratégias finais passam SFT), e a partir daí você apenas usa seu fluxo de trabalho em todos os dados até hoje, e se sente confiante na rentabilidade do mesmo? Cumprimentos, Ilya

Eu uso SFT somente em 'nível de fluxo de trabalho', então cada vez que seleciono um novo ponto de referência para testar meu fluxo de trabalho, por exemplo: 2014,2015,2016 ou hoje, eu crio várias estratégias novas do zero usando exatamente o mesmo fluxo de trabalho/método. Se eu vejo que a maioria das estratégias geradas com um determinado método/fluxo de trabalho foram lucrativas no período de simulação (independente do ponto de referência selecionado), então eu sei que posso confiar em meu método e isto dá confiança de que as estratégias geradas hoje têm chance de serem lucrativas no futuro. Portanto, o objetivo do SFT é testar seu método e não suas estratégias.

Enric escreveu:

Sim. Parece uma abordagem interessante. Por favor, me corrija se eu estiver errado; eu entendo que você trabalha em duas etapas: Etapa 1: É + OOS. Me parece que você usa IS 3,5 anos e OOS 9,5 anos divididos em duas partes. Uau! Isso é muito. Eu li por gurus 'confiáveis' conselhos de 50 IS + 50 OOS. Eu li por outras pessoas "confiáveis" que não são OOS, apenas IS e fortes testes de robustez. Bem, eu o vejo no 75% OOS. De qualquer forma, você pode encontrar 30 boas estratégias com seus critérios. Agora passe para o Passo 2 Passo 2: OOS 4 anos; 2015 até agora. Se eu o peguei corretamente. Quantas destas 30 estratégias sobrevivem à segunda etapa? se me permitem perguntar

Nota Passo1: que a relação IS/OOS 50/50 é somente durante a etapa de geração da estratégia no construtor. Sim, por este meio eu segui os ensinamentos padrão dos gurus SQ. Mas observe também que devido a muitas iterações usando os mesmos blocos de construção e a mesma geração de estratégia, seu primeiro OOS se torna SI. É por isso que deve haver sempre outro segundo período de OOS para validar as estratégias geradas pelo construtor. Na minha opinião, este é um dos testes mais poderosos e, pela minha experiência, vejo que 95% de estratégias geradas falharão nesta etapa.

Nota Passo2: Por favor, não rotular este período como OOS (eu sei que é OOS, mas só confunde as pessoas), é uma espécie de futuro simulado, um futuro simulado é um nome muito melhor. Tomando meu fluxo de trabalho automatizado como exemplo, e assumindo que não há erros que afetem meus resultados e que eu não cometi nenhum erro estúpido, então eu recebo agora a eficácia do 100% nos dois primeiros anos do período de avanço simulado. Isto significa que o 100% das estratégias que passam meu fluxo de trabalho são rentáveis neste futuro simulado. Após 2 anos, vejo um grande declínio na eficácia das estratégias. Isto também significa que a cada 2 anos eu preciso gerar novas estratégias. Mas quero deixar a discussão a respeito do meu fluxo de trabalho automatizado para depois.

 

 

 

Sim. Como você disse, uma vez que o período OOS é parte do processo de construção, ele se torna EI. Esse é o principal argumento contra o uso do OOS; melhor usar somente SI porque no final das contas é o mesmo. Estou curioso em conhecer o comportamento das estratégias durante o período de "simulação", como o Coesio pede para chamá-lo. Particularmente não estou convencido desta abordagem, afinal, parece-me que o OOS está crescendo cada vez mais para que o efeito seja como substituir o algoritmo genético por um algoritmo aleatório, mas também é um método de ajuste de curva, não é?

Enric escreveu:

afinal de contas me parece que o OOS está crescendo cada vez mais

Vejo que você ainda está confuso em relação a uma coisa importante. No SFT, o período de simulação, que você chama de "OOS" adicional, está fora da janela de tempo de seleção de estratégia. É uma simulação de desempenho de estratégia real e NÃO é usado para selecionar/testar estratégias, mas para provar que seu fluxo de trabalho é capaz de criar sistemas de comércio lucrativos. Não tem nada a ver com testes/seleção de estratégias, portanto não pode ser visto como um OOS adicional.

Ok, eu acho que entendi. Para mim, isso é uma amostra de dados (=OOS), mas é apenas uma questão de definição, não um grande problema.

Mas somente se você chamar os dados a partir de 2050 também dados OOS, então sim, então em sua definição também é OOS 😉

Fiz uma pequena visão geral para torná-la mais clara:

As estratégias são geradas, testadas e selecionadas utilizando A e B, e os resultados são testados utilizando o período C. (O período C não é 'OOS', pois não é usado para a geração de estratégias e seleção). Após o período C o processo começa do zero, novas estratégias são geradas e selecionadas usando novos A e novos B e testados durante os novos períodos C...etc...etc...

Olá coesio. Antes de mais nada, obrigado por sua generosidade em compartilhar. Sem dúvida, é uma abordagem valiosa e definitivamente válida para uma tentativa.

Enric escreveu:

Olá coesio. Antes de mais nada, obrigado por sua generosidade em compartilhar. Sem dúvida, é uma abordagem valiosa e definitivamente válida para uma tentativa.

Pena que ninguém está compartilhando esse tipo de coisa aqui e em nenhum outro lugar.

Compre de qualquer forma... veja este tópico onde eu realmente coloco isto em prática... vamos ver quais serão os resultados:

https://strategyquant.com/forum/topic/100-automated-and-100-accurate-sq-workflow-test-case/

 

Obrigado, Chris.

Esta é uma idéia poderosa que também utilizo este processo para construir e testar minhas estratégias.

Acabo de me deparar com esta linha. visto que foi há 2 anos atrás, pergunto-me se você poderia nos atualizar sobre os resultados ao vivo...

Está indo muito bem, no entanto, 2 anos de algo-trading equivalem (do meu ponto de vista) a apenas 150 negociações 🙂 = mal o suficiente para ver esse resultado como estatisticamente significativo...

Meus testes nesse período me geraram lucros em torno de >+150%... até agora.

Alguns diriam que isso é muito interessante.

No entanto, o mundo está mudando tão rapidamente que esse ganho de 150% não parece nada impressionante ;)... é por isso que a negociação de algo é minha menor prioridade no momento.

Estou pensando em publicar meu trabalho, incluindo meu fluxo de trabalho, para um número limitado de pessoas.

Você sempre pode entrar em contato comigo se estiver interessado.

Você provavelmente sabe onde me encontrar...

Gr

Chris