Lógica de alguns dos testes de robustez
11 respostas
afhampton
7 anos atrás #237813
Já faz alguns anos que estou nessa atividade e já me aprofundei o suficiente nos detalhes da negociação de algoritmos para questionar parte da lógica que eu considerava natural quando comecei. Tenho certeza de que cada pessoa tem sua própria opinião sobre meus desafios abaixo e estou realmente interessado na lógica por trás do pensamento. Sinta-se à vontade para compartilhar suas ideias sobre por que você usa o que faz e como isso o ajudou na identificação de sua estratégia.
1. Concordo plenamente com os testes de robustez para: derrapagem variável, spread variável, randomização da barra inicial, randomização dos dados históricos (probabilidade 20, alteração máxima do ATR 5-10%), randomização da distância mínima do preço, randomização da ordem de negociação (exata e reamostragem) e pular negociações aleatoriamente. Tudo isso faz total sentido para mim dentro de certos intervalos e parece ser suficiente para evitar que eu otimize demais e me ajuste à curva.
Aqui estão os que não fazem sentido para mim. Se você tiver uma lógica sólida para explicar por que pensa de outra forma, compartilhe-a comigo e me ajude a ver onde posso estar errado.
1. Teste com outros pares de moedas - Por que esperar que uma estratégia desenvolvida em um par seja eficaz em outro, mesmo que eles sejam "altamente" correlacionados por períodos de tempo? Cada par de moedas (especialmente as principais) tem sua própria "personalidade" devido aos Bancos Centrais e outros participantes importantes que os controlam. Se houver um Banco Central independente por trás dele, não faz sentido esperar que uma moeda "relacionada" tenha o mesmo desempenho (por exemplo, EURUSD, GBPUSD). Elas são gerenciadas independentemente uma da outra. Portanto, quando a SQ cria uma estratégia que é eficaz em um par, na minha opinião, devo esperar que ela seja válida somente para esse par e para nenhum outro.
2. Teste em relação a outros períodos de tempo - Quando a SQ cria uma estratégia que atende aos nossos requisitos (PF, DD, Net Profit, etc.) em um período de tempo, por que esperar que ela tenha um desempenho minimamente próximo em outro período de tempo mais curto ou mais longo, especialmente se houver indicadores envolvidos? Os valores dos indicadores são determinados pelos parâmetros e pelo número de barras, etc. Se o mesmo indicador for colocado em um gráfico que seja metade, 1/4 ou 4x maior, os valores que ele produz serão, em muitos casos, completamente diferentes. Assim, as regras para entrar/sair de uma negociação com base no valor desses indicadores não são mais aplicáveis no período de tempo diferente. Então, por que esperar que a estratégia tenha um desempenho sequer próximo ao do período de tempo original?
3. Randomizar os parâmetros da estratégia - Como no caso do #2 acima, com estratégias orientadas por indicadores, os parâmetros da estratégia são o que orienta os cálculos. Portanto, ajustá-los para cima ou para baixo certamente influenciará os valores de saída e, portanto, as regras de entrada/saída. Esse teste me parece razoável somente se eu diminuir a expectativa de desempenho da estratégia para que seja proporcional à quantidade de alteração que estou introduzindo/permitido nos parâmetros. Se meu padrão para PF for 1,5 e eu introduzir 20% de alteração nos parâmetros, não faz sentido esperar que a estratégia mantenha um PF de 1,5. A estratégia foi criada para corresponder a determinadas condições que se refletem no valor dos indicadores. Se essas condições mudarem, não devo esperar que as regras sejam cumpridas e, portanto, que o nível de desempenho seja o mesmo.
Gostaria de receber as opiniões de outros usuários mais experientes do SQ sobre esses tópicos. Certamente pode haver coisas que eu não esteja considerando e que precisem ser esclarecidas. O que você acha?
0
Enric
7 anos atrás #237818
Proalvez eu não seja um usuário mais experiente, mas, se puder, gostaria de acrescentar meus dois centavos, porque esse é um tópico que li, pensei e acredito que seja fundamental nesse negócio. Li em algum lugar que você deve esmagar sua estratégia o máximo que puder ou o mercado fará isso por você. Para mim, esse é o ponto para adicionar os testes Multimercado e Multitimeframe como parte do teste de Robustez. Não me importo muito com os motivos, mas prefiro descartar um monte de estratégias boas em vez de ficar com algumas superfaturadas para sempre.
Com relação aos parâmetros da estratégia Randomize. Para mim, esse talvez seja o teste mais importante. Entre nossos backtests e a execução ao vivo, há uma névoa de variáveis, todas elas jogando contra nós: i) o backtest do SQ não se ajusta exatamente à realidade. Mesmo o backtest do SQ não corresponde exatamente ao backtest do MT4 (você pode verificar), ii) a execução da corretora não é precisa, iii) os dados históricos que usamos não são os mesmos da corretora, pelo menos no meu caso, porque minha corretora não fornece seus dados históricos.
E você pulou um teste: Walk Forward Matrix. Eu o aplico como um teste final para confirmar a estratégia
0
mabi
7 anos atrás #237822
Uma resposta curta a todos os seus pontos é que o único motivo para fazer esses testes é descobrir o quanto a estratégia é sensível a diferentes mudanças no mercado. Se as configurações atuais falharem totalmente, ela provavelmente foi ajustada à curva dos dados em que foi criada e a descoberta foi apenas um golpe de sorte ou foi otimizada demais por sorte. Mas se a mudança de mercados ou a randomização de parâmetros tiver um impacto negativo mediano no desempenho, isso lhe dirá que ela é muito boa como está e que, provavelmente, pode até ser melhorada e adaptada a outro mercado por meio da otimização. Normalmente, as estratégias que podem ser adaptadas por meio de otimização a outros mercados, onde falharam em sua forma original, são robustas e podem ser negociadas ao vivo também, e para isso temos agora a excelente ferramenta Opt.profile e SPP.
0
afhampton
7 anos atrás #237827
Obrigado por compartilharem suas percepções, Enric e Mabi. Ambos mencionaram o ajuste excessivo e a otimização excessiva. Como compartilhei na primeira postagem, os testes de robustez que listei no ponto #1 fazem todo o sentido para mim - todos eles lidam com algo realista no mercado para evitar o ajuste excessivo. Posso garantir que nada que tenha passado em meu conjunto de testes de robustez foi obtido "por sorte". Eles resistem às possibilidades de mudança que devem ser esperadas - todas elas abordariam os pontos que vocês mencionaram.
Portanto, a pergunta que lhe faço é: se os aspectos com os quais você está preocupado já foram abordados por testes de robustez específicos, por que você exigiria que ele passasse por outros testes que não têm absolutamente nenhuma relação com os obstáculos "realistas" que sua estratégia encontrará no mercado? Quais são os problemas específicos que esses testes abordam (que ainda não foram abordados em testes anteriores)?
0
Enric
7 anos atrás #237829
@afhampton. Você está questionando a necessidade do Multimercado e do Multitimeframe como testes de robustez válidos. Já vi opiniões de traders instruídos argumentando sobre os dois lados. Não acho que alguém possa dar uma resposta absoluta.
Prefiro incluir esses testes em meu fluxo de trabalho. Se eu estiver errado, terei descartado boas estratégias, o que é uma pena. Por outro lado, se você excluir esses testes e estiver errado, estará incluindo estratégias superfaturadas. A primeira opção me dá mais tranquilidade.
Por fim, @maby incluiu dois testes adicionais disponíveis no SQX. É claro que também os incluirei em meu fluxo de trabalho. Tentarei esmagar minhas estratégias no processo de construção o máximo que puder para evitar que elas esmaguem minha conta.
0
mabi
7 anos atrás #237830
Ninguém disse que você precisa executá-los. Em futuros, eu só executei o teste em instrumentos correlacionados, caso contrário, ele falharia sem otimizá-lo nos instrumentos não correlacionados. No Forex, a maioria é correlacionada, portanto, é como se fossem dados extras. Se você fizer isso no EurUsd e depois testar no GbpUsd, terá mais 15 anos de OOS. Mas você tem razão, não é evidente que isso ajude muito quando se observa o desempenho de estratégias negociadas ao vivo.
0
Ilya
7 anos atrás #237832
Ótimo tópico, vou colocar meus dois centavos também.
Embora eu possa entender as pessoas que optam por desafiar suas estratégias de todas as formas possíveis, pessoalmente, concordo com você nos pontos 1 e 2. Não vejo as verificações de vários mercados e de vários períodos como testes de robustez válidos, eu os faço para ver se posso negociar em um mercado diferente com minha estratégia, mas nada mais. Definitivamente, não vou desconsiderar uma estratégia que passou em todos os meus outros testes com base nisso.
Definitivamente, você deve esmagar e desafiar sua estratégia o máximo possível, mas se eu for um bom rapper, não vou me apresentar em uma sala de ópera, pois isso provavelmente acabará em um desastre e vaias, certo? Vou me limitar aos clubes de rap.
No ponto 3, "Randomize strategy parameters" (Randomizar parâmetros de estratégia), entendo isso da seguinte forma:
- Para mim, é basicamente o mesmo que "Randomizar dados históricos", de cabeça para baixo. Vou dar um exemplo:
Para simplificar, digamos que você tenha uma estratégia que opere comprada quando o preço cruza e fecha abaixo da SMA das 5 últimas barras.
Vamos supor que os preços de fechamento das últimas 5 barras em um determinado momento sejam: 5, 10, 15, 20, 25. Isso faz com que a SMA nesse momento seja 15.
Agora, durante sua teste de dados históricos aleatóriosSe o preço de fechamento for alterado para, por exemplo, "6, 11, 14, 22, 27", veremos se a pequena alteração nos dados históricos afetará sua estratégia ou não, certo? Então, desta vez, a SMA nesse determinado ponto é 16 (em vez de 15 dos dados verdadeiros) e você quer ver se essa SMA de 16 ainda fará com que o seu EA fique longo/curto, quanto você ganha/perde dessa vez em comparação com a situação original etc., certo? e, para você, esse é um teste válido para desafiar a estratégia em condições diferentes, mas relevantes.
Agora, digamos que você faça um teste de parâmetros de estratégia aleatórios com os mesmos dados, então, desta vez, seu EA leva em conta a SMA(6) em vez da SMA(5) como a estratégia original, e digamos que o preço de fechamento histórico da barra antes das 5 barras mencionadas seja 21. Agora você tem os seguintes preços de fechamento das últimas 6 barras: 21, 5, 10, 15, 20, 25. Qual é a SMA? 16. Portanto, essencialmente, você chegou ao mesmo resultado de dados mutantes que obteve com dados históricos ligeiramente diferentes, apenas "de cabeça para baixo", diversificando seus testes.
Em outras palavras, tentamos alterar os dados históricos do ponto de vista do EA (obviamente sem alterações muito amplas), em vez do ponto de vista dos dados, e vemos como a estratégia lida com isso. É uma forma adicional de desafio para a estratégia, à qual você pode esperar que ela sobreviva. Como as alterações que fazemos são mais radicais em comparação com as alterações de dados históricos, esse também é um teste mais exigente normalmente...
0
Enric
7 anos atrás #237833
Entendo seu ponto de vista, mas discordo.
Seguindo seu exemplo. Se você for um bom cantor, provavelmente poderá tocar rap ou ópera. Se você for rapper, não conseguirá ganhar a vida com a ópera, mas tenho certeza de que se sairá bem 🙂
Você está certo com os parâmetros de randomização, mas imagine uma estratégia com StopLoss = 0,73 * SMA(5). Alterando o período da SMA, obterei o mesmo resultado que alterando os dados históricos. Ok, para mim não há problema em ter um teste redundante. Mas se eu alterar o parâmetro 0,73, isso é algo que poderia acontecer em uma negociação real
0
Ilya
7 anos atrás #237834
Entendo seu ponto de vista, mas discordo. Seguindo seu exemplo. Se você for um bom cantor, provavelmente poderá tocar rap ou ópera. Se você for rapper, não conseguirá ganhar a vida com a ópera, mas tenho certeza de que se sairá bem 🙂 Você está certo com os parâmetros de randomização, mas imagine uma estratégia com StopLoss = 0,73 * SMA(5). Alterando o período da SMA, obterei o mesmo resultado que alterando os dados históricos. Ok, para mim não há problema em ter um teste redundante. Mas se eu alterar o parâmetro 0,73, isso é algo que poderia acontecer em uma negociação real
É perfeitamente normal que você discorde e eu lhe desejo sorte. Para mim, é apenas uma forma de perfeccionismo que é bom se funcionar, mas não é necessário. (Quero dizer, nem todo mundo é Freddy Mercury, certo?)
Também concordo com a segunda parte de sua mensagem, esse é apenas mais um motivo para usar esse teste. Meu exemplo foi apenas uma base para a necessidade desse teste, mas ele não me ajuda muito se eu acabar fazendo o mesmo que alterar os dados do histórico. O objetivo é apresentar um diferente para o nosso EA, seja a mudança de período, pequenas mudanças de SL/TP, se for baseado em ATR/Pips, ou mudanças de coeficiente, como você sugeriu. Desde que a mudança não seja muito radical, tudo isso é um desafio bom e relevante a ser superado.
Ilya
0
afhampton
7 anos atrás #237845
.... Meu exemplo foi apenas uma base para a necessidade desse teste, ... Ilya
0
mabi
7 anos atrás #237900
Muitas estratégias que utilizo foram criadas em outro instrumento ou período de tempo, mas foram bem testadas, então as utilizei. Isso me poupou muitos meses de geração e me permitiu criar rapidamente portfólios diversificados.
0
afhampton
7 anos atrás #237905
Obrigado, Mabi. Você levantou uma questão muito boa. Como fica a correlação dessas estratégias quando você pega uma carteira e a executa no Quant Analyzer?
0
Visualizando 11 respostas - 1 até 11 (de um total de 11)