SOMENTE LEITURA

O fórum agora é um arquivo somente para leitura.

Para relatórios de bugs e perguntas sobre a plataforma → [email protected]

Nossa comunidade vive no Discord e no YouTube - junte-se a nós!

JUNTE-SE A NÓS EM Discórdia YouTube

Ajuda com testes de robustez

2 respostas

BaobáEquipe Simons

Cliente, bbp_participante, comunidade, sq-ultimate, 4 respostas.

Perfil da visita

1 ano atrás #288953

Olá a todos,

Sou um iniciante no maravilhoso mundo do SQX e tenho algumas perguntas para as quais não encontrei respostas conclusivas. Gostaria muito de ouvir a opinião de usuários mais experientes da comunidade.

Tenho acompanhado todos os testes de robustez disponíveis em meu pipeline. Em geral, encontro estratégias que conseguem passar nos testes de robustez (com ajustes específicos para cada ativo e suas nuances).

Comecei a notar que as estratégias que não passaram no Monte Carlo, WFM ou SPP também parecem ser boas estratégias. Executei um backtest em períodos adicionais além daqueles que usei para criar minha estratégia, e eles mostraram resultados positivos com estatísticas semelhantes.

Dito isso, gostaria de ouvir a opinião de membros mais experientes com relação a testes de robustez. Entendo que passar em todos os testes tornaria as estatísticas mais confiáveis quando implantadas em um ambiente real, mas qual é a importância disso para o sucesso de um algoritmo? Isso realmente faz diferença na produção de um algoritmo?

Como tenho pouca experiência com o SQX, não tenho dados suficientes para refutar a hipótese de que passar nesses testes leva a um maior sucesso em um ambiente real. Estou testando-o em uma conta de demonstração e posso compartilhar os resultados mais tarde. 

Agradeço antecipadamente por sua ajuda e opiniões!

1

Jason

Assinante, bbp_participant, cliente, comunidade, sq-ultimate, 26 respostas.

Perfil da visita

1 ano atrás #289002

Estou criando algos há cerca de 4 anos, mas só estou usando o SQx há alguns meses. Comprei a licença de nível superior e achei o curso de treinamento do SQx excelente. Ao longo dos anos, aprendi algumas coisas. Aqui está o que eu acho que sei:
1. Não existe um teste de ouro para determinar se uma estratégia terá o mesmo desempenho em dados reais que teve no histórico, mas um conjunto de testes lhe dá uma ideia melhor de como a estratégia *deveria* ter um desempenho. Isso permite que você avalie a estratégia em dados reais com alguma confiança no que pode esperar. Essa confiança no que você *pode* esperar deve informar (fornecer feedback) sobre os critérios que você deseja definir pessoalmente para a estratégia. Por exemplo, eu não negocio uma estratégia com taxa de ganho inferior a 50%. Acho que isso me permite avaliar uma nova estratégia ao vivo rapidamente (20 a 30 negociações) E me sinto mais confortável com esse tipo de estratégia. Por exemplo, se você negociasse uma estratégia com uma taxa de ganho de 20%, teria necessariamente de permitir MUITAS perdas para determinar se está obtendo uma curva de patrimônio aceitável.

2. O teste Last OOS é muito importante para mim. Descobri que se uma estratégia for aprovada em todas as três seções de dados históricos (divido meus dados históricos em três partes iguais), ela terá uma boa chance de sucesso em dados reais.

3. Os testes Monte Carlo são usados para medir determinados aspectos de sua estratégia. Gosto particularmente do Monte Carlo de parâmetros porque ele mostra os diferentes "futuros" possíveis para sua estratégia. Gosto de ver uma estratégia com um leque restrito de diferentes curvas de patrimônio líquido e descarto as estratégias que têm uma curva de patrimônio líquido estranha. Essa parte é um pouco subjetiva, mas prefiro reprovar uma boa estratégia a aprovar uma ruim. A CPU pode procurar novas estratégias, ela não se importa.

4. Os diferentes testes de mercado e de prazos me permitem verificar se a minha estratégia faz sentido do ponto de vista lógico. Minhas estratégias não precisam ter um desempenho incrível nesses testes, mas precisam gerar dinheiro. Se sua estratégia for bem-sucedida em uma ampla gama de títulos e prazos diferentes, as chances de que sua curva se ajuste a um título e prazo específicos são baixas.

Depois de realizar o teste Last OOS (último 1/3 dos dados), procuro uma curva de patrimônio suave que eu não me importaria de negociar e que precisa ganhar dinheiro de forma consistente. Para ser sincero, não aprovo uma estratégia que perdeu dinheiro nos últimos dois anos, mas se ela teve um ano de perdas em 2009 ou algo assim, considero aprová-la. Realmente depende de QUANTO ela perdeu em um ano. Também gosto de dar uma olhada no período de estagnação. Não quero um período de estagnação maior que 180 dias. Tento modelar e classificar as estratégias de acordo com o que eu pessoalmente gostaria de negociar. Acho que nem todo mundo faz isso, mas é assim que eu faço.

Se minha estratégia for aprovada em tudo isso, eu a executo em um WFA e analiso as permutações dos diferentes parâmetros e tenho uma configuração personalizada do WFA que precisa ser aprovada. Quero ver se meu PF e meu drawdown estão razoavelmente próximos. Principalmente o PF. Quero saber se as métricas mais prováveis estão próximas das métricas do backtested. Eu costumava pensar no WFA como o Santo Graal dos testes, mas agora não penso mais assim. Algumas estratégias provavelmente não precisam de um WFA, mas gosto de realizá-lo para dar às minhas estratégias a oportunidade de se adaptarem às mudanças nas condições do mercado.

A última parte não é realmente um teste, mas acho que é útil. Não me empolgo com uma estratégia, quero uma equipe inteira de estratégias em diferentes títulos que me proporcionem uma curva de patrimônio líquido suave e agradável com retornos não correlacionados. Prefiro negociar várias estratégias de fator de lucro 1,5 em diferentes produtos futuros do que uma única estratégia de PF 2,5. Por fim, não negocie estratégias que o deixem muito nervoso ou que você não gostaria de negociar de forma discricionária. Para mim, isso significa que não vou operar uma estratégia com taxa de ganho inferior a 50%, quero um ret/dd alto (8 ou melhor, prefiro 16 ou melhor) e não quero um sistema que arrisque mais de 2% da minha conta em uma única operação. Isso é importante porque você precisa ter uma quantidade razoável de risco para o título que está negociando e o prazo*ATR em que está negociando. Acho que muitas pessoas negociam mini-mercados sem perceber que um mini-mercado de ES ou NQ pode precisar de $2000 - $5000 por operação no período de uma hora. Se você estiver arriscando $5k por operação e seguir a regra 2%, precisará de $250k em sua conta de negociação. Essa não é uma quantia pequena de dinheiro. Eu sigo a regra 2% e, como verificação final, pego o drawdown máximo do backtest e o duplico. Portanto, se o drawdown máximo for $10k em todo o backtest, então preciso me sentir confortável com uma perda máxima de $20k (talvez conforto não seja a palavra certa, mas você entendeu a ideia). Se a estratégia passar em todas essas considerações, ela entra em um funil de estratégias negociáveis e eu deixo que o compositor de portfólio da SQx me diga qual combinação de estratégias negociar.

Espero que tudo isso ajude.

1

Chad Lin

Assinante, bbp_participant, sq-ultimate, cliente, comunidade, 39 respostas.

Perfil da visita

1 ano atrás #289930

Obrigado, Jason, experiências muito impressionantes!

Você poderia compartilhar mais experiências sobre a SQX? Isso é útil.

0

Visualizando 2 respostas - 1 até 2 (de um total de 2)