SOMENTE LEITURA

O fórum agora é um arquivo somente para leitura.

Para relatórios de bugs e perguntas sobre a plataforma → [email protected]

Nossa comunidade vive no Discord e no YouTube - junte-se a nós!

JUNTE-SE A NÓS EM Discórdia YouTube

Minha configuração para o teste de robustez é muito rígida?

3 respostas

ybhx0315

Cliente, bbp_participante, comunidade, 27 respostas.

Perfil da visita

10 anos atrás #115124

Olá a todos,

 

Eu costumava executar testes de robustez dessa forma, seguindo o mesmo método mencionado no Ebook:

1. Defini o número de experimentos como 200.

2. Executo apenas um tipo de teste de cada vez. Por exemplo, primeiro aleatorizo as negociações e, em seguida, aleatorizo os parâmetros.

3. regra de decisão: ret/DD > metade do nível original. A forma deve ser boa.

 

Com esse método, obtive mais de 20 estratégias que passaram nos testes.

 

Agora estou tentando uma abordagem diferente:

1. Defino o número de testes como 1000.

2. Executo os primeiros 5 tipos de testes simultaneamente.

3. A regra de decisão é a mesma.

 

Agora, todas as mais de 20 estratégias foram reprovadas nos testes.

 

Como devo interpretar esses resultados? Estou testando demais? Ou isso é um sinal de que minha estratégia não é robusta?

 

Obrigado por sua resposta.

0

Cujo

Cliente, bbp_participant, comunidade, 97 respostas.

Perfil da visita

10 anos atrás #136960

Oi ybhx0315,

 

Também comecei a ser muito, muito rigoroso com minha robustez e não encontrei nenhuma estratégia que passasse. Quando entendi que, na verdade, não estava buscando apenas o lucro em relação ao histórico, mas sim coisas como a capacidade de escolher vencedores, reduzir perdas/DD, ou seja, esse tipo de métrica, e não apenas "quanto dinheiro ganhou há 10 anos", mas se a vitória % era boa há alguns anos e se eu achava (por meio da robustez) que ela ainda poderia prever vencedores com pequeno DD hoje/futuro, fez mais sentido. Eu estava fazendo vários testes de robustez OOS em dados que remontavam a meados da década de 1990, e nada passava quando se buscava apenas o lucro. Agora, porém, procuro coisas diferentes, também com a caminhada para frente, é claro.

 

Há também alguma discussão sobre robustez em este thread.

0

ybhx0315

Cliente, bbp_participante, comunidade, 27 respostas.

Perfil da visita

10 anos atrás #136974

Oi ybhx0315,

 

Também comecei a ser muito, muito rigoroso com minha robustez e não encontrei nenhuma estratégia que passasse. Quando entendi que, na verdade, não estava buscando apenas o lucro em relação ao histórico, mas sim coisas como a capacidade de escolher vencedores, reduzir perdas/DD, ou seja, esse tipo de métrica, e não apenas "quanto dinheiro ganhou há 10 anos", mas se a vitória % era boa há alguns anos e se eu achava (por meio da robustez) que ela ainda poderia prever vencedores com pequeno DD hoje/futuro, fez mais sentido. Eu estava fazendo vários testes de robustez OOS em dados que remontavam a meados da década de 1990, e nada passava quando se buscava apenas o lucro. Agora, porém, procuro coisas diferentes, também com a caminhada para frente, é claro.

 

Há também alguma discussão sobre robustez em este thread.

Olá Cujo,

 

Obrigado por sua resposta. Acompanhei seu tópico e gostaria de compartilhar duas de minhas descobertas:

1. os resultados do teste de robustez geralmente se estabilizam após 100 execuções. Portanto, vejo resultados semelhantes em 100 execuções, 500 execuções e até 1000 execuções.

2. Alguns resultados de testes de robustez têm uma forma muito boa, mas números muito ruins. E o oposto também é verdadeiro. Por exemplo, o ret/dd original é 20 e, no nível de confiança 95%, o ret/dd é cerca de 6. O DD% é quase o dobro. Mas as linhas de robustez parecem bastante densas no centro e têm uma aparência bonita. Outro exemplo é que o ret/dd original é 4 e, no nível 95%, o ret/dd está em torno de 3. As linhas de robustez estão muito espalhadas. Você notou a mesma coisa e como interpreta isso?

 

Obrigado.

0

Cujo

Cliente, bbp_participant, comunidade, 97 respostas.

Perfil da visita

10 anos atrás #136979

Olá Cujo,

 

Obrigado por sua resposta. Acompanhei seu tópico e gostaria de compartilhar duas de minhas descobertas:

1. os resultados do teste de robustez geralmente se estabilizam após 100 execuções. Portanto, vejo resultados semelhantes em 100 execuções, 500 execuções e até 1000 execuções.

2. Alguns resultados de testes de robustez têm uma forma muito boa, mas números muito ruins. E o oposto também é verdadeiro. Por exemplo, o ret/dd original é 20 e, no nível de confiança 95%, o ret/dd é cerca de 6. O DD% é quase o dobro. Mas as linhas de robustez parecem bastante densas no centro e têm uma aparência bonita. Outro exemplo é que o ret/dd original é 4 e, no nível 95%, o ret/dd está em torno de 3. As linhas de robustez estão muito espalhadas. Você notou a mesma coisa e como interpreta isso?

 

Obrigado.

 

...uma bela curva de patrimônio líquido não é boa se arruinar sua conta, pois você não se recuperará depois de uma grande DD até colocar mais $.

0

Visualizando 3 respostas - 1 até 3 (de um total de 3)