O que aprendemos com a análise de 1,2 milhões de estratégias FX

Parte 1: Complexidade e número de negócios

Há cerca de um ano e meio, cheguei à conclusão de que o limite do meu fluxo de trabalho de desenvolvimento de estratégias estava diminuindo. . Em 2014-15, fazer 40-55% por ano em FX foi uma tarefa sem cérebro. Em 2016-2017, tornou-se cada vez mais difícil obter lucros com o fluxo de trabalho padrão. Portanto, decidi examinar e analisar alguns paradigmas de alguns procedimentos em detalhes estatísticos.

Assim, geramos cerca de 1,2 milhões de estratégias usando apenas filtros básicos como um número mínimo de negócios e estabilidade SQ3 > 0,6. Utilizamos a maior amostra de dados possível para o período 1987-2017 IS + OS e para o período 2017-2020. ( WFOS )
Como Verdadeiro Fora da Amostra (WFOS ) utilizamos o período 2019-2020 - dois anos. Durante este período observamos os efeitos da seleção, testes de robustez, e outras análises.

Desenvolvemos estratégias para um período de 1 hora e 4 horas, utilizamos a estrutura de taxas Darwinex e tivemos 1 deslize de tubulação em cada mercado.

O objetivo era explorar:

quais fatores na seleção de estratégias influenciam Desempenho True-Out-of-sample ( WFOS )

Como funcionam os testes básicos de robustez

• complexidade versus desempenho Verdadeiro Fora da Amostra ( WFOS)
• o efeito do número de negócios no desempenho da estratégia
• análise de dispersão versus desempenho Verdadeiro Fora da Amostra (WFOS)

Como funciona

• Filtragem Monte Carlo
• SPP
• Testes multimercados

Ao elaborar a análise, inspirei-me em entrevistas com comerciantes do Better System e também em várias outras entrevistas com vários gerentes de fundos de hedge e, é claro, nas ferramentas de teste de robustez disponíveis no StrategyQuant X.

Eu usei a ferramenta Python, pelo menos a biblioteca Pandas, e trabalhei com a IDE Jupyter Notebook.
Para gerar um conjunto tão grande de estratégias foram necessários 3 PCs fortes com cerca de 150 núcleos no total. A geração em si levou um mês e mais um mês e meio para preparação e testes. Tivemos duas pessoas trabalhando nela. A forma inicial de análise era o teste manual de fatores em Python, mais tarde usei métodos de aprendizagem de máquinas para validar meus resultados.

Geramos as seguintes honrarias nestes mercados:

Edição: Adicionado Informações adicionais:

• Na construtora, a roda de construção permitiu todos os tipos de saída possíveis, exceto a regra de saída. Também ativamos a Saída na sexta-feira para evitar intervalos de fim de semana.
• Utilizado apenas Tipo de entrada de nossas estratégias foi Enter na parada

Complexidade

Inicialmente eu estava interessado na complexidade. Se considerarmos a estratégia como um modelo obtido pela mineração de dados, podemos usar o paradigma da aprendizagem da máquina e várias outras fontes sobre como a complexidade do modelo afeta o desempenho fora da amostra. Em nosso caso, podemos assumir que a complexidade da estratégia obtida através da mineração de dados tem um impacto sobre o desempenho da estratégia em seu verdadeiro desempenho fora da amostra (WFOS - uma parte dos dados que nunca foi utilizada no desenvolvimento ou seleção da estratégia).

Na figura acima, vemos todas as estratégias encurraladas pela complexidade e seu efeito sobre a estratégia mediana em um dado intervalo de complexidade ( Intervalo 2-3 significa todas as estratégias com complexidade 2, etc. ).

• WFOS lucro líquido médio
• Fator de lucro médio WFOS

Na moldura laranja, vemos duas colunas

• Rel. freq: freqüência relativa de estratégias em um dado intervalo (balde)
• Contagem: número de estratégias em um dado intervalo (balde)

Observe que as estratégias com alta complexidade tinham valores medianos mais baixos para lucro líquido e fator de lucro em WFOS (True Out-of-sample ). Por outro lado, as estratégias com maior complexidade tinham valores medianos piores.

Agora vamos olhar para a representação gráfica da tabela acima

Complexidade vs. WFOS Mediana do lucro líquido

Nota: A linha vermelha representa o valor médio de complexidade em todo o conjunto de dados.

No gráfico acima, vemos que as estratégias com complexidade 2 e 3 alcançaram resultados medianos de Verdadeiro Fora da Amostra. Resultados excepcionalmente pobres também foram alcançados pelas estratégias com a maior complexidade de 19. No entanto, é importante notar que estas são outliers - estratégias que são muito poucas em números.

Complexidade vs. Fator de Lucro WFOS

Se limparmos o conjunto de dados dos outliers (seleciono apenas os valores de complexidade onde o maior número de estratégias é encontrado), vemos as observações acima dos gráficos anteriores ainda mais claramente.

Eu só seleciono estratégias cuja complexidade é maior que 3 e menor que 13.

Na figura acima, vemos que quanto menor a complexidade, melhores os valores medianos do lucro líquido e do fator de lucro (complexidade 4, 5, 6 e valores medianos no quadro verde).

Vamos dar uma olhada na representação visual da tabela acima

Quanto menor a complexidade da estratégia, melhor será o resultado da WFOS Median Net e do WFOS Median Profit Factor.

Na análise, também utilizo Testes paramétricos inferenciais e não paramétricos. A hipótese nula foi formulada de que não há diferença estatisticamente significativa entre WFOS NP e PF com complexidade 4,5,6 em comparação com as estratégias com complexidade 7-13. Os resultados dos testes mostram que podemos rejeitar a hipótese nula e aceitar a hipótese alternativa. Um grande número de estratégias reduziu significativamente o desvio padrão e aumenta a significância do teste.

Número de negócios

Ao analisar o número de negócios, eu assumi que quanto maior o número de negócios (quanto maior a amostra de negócios), mais significativas são as percepções que temos sobre a qualidade final do modelo. ( Estratégias )

Qual resultado da estratégia gerada no SQX é mais confiável? A que gera 10 negócios em 10 anos ou a que faz 1000 negócios em 10 anos?

Vejamos uma análise básica de nosso conjunto de dados:

Distribuição das estratégias de acordo com o número de negócios em todo o backtest

Distribuição de estratégias por vários ofícios encartados em deciles

Podemos ver as características básicas da distribuição do Número de Trades. Observe o 1º decil e o 10º decil. Eles representam os intervalos 97-470 comércios ( 1 decil ) e 1598 a 9575 comércios. ( 10 decilo)
Vou tentar resolver este problema removendo as aberrações.

Na figura acima, vejo que mesmo após a limpeza do conjunto de dados, o número crescente de negócios e, portanto, o significado estatístico não é propício para o desempenho do WFOS Lucro Líquido Mediano um Fator de Lucro WFOS.

No gráfico acima, podemos ver que um número maior de negócios não leva a melhores resultados de WFOS Median Net Profit e WFOS Profit Factor. Em particular, por favor, tenha em mente que estou apenas fazendo uma seleção. Nós não selecionamos estratégias baseadas em outros parâmetros.
Pelo contrário, os resultados mostram que menos negócios podem significar melhores resultados no WFOS.

Complexidade + NoT

Vamos tentar combinar as conclusões da análise de complexidade anterior e selecionar estratégias com uma complexidade de 4 a 6 e vários negócios entre 480 e 2600.

A mudança é perceptível. A combinação de estratégias com menor complexidade e número de negócios nos intervalos 1326-1708 e 1708-2599 leva a resultados significativamente melhores em WFOS Median Net Profit e WFOS Profit Factor.

Conclusão da primeira parte

Pode-se ver que a complexidade em nosso conjunto de dados pode afetar as estratégias Verdadeiras Fora da Amostra 1,2. O número de negócios sem combinações não tem influência, mas, em combinação com a complexidade, é um fator forte. Lembramos que esta é a primeira parte de uma série maior.

O número de negócios sem combinações não tem influência, mas em combinação com a complexidade é um fator forte.

O que isso significa exatamente? Que você deve ter como objetivo construir estratégias que sejam o mais simples possível enquanto produz o maior número possível de ofícios.
Se você quiser afetar a complexidade de suas estratégias no SQX você deve manter baixo o número de regras de entrada e saída. Eu pessoalmente prefiro as condições máximas de entrada definidas para 1-2.

Aqui você pode especificar o número de condições de entrada que afetam diretamente a complexidade:

No próximo episódio, na próxima semana, analisaremos a robustez da estratégia para uma maior disseminação. Nos próximos episódios, revisaremos a métrica padrão recomendada, como Fator de Lucro, Razão Rer/DD, e outros. Nos próximos episódios, analisaremos a eficácia dos testes de Monte Carlo e SPP.