Breve análise do livro Evidence Based Technical Analysis e suas possíveis implicações para o desenvolvimento do StrategyQuant X

Na postagem de hoje do blog, tentarei resumir algumas ideias importantes do livro Evidence Based Technical Analysis (Análise Técnica Baseada em Evidências), de David Aronson. O livro foi publicado em 2006 e se tornou popular rapidamente. 

A Análise Técnica Baseada em Evidências aborda tematicamente a questão da análise estatística no contexto do desenvolvimento de estratégias e a questão da mineração de dados com a qual os usuários estão preocupados. O StrategyQuant x é, de fato, uma ferramenta sofisticada de mineração de dados que precisa ser implantada e configurada de forma a reduzir o risco de que o desempenho da estratégia seja, na verdade, um produto do acaso.

A primeira parte trata de questões filosóficas do conhecimento científico. Ela discute a análise técnica e a análise como táticas a partir da perspectiva da filosofia, da metodologia e da lógica e, de modo geral, concentra-se mais em questões teóricas e filosóficas e suas implicações para a prática.

A segunda parte aborda o uso e os argumentos para a utilização de métodos estatísticos rigorosos, especialmente estatísticas de interferência, na análise do desempenho de uma estratégia algorítmica. A terceira parte aborda o que mais pode nos preocupar como usuários do SQX - vieses de mineração de dados associados a métodos de comparação múltipla. A quarta parte aborda o uso de vários métodos na mineração de dados, incluindo o uso de algoritmos na busca de estratégias, o uso de métodos de confirmação na mineração de dados, etc.

Esta postagem do blog tem como objetivo extrair os conceitos básicos com os quais David Aronson trabalha e aplicá-los ao tópico de desenvolvimento do StrategyQuant X. Concentrei-me nas partes que mais preocupam os usuários do SQX, levando em conta os erros mais comuns que os novatos cometem ao configurar o programa.

Primeiramente, cito a breve BIO de David Aronson: 

^[1]"David Aronson, autor de "Evidence-Based Technical Analysis" (John Wiley & Son's 2006) é professor adjunto de finanças na Zicklin School of Business, onde ministra um curso de pós-graduação em análise técnica e mineração de dados desde 2002.

Em 1977, Aronson deixou a Merrill Lynch para iniciar um estudo independente do campo nascente de estratégias de futuros administrados e, em 1980, formou a AdvoCom Corporation, uma das primeiras a adotar métodos modernos de teoria de portfólio e bancos de dados de desempenho computadorizados para a criação de portfólios e fundos de futuros com vários consultores. Um portfólio representativo, iniciado em 1984, obteve um retorno anual composto de 23,7%. Em 1990, a AdvoCom assessorou a Tudor Investment Corporation em seu fundo público de múltiplos consultores.

No final dos anos 70, enquanto realizava pesquisas sobre estratégias computadorizadas para futuros administrados, Aronson percebeu o potencial da aplicação da inteligência artificial à descoberta de padrões preditivos nos dados do mercado financeiro. Essa prática, que agora está ganhando aceitação em Wall Street, é conhecida como mineração de dados. Em 1982, Aronson fundou o Raden Research Group, um dos primeiros a adotar a mineração de dados e a modelagem preditiva não linear para o desenvolvimento de métodos de negociação sistemática. A inovação de Aronson foi a aplicação da mineração de dados para aprimorar as estratégias tradicionais de negociação computadorizada. Essa abordagem foi descrita pela primeira vez no artigo de Aronson, "Pattern Recognition Signal Filters", Market Technican's Journal - primavera de 1991. O Raden Research Group Inc. realizou pesquisas de modelagem preditiva e desenvolvimento de filtros em nome de várias empresas comerciais, incluindo a Tudor Investment Corporation, o Manufacturers Hanover Bank, a Transworld Oil, a Quantlabs e vários grandes operadores individuais."

O livro começa com uma definição dos conceitos básicos da análise técnica e tenta definir todo o assunto do ponto de vista da lógica. Ele discute questões filosóficas, metodológicas, estatísticas e psicológicas na análise dos mercados financeiros e enfatiza a importância do pensamento, do julgamento e do raciocínio científicos.

Aronson trabalha com duas definições de análise técnica

• Análise técnica subjetiva (TA)
• Análise técnica objetiva (TA)

A AT subjetiva, de acordo com Aronson, não utiliza métodos e procedimentos científicos repetíveis. Ela se baseia nas interpretações pessoais dos analistas e é difícil de ser comprovada em uma perspectiva histórica por meio de backtesting. Em contrapartida, a A AT objetiva baseia-se no uso de métodos de backtesting e no uso de análise estatística objetiva dos resultados do backtesting.de acordo com Aronson.

O uso de métodos científicos na análise técnica/quantitativa é o tema básico de todo o livro.

^[2] "A TA objetiva também pode gerar crenças errôneas, mas elas surgem de forma diferente. Elas podem ser atribuídas a inferências errôneas a partir de evidências objetivas. O simples fato de um método objetivo ter sido lucrativo em um backtest não é motivo suficiente para concluir que ele tem mérito. O desempenho passado pode nos enganar. O sucesso histórico é uma condição necessária, mas não suficiente, para concluir que um método tem poder preditivo e, portanto, é provável que seja lucrativo no futuro. O desempenho favorável no passado pode ocorrer por sorte ou por causa de um viés de alta produzido por uma forma de backtesting chamada mineração de dados. Determinar quando os lucros do backtesting são atribuíveis a um bom método e não à sorte é uma questão que só pode ser respondida por meio de inferência estatística rigorosa."

Aronson critica os métodos subjetivos de TA, mas também enfatiza que erros podem ser cometidos mesmo quando se usa a TA objetiva.

Nessa parte, fiquei muito interessado na parte sobre as várias formas de erros que são comuns ou ocorrem na solução de problemas analíticos. Entre os métodos de análise estão os chamados vieses que ocorrem ao entender as coisas

• Viés de excesso de confiança
• Viés de otimismo 
• Viés de confirmação
• Viés de seleção
• Correlações ilusórias
• Viés de otimismo

Fonte: Aronson, D. R. (2021). Em Análise técnica baseada em evidências: Aplicação do método científico e da inferência estatística aos sinais de negociação (pp. 42-42). ensaio, John Wiley & Sons.

É a análise subjetiva da AT que, muitas vezes, pode se basear nos vieses descritos por Aronson, mas ele ressalta que, mesmo com a análise objetiva e estatística da AT, os vieses ocorrem inconscientemente. Portanto, ele propõe o uso da chamada TA objetiva na forma da aplicação de métodos científicos na análise.

Aronson resume as etapas da formulação de hipóteses na análise de interferência - método dedutivo

• Observação
• Hipótese
• Previsão
• Verificação
• Conclusão

Nos capítulos seguintes, Aronson explica a importância da análise estatística rigorosa na avaliação de estratégias.

^[3]"A estatística inferencial ajuda a desenvolver um bom entendimento dos dados da população por meio da análise das amostras obtidas a partir dela. Ela ajuda a fazer generalizações sobre a população usando vários testes e ferramentas analíticas. Para selecionar amostras aleatórias que representem a população com precisão, são usadas muitas técnicas de amostragem. Alguns dos métodos importantes são a amostragem aleatória simples, a amostragem estratificada, a amostragem por conglomerados e as técnicas de amostragem sistemática."

Aronson a define no contexto do uso da Análise Técnica:

^[4]"Identificar quais métodos de AT têm poder preditivo genuíno é altamente incerto. Até mesmo as regras mais potentes apresentam desempenho altamente variável de um conjunto de dados para o outro. Portanto, a análise estatística é a única maneira prática de distinguir os métodos que são úteis daqueles que não são. Independentemente de seus praticantes reconhecerem ou não, a essência da TEA é a inferência estatística. Ela tenta descobrir generalizações a partir de dados históricos na forma de padrões, regras e assim por diante e, em seguida, extrapolá-las para o futuro. A extrapolação é inerentemente incerta. A incerteza é desconfortável".

No contexto do desenvolvimento de estratégias no StrategyQuant, X pode ser visto como uma amostra da população.

• Lista de negociações e suas métricas de negociação
• Lista de estratégias no banco de dados e suas métricas de estratégia

Não quero marginalizar os tópicos de estatísticas de interferência, testes de hipóteses e estatísticas descritivas, mas seu escopo e implicações vão muito além do escopo deste artigo, portanto

Recomendo que você trabalhe com esses recursos:

• https://www.khanacademy.org/math/statistics-probability
• https://online.stat.psu.edu/statprogram/
• https://www.statisticshowto.com/

Mineração de dados 

^[5]A mineração de dados é a extração de conhecimento, na forma de padrões, regras, modelos, funções, etc., de grandes bancos de dados. 

Para nós, usuários do StrategyQuant X, provavelmente usamos alguma forma de mineração de dados em nossa busca por estratégias lucrativas

Com o StrategyQuant X, normalmente usamos a mineração de dados quando estamos procurando

• Pesquisa de estratégia ( Builder )
• Otimização da estratégia ( Otimização )

Aronson menciona as diferenças entre o desenvolvimento clássico de estratégias e a mineração de dados:

• Consideramos o método clássico como aquele em que um desenvolvedor cria um estratégia do zero sem usar métodos de mineração de dados. No contexto do StrategyQuant X, poderíamos pensar na criação manual de estratégias no Algowizard, onde podemos criar estratégias de acordo com nossa lógica.
• Ao usar a mineração de dados, testamos um grande número de regras para encontrar a estratégia com o melhor desempenho observado e a maior probabilidade de desempenho futuro.

Aronson defende o uso da mineração de dados da seguinte forma:

• ^[6]Primeiro, ele funciona. Os experimentos apresentados mais adiante neste capítulo mostrarão que, sob condições bastante gerais, quanto maior o número de regras testadas novamente, maior a probabilidade de encontrar uma boa regra.

• Em segundo lugar, as tendências tecnológicas favorecem a mineração de dados. A relação custo-benefício dos computadores pessoais, a disponibilidade de softwares poderosos de back-testing e mineração de dados e a disponibilidade de bancos de dados históricos agora tornam a mineração de dados prática para as pessoas. Até uma década atrás, os custos limitavam a mineração de dados aos investidores institucionais.

• Em terceiro lugar, em seu estágio atual de evolução, a TA carece da base teórica que permitiria uma abordagem científica mais tradicional para a aquisição de conhecimento

Viés de mineração de dados

Aronson argumenta que os vieses na mineração de dados podem ser um possível motivo principal para o fracasso das estratégias em negociações fora da amostra ou reais.

^[7]"Viés de mineração de dados: a diferença esperada entre o desempenho observado da melhor regra e seu desempenho esperado. A diferença esperada refere-se a uma diferença média de longo prazo que seria obtida por vários experimentos que medem a diferença entre o retorno observado da melhor regra e o retorno esperado da melhor regra."

Ele considera os dois principais componentes do desempenho observado (desempenho da estratégia) da seguinte forma.

• Previsibilidade da estratégia
• Aleatoriedade - Sorte

^[8]"Agora chegamos a um princípio importante. Quanto maior for a contribuição da aleatoriedade (sorte) em relação ao mérito do desempenho observado (resultados do Backtest), maior será a magnitude do viés da mineração de dados. O motivo é o seguinte: Quanto maior for o papel da sorte em relação ao mérito, maior será a chance de que uma das muitas regras candidatas (estratégias) tenha um desempenho extraordinariamente sortudo. Esse é o candidato que será selecionado pelo minerador de dados. Entretanto, em situações em que o desempenho observado se deve estritamente ou principalmente ao verdadeiro mérito de um candidato, o viés de mineração de dados será inexistente ou muito pequeno. Nesses casos, o desempenho passado de um candidato será um indicador confiável do desempenho futuro e o minerador de dados raramente encherá o funil com ouro de tolo. Como os mercados financeiros são extremamente difíceis de prever, a maior parte do desempenho observado de uma regra se deve à aleatoriedade e não ao seu poder de previsão. "

No contexto da Strategy Quant X, podemos dizer que o elemento de chance está associado à atitude mais benevolente da StrategyQuant X. ISe escolhermos muitas combinações ao procurar estratégias, o StrategyQuant X pode encontrar uma que tenha um backtest positivo, mas que não funcione na realidade da estratégia. Abaixo, no final da postagem do blog, os fatores que influenciam essa aleatoriedade são resumidos com dicas na configuração do StrategyQuant X.

Também se dá muita atenção ao Procedimento de Comparação Múltipla (MCP). A Wikipedia define os procedimentos de comparação múltipla como :

^[9]"As comparações múltiplas surgem quando uma análise estatística envolve vários testes estatísticos simultâneos, cada um dos quais tem o potencial de produzir uma "descoberta". Um nível de confiança declarado geralmente se aplica apenas a cada teste considerado individualmente, mas muitas vezes é desejável ter um nível de confiança para toda a família de testes simultâneos."

No contexto do StrategyQuant X, podemos aplicar o problema de comparações múltiplas sempre que estivermos procurando um grande número de indicadores/condições/configurações de uma determinada estratégia em um grande espectro. Usando os métodos de comparações múltiplas, podemos facilmente determinar que a solução encontrada, no nosso caso a estratégia e seu desempenho fora da amostra, é o resultado do acaso e de um grande número de combinações testadas. Quanto mais regras e mais variabilidade forem usadas na configuração SQX, maior será a probabilidade de o desempenho da estratégia no sistema operacional ser produto do acaso e, portanto, maior será a probabilidade de a estratégia falhar na negociação real.

Aronson comprova as conclusões apresentadas na seção a seguir executando experimentalmente as regras de negociação baseadas em dados para o Índice S&P 500 no período de 1328 a 2003. O procedimento exato pode ser encontrado na página 292. Um experimento semelhante pode ser facilmente repetido em StrategyQuant X para qualquer mercado.

5 Fatores que influenciam o grau de viés da mineração de dados

1. Número de regras testadas novamente:

^[10]"Refere-se ao número total de regras testadas durante o processo de mineração de dados no caminho para descobrir a regra de melhor desempenho. Quanto maior o número de regras testadas, maior o viés da mineração de dados."

Implicações Número de regras testadas novamente ao desenvolver estratégias no StrategyQuant X

O número de regras usadas na pesquisa de estratégia pode ser influenciado no StrategyQuant X nas seguintes configurações em Builder/ What to build:

• Intervalo de parâmetros (períodos)
• Período de lookback
• Configurações de Stop Losses e metas de Profit
• Definir o número máximo de regras em caso de entrada e saída

Nesse caso, quanto maiores forem os valores e intervalos especificados, maior será o risco de viés de mineração de dados. Uma boa prática é usar, no máximo, duas regras de entrada; para o período de loopback, eu manteria um valor máximo de 3. Vejo com frequência estratégias de clientes com 6 condições e períodos de lookback de 25. Há um risco real de viés de mineração de dados com essas combinações.

Se você quiser definir períodos de lookback específicos para blocos específicos onde fizer sentido (fechamento diário, etc.), poderá defini-los diretamente para uma regra específica, como pode ser visto na figura abaixo:

Você também pode controlar diretamente os tipos, a quantidade e as configurações do building block na guia Builder - com Entry Indies/Rules.

 Número de indicadores, condições e blocos de comparação:

• Número de possíveis blocos de entrada
• Número de possíveis blocos de saída
• No caso de ordens Stop/Limit, o número de indicadores de limite de parada é importante 
• Tipos de saídas e entradas e suas configurações.

Quanto mais opções colocarmos no mecanismo genético do StrategyQuant X, maior poderá ser a tendência da mineração de dados.

2. O número de observações usadas para calcular a estatística de desempenho:

^[11]Quanto maior o número de observações, menor o viés de mineração de dados.

Implicações do número de observações no desenvolvimento de estratégias no StrategyQuant X:

Em geral, quanto maior for a amostra de dados (número de negociações dentro e fora da amostra), maior será o poder estatístico dos resultados.

Isso pode ser alcançado por meio de:

• Maior número de dados fora da amostra = maior tamanho da amostra
• Mais mercados testados = maior tamanho da amostra
• Mais períodos de tempo testados = maior tamanho da amostra

Além disso, do ponto de vista das estatísticas de interferência, os indicadores de estratégia identificados têm maior valor preditivo quando a amostra é grande o suficiente. Deve-se enfatizar que os resultados dentro da amostra não precisam ser considerados se o desempenho fora da amostra da estratégia for de maior valor. Entretanto, isso também é afetado pelos vieses de mineração de dados associados ao procedimento de comparação múltipla. Na prática, isso pode significar que o desempenho real tem grande probabilidade de ser pior do que o desempenho do backtest fora da amostra.

Esse ponto é considerado por Aronson como o mais importante de todos os fatores. Ele argumenta que quanto maior for a amostra de dados obtida, menor será o impacto negativo dos outros fatores. Ao otimizar uma estratégia existente, preste atenção aos intervalos de parâmetros e ao número de etapas. Em geral, quanto mais opções, maior a chance de êxito.

Como definir o intervalo do backtest e o período fora da amostra no StrategyQuant X

Como configurar um teste multimercado

Na seção de verificação cruzada, em Backtest em mercados adicionais, é possível definir backtests em mercados adicionais.

Onde definir a função de adequação e a classificação verdadeira em StrategyQuant X

Essas configurações podem afetar as estratégias resultantes no banco de dados. 

3. Correlação entre os retornos das regras

^[12]Isso se refere ao grau em que os históricos de desempenho das regras testadas estão correlacionados entre si. Quanto menor for a correlação, maior será o viés de mineração de dados.

Quanto mais forte for a correlação entre as regras testadas, menor será a magnitude do viés. Por outro lado, quanto menor for a correlação (ou seja, quanto maior for o grau de independência estatística) entre os retornos das regras, maior será o viés da mineração de dados. Isso faz sentido porque o aumento da correlação entre as regras tem como consequência a redução do número efetivo de regras que estão sendo testadas novamente. 

Esse ponto é difícil de entender. Ele se baseia no conhecimento do primeiro ponto. O número de estratégias correlacionadas no StrategyQuantX pode ser afetado pelo tipo de blocos de construção usados na construção da estratégia, mas também pela configuração da busca genética de estratégias. Por exemplo, se você escolher apenas médias móveis como blocos de construção, é mais provável que as estratégias sejam mais correlacionadas entre si.

Se o número de blocos de construção for muito baixo, você não perceberá o potencial da mineração de dados; ao contrário, se o número de blocos de construção for muito alto, você corre o risco de ter um grande viés de mineração de dados. Esses fatores também podem ser eliminados por um grande número de negociações ou por testes em vários mercados.

Você pode gerenciar essas configurações em Opções de construtor/genética.

A velocidade de convergência da curva de aptidão e a variabilidade das estratégias dependem:

• Valor mais alto da probabilidade de cruzamento 
• Valor mais baixo da probabilidade de mutação

A evolução das ilhas também pode ter um grande impacto. Isso permite a migração de estratégias entre as ilhas. O gerenciamento evolutivo também pode desempenhar um papel importante. Especialmente se reiniciarmos a evolução genética com muitas gerações. Você pode acabar com mais estratégias correlacionadas no banco de dados.

Essas configurações podem ser contraditórias entre si e seu uso depende de cada caso. Esse problema não é fácil de entender, pois o estado do seu banco de dados depende de muitos fatores. 

4. Presença de retornos positivos fora do padrão

^[13]Isso se refere à presença de retornos muito grandes no histórico de desempenho de uma regra, por exemplo, um retorno positivo muito grande em um determinado dia. Quando esses retornos estão presentes, o viés da mineração de dados tende a ser maior, embora esse efeito seja reduzido quando o número de outliers positivos é pequeno em relação ao número total de observações usadas para calcular a estatística de desempenho. Em outras palavras, um número maior de observações dilui o efeito de viés dos outliers positivos.

Se você tem uma estratégia cujo desempenho é afetado por um pequeno número de negociações, deve prestar atenção. No StrategyQuant X, há verificações cruzadas do tipo "e se" que o ajudarão a lidar com essas situações

Essas verificações cruzadas "What If" permitem que você teste o desempenho da estratégia sem as negociações mais lucrativas ou as mais lucrativas. Se os resultados da estratégia forem excessivamente diferentes, você precisará ter cuidado.

5. Variação nos retornos esperados entre as regras

^[14]Refere-se à variação do mérito real (retorno esperado) entre as regras testadas novamente. Quanto menor a variação, maior o viés de mineração de dados. Em outras palavras, quando o conjunto de regras testadas tem graus semelhantes de poder preditivo, o viés de mineração de dados será maior.

Esse fenômeno pode ser medido pela análise da variabilidade dos resultados no banco de dados. De acordo com Aronson, quanto maior for a variabilidade das métricas de desempenho da estratégia no banco de dados, maior será o risco de viés da mineração de dados. Para analisar os resultados de todo o banco de dados, você pode usar uma análise personalizada ou exportar o banco de dados e analisá-lo externamente no Excel ou Python.

Também vale a pena mencionar as ferramentas propostas para lidar com o viés da mineração de dados

• Testes fora da amostra
• Uso de técnicas de randomização
  • Teste de permutação de Monte Carlo
  • Verificação da realidade branca
• Métrica de estratégia de penalização 

A partir daí, podemos influenciar diretamente o tamanho da amostra e também temos testes de Monte Carlo disponíveis diretamente no StrategyQuant X.

Conclusão

Do meu ponto de vista, a coisa mais fácil a fazer é se concentrar no seguinte.

1. O maior número possível de negociações fora da amostra.
2. Teste de vários mercados/períodos de tempo
3. Não usar todos os métodos possíveis ao mesmo tempo
4. Definir blocos de construção de acordo com o tipo de estratégias que desejo encontrar

Pessoalmente, li o livro três vezes em diferentes estágios de meu desenvolvimento e ele sempre me fez avançar. Ele confirmou que adotar uma postura crítica em relação a diferentes paradigmas no campo de negociação e métodos quantitativos é um bom caminho, embora às vezes difícil. Informações muito boas também podem ser encontradas em nosso blog em artigos sobre entrevistas com traders ou no site https://bettersystemtrader.com/

Notas de rodapé

[1] Site dos autores, https://www.evidencebasedta.com/

[2] Aronson, D. R. (2021). Em Análise técnica baseada em evidências: Aplicação do método científico e da inferência estatística aos sinais de negociação (pp. 6-6). ensaio, John Wiley & Sons.

[3] https://www.cuemath.com/data/inferential-statistics/

[4]Aronson, D. R. (2021). Em Análise técnica baseada em evidências: Aplicação do método científico e da inferência estatística aos sinais de negociação (pp. 165-165). ensaio, John Wiley & Sons.

[5] Aronson, D. R. (2021). Em Análise técnica baseada em evidências: Aplicação do método científico e da inferência estatística aos sinais de negociação (pp. 264-264). ensaio, John Wiley & Sons.

[6] Aronson, D. R. (2021). Em Análise técnica baseada em evidências: Aplicação do método científico e da inferência estatística aos sinais de negociação (pp. 268-268). ensaio, John Wiley & Sons.

[7] Aronson, D. R. (2021). Em Análise técnica baseada em evidências: Aplicação do método científico e da inferência estatística aos sinais de negociação (pp. 256-256). ensaio, John Wiley & Sons.

[8] Aronson, D. R. (2021). Em Análise técnica baseada em evidências: Aplicação do método científico e da inferência estatística aos sinais de negociação (pp. 280-280). ensaio, John Wiley & Sons.

[9] Fonte: https://en.wikipedia.org/wiki/Multiple_comparisons_problem

[10] Aronson, D. R. (2021). Em Análise técnica baseada em evidências: Aplicação do método científico e da inferência estatística aos sinais de negociação (pp. 289-289). ensaio, John Wiley & Sons.

[11] Aronson, D. R. (2021). Em Análise técnica baseada em evidências: Aplicação do método científico e da inferência estatística aos sinais de negociação (pp. 289-289). ensaio, John Wiley & Sons.

[12] Aronson, D. R. (2021). Em Análise técnica baseada em evidências: Aplicação do método científico e da inferência estatística aos sinais de negociação (pp. 289-289). ensaio, John Wiley & Sons.

[13] Aronson, D. R. (2021). Em Análise técnica baseada em evidências: Aplicação do método científico e da inferência estatística aos sinais de negociação (pp. 289-289). ensaio, John Wiley & Sons.

[14] Aronson, D. R. (2021). Em Análise técnica baseada em evidências: Aplicação do método científico e da inferência estatística aos sinais de negociação (pp. 289-289). ensaio, John Wiley & Sons.