Lo que hemos aprendido analizando 1,2 millones de estrategias de divisas

Parte 1. Complejidad y número de operaciones Complejidad y número de operaciones

Hace aproximadamente un año y medio, llegué a la conclusión de que el límite de mi flujo de trabajo de desarrollo de estrategias se estaba reduciendo. . En 2014-15, hacer 40-55% por año en FX era una obviedad. En 2016-2017, se hizo cada vez más difícil obtener beneficios con el flujo de trabajo estándar. Por lo tanto, decidí examinar y analizar algunos paradigmas de algunos procedimientos en detalle estadístico.

Así que generamos alrededor de 1,2 millones de estrategias utilizando solo filtros básicos como un número mínimo de operaciones y Estabilidad SQ3 > 0,6. Utilizamos la mayor muestra de datos posible para el periodo 1987-2017 IS + OS y para el periodo 2017-2020. ( WFOS )
Como Verdadero Fuera de Muestra (WFOS ) utilizamos el periodo 2019-2020 - dos años. Durante este periodo observamos los efectos de la selección, las pruebas de robustez y otros análisis.

Desarrollamos estrategias para un marco temporal de 1 hora y otro de 4 horas, utilizamos la estructura de comisiones de Darwinex y tuvimos un deslizamiento de 1 pip en cada mercado.

El objetivo era explorar:

qué factores de la selección de estrategias influyen Rendimiento real fuera de la muestra ( WFOS )

Cómo funcionan las pruebas básicas de robustez

  • complejidad frente al rendimiento real fuera de la muestra (WFOS)
  • el efecto del número de operaciones en el rendimiento de la estrategia
  • análisis de dispersión frente al rendimiento real fuera de la muestra (WFOS)

Cómo funciona

  • Filtrado Monte Carlo
  • SPP
  • Pruebas multimercado

A la hora de diseñar el análisis, me inspiré en entrevistas con operadores de Better System y también en varias otras entrevistas con diversos gestores de hedge funds y, por supuesto, en las herramientas de prueba de robustez disponibles en StrategyQuant X.

Utilicé la herramienta Python, al menos la biblioteca Pandas, y trabajé con el IDE Jupyter Notebook.
Para generar un conjunto tan amplio de estrategias se necesitaron 3 PC Strong con unos 150 núcleos en total. La generación en sí llevó un mes y otro mes y medio para la preparación y las pruebas. Teníamos a dos personas trabajando en ello. La forma inicial de análisis fue la prueba manual de los factores en Python, más tarde utilicé métodos de aprendizaje automático para validar mis resultados.

 

 

Hemos generado los siguientes honores en estos mercados:

Edición: Añadida información adicional:

 

  • En el constructor hemos habilitado todos los tipos de salida posibles excepto la Regla de Salida. También hemos habilitado Exit On Friday para evitar huecos en fin de semana.
  • El único tipo de entrada utilizado en nuestras estrategias fue Enter at stop.

Complejidad

Al principio me interesaba la complejidad. Si consideramos la estrategia como un modelo obtenido mediante minería de datos, podemos utilizar el paradigma del aprendizaje automático y otras fuentes diversas sobre cómo afecta la complejidad del modelo al rendimiento fuera de la muestra. En nuestro caso, podemos suponer que la complejidad de la estrategia obtenida mediante minería de datos tiene un impacto en el rendimiento de la estrategia en su Verdadero Rendimiento Fuera de Muestra (WFOS - una porción de los datos que nunca se utilizó en el desarrollo o selección de la estrategia).

En la figura anterior, vemos todas las estrategias agrupadas por complejidad y su efecto sobre la estrategia mediana en un intervalo de complejidad determinado ( Intervalo 2-3 significa todas las estrategias con complejidad 2, etc. ).

  • Beneficio neto medio de WFOS
  • WFOS Factor de beneficio medio

En el marco naranja, vemos dos columnas

  • Frec. rel.: frecuencia relativa de las estrategias en un intervalo determinado ( bucket)
  • Recuento: número de estrategias en un intervalo determinado ( bucket)

Obsérvese que las estrategias con alta complejidad tenían valores medios más bajos para el beneficio neto y el factor de beneficio en WFOS (True Out-of-sample ). Por el contrario, las estrategias con mayor complejidad tenían peores valores medios.

Veamos ahora la representación gráfica de la tabla anterior

Complejidad vs. WFOS Beneficio neto medio

Nota: La línea roja representa el valor medio de complejidad del conjunto de datos.

En el gráfico anterior, vemos que las estrategias de complejidad 2 y 3 obtuvieron resultados muy pobres en la mediana de resultados reales fuera de la muestra. Las estrategias con la complejidad más alta (19) también obtuvieron resultados inusualmente malos. Sin embargo, es importante señalar que se trata de valores atípicos, es decir, estrategias muy poco numerosas.

Complejidad frente a factor de beneficio WFOS

Si limpiamos el conjunto de datos de valores atípicos (selecciono sólo los valores de complejidad en los que se encuentra el mayor número de estrategias), vemos aún más claras las observaciones de los gráficos anteriores.

Sólo selecciono estrategias cuya complejidad sea superior a 3 e inferior a 13.

En la figura anterior, vemos que cuanto menor es la complejidad, mejores son los valores medios del beneficio neto y del factor de beneficio (complejidad 4, 5, 6 y valores medios en el marco verde).

Veamos la representación visual de la tabla anterior

Cuanto menor sea la complejidad de la estrategia, mejor será el resultado de la mediana neta de la WFOS y del factor de beneficio mediano de la WFOS.

En el análisis, también utilizo pruebas inferenciales paramétricas y no paramétricas. Se formuló la hipótesis nula de que no hay diferencias estadísticamente significativas entre las WFOS NP y PF con complejidad 4,5,6 en comparación con las estrategias con complejidad 7-13. Los resultados de la prueba muestran que podemos rechazar la hipótesis nula y aceptar la hipótesis alternativa. Un gran número de estrategias redujo significativamente la desviación típica y aumenta la significación de la prueba.

Número de operaciones

Al analizar el número de operaciones, he supuesto que cuanto mayor sea el número de operaciones ( cuanto mayor sea la muestra de operaciones ), más información significativa obtendremos sobre la calidad final del modelo. ( Estrategias )

¿Qué resultado de la estrategia generada en SQX es más creíble? ¿El que genera 10 operaciones en 10 años o el que realiza 1000 operaciones en 10 años?

Veamos un análisis básico de nuestro conjunto de datos:

Distribución de las estrategias según el número de operaciones en todo el backtest

Distribución de las estrategias por varias operaciones en deciles

Podemos ver las características básicas de la distribución del Número de Operaciones. Observe el 1er decil y el 10º decil. Representan los intervalos 97-470 operaciones ( 1 decil ) y 1598 a 9575 operaciones. ( 10 decil)
Intentaré resolver este problema eliminando los valores atípicos.

En la figura anterior, veo que incluso después de limpiar el conjunto de datos, el creciente número de operaciones y, por tanto, la significación estadística no favorece el rendimiento de WFOS Median Net Profit a WFOS Profit Factor.

En el gráfico anterior, podemos ver que un mayor número de operaciones no conduce a mejores resultados de WFOS Median Net Profit y WFOS Profit Factor. En particular, tenga en cuenta que sólo estoy haciendo una selección. No seleccionamos estrategias en función de otros parámetros.
Por el contrario, los resultados muestran que menos operaciones pueden significar mejores resultados en WFOS.

Complejidad + NoT

Intentemos combinar los resultados del análisis de complejidad anterior y seleccionemos estrategias con una complejidad de 4 a 6 y varias operaciones entre 480 y 2600.

El cambio es notable. La combinación de estrategias con menor complejidad y número de operaciones en los intervalos 1326-1708 y 1708-2599 conduce a resultados significativamente mejores en Beneficio Neto Medio WFOS y Factor de Beneficio WFOS.

Conclusión de la primera parte

Se puede observar que la complejidad en nuestro conjunto de datos puede afectar a las estrategias True Out-of-sample 1,2. El número de operaciones sin combinaciones no influye, pero en combinación con la complejidad, es un factor importante. Le recordamos que ésta es la primera parte de una serie más amplia.

El número de operaciones sin combinaciones no influye, pero en combinación con la complejidad es un factor importante.

¿Qué significa exactamente? Que debes tratar de crear estrategias que sean lo más sencillas posible y que, al mismo tiempo, produzcan el mayor número posible de operaciones...
Si desea afectar a la complejidad de sus estrategias en SQX debe mantener el número de reglas de entrada y salida bajo. Yo personalmente prefiero las condiciones de entrada máximas fijadas en 1-2.

Aquí puede especificar el número de condiciones de entrada que afectan directamente a la complejidad:

En el próximo episodio de la semana que viene, analizaremos la solidez de la estrategia ante un spread más alto. En los próximos episodios, repasaremos las métricas estándar recomendadas, como el Factor de Beneficio, el Ratio Rer/ DD y otras. En los siguientes episodios, echaremos un vistazo a la eficacia de las pruebas de Monte Carlo y SPP.

Suscríbase a
Notificar a
24 Comentarios
Más antiguo
Más reciente Más votados
Feedbacks de Inline
Ver todos los comentarios
Oliver
13. 10. 2021 19:19

Hola gran análisis! im curiosidad por saber son las estrategias analizadas simétrica o sólo en una dirección?

Emmanuel2
16. 10. 2021 8:52 am

Más de 1300 operaciones en una sola estrategia, 1987-2017, ¡es mucho!
debe llevar mucho tiempo encontrar esta estrategia

¿cuál es la diferencia entre estabilidad y estabilidad sq3? ¿es mejor la estabilidad sq3?

tomas262
Admin
Responder a  Emmanuel2
18. 10. 2021 10:14 am

Sólo fórmulas ligeramente diferentes. Puede comprobar SQ CodeEditor para ver la diferencia

Emmanuel2
16. 10. 2021 9:57 am

Otra pregunta interesante sería: ¿qué indicadores son los más robustos?

Algún indicador puede confundir al sistema, lo que podría explicar por qué debemos evitar la complejidad

Última edición hace 2 años por Emmanuel2
Emmanuel2
16. 10. 2021 11:34 am

Periodo de retrospectiva global máximo de 3, ¿quizás esto aporte complejidad?

Emmanuel2
17. 10. 2021 3:51 pm

Una manera de tener menos complejidad, sería tener SQX trabajando ya sea largo o corto, pero no de ambas maneras en la misma estrategia.
La solidez puede ser mayor si se seleccionan cuidadosamente las estrategias con los indicadores más sólidos.

Emmanuel2
18. 10. 2021 11:26 pm

Clonex, seguiré su artículo con mucha atención ????
¡¡¡¡Su artículo está dando muchas idea !!!!
Gracias por su respuesta

Emmanuel2
18. 10. 2021 11:28 pm

¡¡¡¡Muchas gracias Tomas por tu respuesta !!!!
Voy a mirar en el codeeditor
Estás haciendo un trabajo impresionante.

pequeno
22. 10. 2021 17:21
¡¡¡Gran trabajo!!! Pero lo que era, era. ¿Cuándo vas a hacer más análisis y más y más...? Este no es el problema principal, porque sólo analizas los parámetros del proceso.
pequeno
Responder a  clonex / Ivan Hudec
25. 11. 2021 8:26 pm

De acuerdo con el éxito de la construcción de estrategias de trading automatizado en mi opinión para responder a 3 preguntas: 1. Qué mercado elegir? 2. 2. ¿Cómo utilizar SQ? 3. que también representan 3 pasos básicos del procedimiento. A continuación, podemos dividir cada uno de estos pasos en otros más detallados. Para cada paso del proceso, es necesario especificar un parámetro o parámetros (alguna métrica), que utilizaremos para evaluar este paso del proceso. A continuación, repetimos y ajustamos todo el proceso a lo largo del tiempo para obtener resultados satisfactorios. Por lo tanto, si analizamos sólo una parte del proceso, independientemente de... Leer más "

hannahis
27. 10. 2021 10:37 am

Unas reglas de entrada menores sin duda resultan en un mayor número de operaciones y, del mismo modo, más reglas de entrada (estrategias más complejas) tendrán un menor número de operaciones. Por lo tanto, esperar que las estrategias más complejas tengan un mayor recuento de operaciones es contraintuitivo. Así que dado un mismo período de datos, las estrategias de reglas menores tendrán más operaciones que las estrategias de reglas complejas. Por ejemplo, una estrategia scapler negociará más a menudo que una estrategia swing durante un periodo de prueba de 1 mes. Así que el recuento de operaciones no es un factor de causalidad, sino más bien un factor de correlación, menos reglas = mayor recuento de operaciones, pero eso no significa que mayor recuento de operaciones = mejor estrategia. "El... Leer más "

Última edición hace 2 años por hannahis
hannahis
Responder a  clonex / Ivan Hudec
27. 10. 2021 16:14

Gracias Ivan por tu interesante artículo que ofrece información valiosa para que los usuarios apliquen las implicaciones de tus conclusiones. Esperaré con interés tu actualización sobre el análisis de la calidad de las estrategias complejas frente a las simples basadas en el mismo recuento de operaciones.

Salud,
Hannah

Última edición hace 2 años por hannahis
hannahis
Responder a  clonex / Ivan Hudec
31. 10. 2021 17:16

Gracias Ivan por tus ideas y descubrimientos. Buen punto el que planteas, si las estrategias complejas operan menos debido a sus complejas reglas de entrada que restringen la apertura de una operación o debido a sus reglas de salida que hacen que la operación permanezca más tiempo y por lo tanto menos oportunidades de apertura. Luego tenemos que examinar la duración de la operación, si las reglas complejas tienen una mayor duración de la operación, por lo tanto, puede significar que negocian menos debido a su regla de salida y no tanto a causa de sus reglas de entrada restrictivas. A continuación, debemos examinar si las reglas complejas son meros duplicados de la misma regla de salida.... Leer más "

Última edición hace 2 años por hannahis
hannahis
Responder a  hannahis
31. 10. 2021 17:47

Por lo tanto, tenemos que examinar las características de las estrategias simples frente a las complejas para saber si el software está generando realmente estrategias complejas o sólo está generando estrategias simples con más reglas (por lo tanto, pensamos que son reglas complejas, pero en realidad puede ser sólo una cuestión de más reglas simples, redundantes e ineficaces para filtrar el ruido del mercado). Para cuantificar realmente una estrategia compleja, la estrategia compleja debe tener las características de lo que una estrategia compleja pretende hacer, es decir, reducir las pérdidas comerciales potenciales mediante la reducción de los recuentos de operaciones/operaciones no deseadas y, por lo tanto, mejorar la FP y, por lo tanto, mejorar la rentabilidad.... Leer más "

Última edición hace 2 años por hannahis
hannahis
Responder a  hannahis
31. 10. 2021 18:03

Sin embargo, si a un usuario no le importa el tipo de estrategias que obtiene, sino que busca estrategias sólidas que generen el mayor beneficio neto dentro de la misma duración del periodo de negociación, entonces me inclino más a creer que menos reglas hacen estrategias más sólidas, pero hay que tener en cuenta las métricas de bajo rendimiento, como un pf bajo y una posible relación riesgo-recompensa negativa. Porque las estrategias menos complejas tienen más probabilidades de estar sincronizadas con las condiciones del mercado que las estrategias complejas. Hay más posibilidades de que las estrategias menos complejas "encajen" o estén en sintonía con las condiciones del mercado que las estrategias complejas.... Leer más "

Última edición hace 2 años por hannahis
hannahis
Responder a  hannahis
31. 10. 2021 19:34

Acabo de empezar un experimento, simplemente cambiando las reglas de salida, he cambiado una estrategia de un scalper a una estrategia intra day. El propósito de este experimento es 1) Probar qué regla de apertura de la estrategia es adecuada para cada tipo de metodología de negociación, scalper vs intra day, 2) Probar qué estrategias son las más adecuadas para cada par de divisas, ¿qué divisas son más volátiles y por lo tanto más adecuadas para scalper o intra day? 3) ¿Qué regla de entrada tiene mayor precisión de entrada, https://www.fxblue.com/users/hbs1ne/stats (estrategias scalper) vs https://www.fxblue.com/users/hb82bene/stats Estas 2 carteras desplegaron las mismas estrategias (reglas de apertura) (plantilla) pero... Leer más "

Seguir leyendo