Documentación

Aplicaciones

Última actualización el 16. 11. 2018 por Mark Fric

Perfil de optimización y permutación de parámetros del sistema en StrategyQuant

Este artículo tratará sobre dos importantes nuevas características que se han añadido a StrategyQuant X Build 114.

Están relacionados entre sí, y ambos intentan responder a las preguntas más importantes a la hora de crear una nueva estrategia de negociación:

  • ¿Tiene mi nueva estrategia alguna ventaja real?
  • ¿Puedo esperar que funcione con datos desconocidos / en el futuro?


Ambos métodos se basan en la realización y evaluación de la optimización de la estrategia, lo que significa que primero debe optimizar los parámetros de la estrategia y, a continuación, aplicar uno o ambos métodos para evaluar los resultados de todas las ejecuciones de optimización.


Perfil de optimización

se describe en el vídeo de Robert Pardo disponible aquí: https://www.buildingrobuststrategiesmasterclass.com/overcome-curve-fitting

Véalo para comprender a fondo esta técnica.

La idea del perfil de optimización es sencilla: tras la optimización de los parámetros de la estrategia, elaboramos y evaluamos un "perfil" de todas las ejecuciones de optimización.

Hay 5 cosas básicas que buscar en el perfil de optimización:

  1. ¿Qué porcentaje de todas las optimizaciones es positivo? - la lógica detrás de esto es que la estrategia debe funcionar bajo una amplia gama de parámetros
  2. El beneficio medio de todas las optimizaciones debe ser superior a cero - similar al punto anterior
  3. La distribución de todos los beneficios es lo más uniforme posible - lo que significa que no salta de positivo a negativo con cada optimización
  4. La optimización superior no debe ser demasiado grande (dentro de 1 desviación estándar) en comparación con el resultado medio de la optimización - para que los resultados no se vieran distorsionados por una sola ejecución con un rendimiento excepcional.
  5. La forma del paisaje de optimización en el gráfico 3D debe ser "estable" - esto sólo puede comprobarse visualmente


Cómo se implementa el Perfil de Optimización en StrategyQuant X

Lo mejor es que usted no necesita hacer nada - El perfil de optimización es creado y guardado para cada optimización que ejecute - así que si está ejecutando una optimización simple o Walk-Forward, StrategyQuant creará un perfil de optimización para su optimización que usted puede evaluar.

 

Comprobación del perfil de optimización en los resultados

Si la estrategia contiene un perfil de optimización, aparecerá una nueva pestaña "Perfil de optimización" en Resultados.
Allí puede ver paneles para todas las propiedades que deben evaluarse según las reglas del perfil de optimización.

 

El primer panel muestra los números y porcentajes de optimizaciones rentables y perdedoras, y la primera comprobación que evalúa el punto 1. de la lista anterior.

El segundo panel muestra el histograma del beneficio neto de todas las optimizaciones. Cada barra representa el beneficio neto obtenido en esta optimización, y la línea roja muestra el beneficio neto medio de todas las ejecuciones.
Debajo del cuadro hay tres comprobaciones que evalúan los puntos 2. a 4. de la lista anterior.

El tercer panel de la derecha muestra el gráfico de optimización 3D en uno de los cuatro estilos posibles. Puede elegir los parámetros que aparecen en los ejes X e Y, así como el valor que se muestra en el eje Z.

 

Utilización del perfil de optimización en la comprobación cruzada

Nueva comprobación cruzada denominada Opt. Perfil / Sist. Param. Permutación se ha añadido al sistema y puedes activarlo en la sección de comprobaciones cruzadas de los ajustes.

Su configuración es sencilla: sólo tiene que elegir el tipo de parámetros que desea optimizar y el número máximo de optimizaciones diferentes que desea ejecutar.

A continuación, en Filtrado, puede configurar las condiciones FAIL/PASS - cuáles deben ser las condiciones del perfil de optimización de la estrategia para superar esta comprobación.

Puede activar/desactivar la comprobación concreta y establecer el límite de cada comprobación.

 

Permutación de parámetros del sistema (SPP)

este método fue descrito originalmente por Dave Walton de StatisTrade, y está disponible en el documento aquí: http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2423187

Una vez más, lea el documento original para comprenderlo mejor.

La idea detrás de esto (en términos muy simplificados) es que a partir de la estrategia en su estado actual, con sus valores actuales de los parámetros no podemos determinar si la estrategia tiene alguna ventaja. Si la estrategia fue creada por la minería de datos (como lo fue en StrategyQuant X), entonces sus parámetros podrían haber sido seleccionados al azar para que sus valores más o menos se ajustan a los datos históricos y hacer que la estrategia más o menos rentable.

La idea detrás de la Permutación de Parámetros del Sistema es que debemos probar TODOS los parámetros posibles combinaciones (es decir, optimizar la estrategia con todas las combinaciones posibles), y sólo a partir de los datos de todas las ejecuciones de optimización podemos hacer algunas suposiciones sobre el rendimiento realista de la estrategia.

La información importante que computa el SPP es Mediana valores para las estadísticas de rendimiento de cada estrategia: beneficio neto, reducción, reducción %, ratio de Sharpe, etc. Así, podemos ver el beneficio neto medio, la reducción media, etc.

Estos valores medios son los que podemos considerar (según el documento) como la estimación realista del rendimiento real de la estrategia en unos datos dados.

El uso es sencillo: en lugar del beneficio neto del backtest en los datos principales, debe considerar el beneficio neto medio calculado mediante el SPP.


Comprobación de la permutación de parámetros del sistema en los resultados

Si la estrategia contiene datos SPP, aparecerá una nueva pestaña "Sys. Param. Permutación" en Resultados.

Es muy sencillo - a la izquierda hay una tabla que muestra los valores medianos de todas las estadísticas calculadas a partir del backtest aplicando el método SPP a los resultados de la optimización.

A la derecha hay gráficos que muestran la frecuencia y a la derecha hay gráficos configurables que muestran histogramas de recuento, con valores medios para los valores configurados.


Utilización de la permutación de parámetros del sistema en la comprobación cruzada

SPP se utiliza en la nueva comprobación cruzada denominada Opt. Perfil / Sist. Param. Permutación.

La configuración de esta comprobación cruzada ya se describió en el Perfil de optimización sección.

La parte de filtrado le permite comprobar los valores de la mediana de todas las columnas estándar, por ejemplo, la mediana del beneficio neto y la mediana de la reducción.

Para utilizar valores medianos en los filtros, primero debe elegir las columnas que desea ver y, a continuación, editar cada una de ellas haciendo doble clic y eligiendo "Opt. Perfil / Sys. Param. Permutaiton" como valor en De backtest campo.

Esto hará que la columna de Permutación de parámetros del sistema de verificación cruzada, que calcula el valor de la mediana de la columna original.

Visualización de los valores de la mediana en la base de datos

Los valores medianos calculados a partir de SPP también se pueden mostrar en el banco de datos, del mismo modo que en el filtro descrito anteriormente. Simplemente haga clic en Gestionar vista, añada una nueva columna, cambie su De backtest a "Opt. Perfil / Sist. Param. Permutación" y verás sus valores medios en la base de datos.

Tenga en cuenta que estos valores se calcularán y mostrarán sólo si esta comprobación cruzada estaba activa y si había un perfil de optimización calculado para la estrategia.


Nota importante sobre las pruebas máximas y las posibles combinaciones de parámetros

Ambos métodos funcionan suponiendo que se prueban TODAS las combinaciones posibles de los parámetros de la estrategia. Esto es posible si su estrategia tiene sólo 2 o 3 parámetros configurables.
De hecho, es muy recomendable que su estrategia tenga el menor número posible de parámetros configurables (grados de libertad).

En realidad, sin embargo, la estrategia de negociación suele tener más parámetros, y el número de todas sus combinaciones posibles puede ir de miles a miles de millones o incluso billones.
No es factible, ni siquiera posible, probar todas estas combinaciones.
En StrategyQuant X lo solucionamos limitando el número máximo de pruebas de optimización - este es el 
Pruebas máximas que puede establecer en los ajustes de optimización. Una vez alcanzado este límite, la optimización se detendrá.

Limitar el número de pruebas es el único planteamiento realista, pero hay que ser consciente de este límite y de sus repercusiones.

Si el número de todas las combinaciones posibles de parámetros es mucho mayor que este límite, estará evaluando sólo un pequeño subconjunto de todas las posibles variaciones de estrategia, lo que también limita de alguna manera la información que obtendrá aplicando el perfil de optimización o el método SPP.

Hay algunos métodos más avanzados para abordar esta cuestión, y vamos a añadirlos a StrategyQuant en el futuro, así que estad atentos para más información.

¿Le ha resultado útil este artículo? El artículo era útil El artículo no era útil

Suscríbase a
Notificar a
2 Comentarios
Más antiguo
Más reciente Más votados
Feedbacks de Inline
Ver todos los comentarios
SteveChou
SteveChou
27. 5. 2020 3:07 pm

Creo que si la distribución del rendimiento fuera una distribución normal.

La optimización superior es difícilmente menor que el resultado de la optimización media + 1 stddev, ¿estoy en lo cierto?

tomas262
tomas262
Responder a  SteveChou
3. 7. 2020 10:13 pm

Steve, puedes proporcionar un ejemplo a soporte.com
Podemos discutir más detalles