Un método de ensayo simulado

Con ello quiero proponer un método de validación llamado 'prueba de avance simulada'. (Esto no es WF o WFM, WF/WFM es un tema diferente, esto tampoco es una prueba OOS como se utiliza durante la generación de la estrategia)

La prueba de avance simulada es básicamente una prueba de avance de su "método/flujo de trabajo de diseño de estrategia total".

En los últimos meses he intentado desarrollar un flujo de trabajo totalmente automatizado utilizando el módulo 'proyectos personalizados' de SQ-X y he obtenido resultados muy interesantes (que publicaré en otro tema). Mi pequeño avance se basó en la observación de que la mayoría de los operadores, e incluso los operadores experimentados que dan cursos en línea, sólo asumen que tienen razón acerca de su método de validación de la estrategia basada en su experiencia y sus resultados anteriores. No hay nada malo en esa suposición, pero puede ser mortal para los nuevos traders o las personas que están tratando de diseñar sus propios métodos de diseño de estrategias.

Lo que se ve en este foro y en todos los demás sitios es lo siguiente:

1. Todos los operadores tienen sus propias ideas o métodos para generar estrategias y utilizan esos métodos para generar sus nuevos sistemas.

2. En 90% de los casos, los nuevos operadores generan y ejecutan sus sistemas en cuentas demo (o pequeñas cuentas reales) para ver si sus estrategias son rentables o no.

3. El resultado es una metodología de "generar y esperar".

En mi opinión, el enfoque adecuado debería ser el siguiente:

1. Al principio se desarrolla o aprende un nuevo flujo de trabajo de diseño de estrategias (un nuevo método de diseño de sistemas que incluye la generación/prueba/validación de estrategias y la selección de estrategias).

2. Para comprobar si tu método funciona, retrocede en el tiempo y haz como si vivieras en el pasado, por ejemplo en 2014. Este es tu punto de referencia.

3. A continuación, desarrolle una cantidad suficiente (significativa) de estrategias utilizando su flujo de trabajo con datos 2014 está prohibido para evitar cualquier tipo de "sesgo de minería de datos".

4. A continuación, prueba TODOS estrategias que han pasado su flujo de trabajo y selección de estrategias en un periodo simulado a futuro (su futuro simulado) >2014 y verifique cuantas de las estrategias seleccionadas le han funcionado. Lo hace sin hacer trampas ni engañarse a sí mismo, por lo que utiliza TODAS las estrategias que han superado con éxito su flujo de trabajo. Saca tus conclusiones basándote en varios criterios de aprobado/desaprobado que son importantes para ti, por ejemplo Max DD, Beneficio Neto, Red/DD, Estancamiento etc....y anota el porcentaje de efectividad de su flujo de trabajo por ejemplo: 65% de las estrategias seleccionadas fueron rentables (o no excedieron el Max. DD esperado) en el futuro simulado.

5. Repite todo el proceso seleccionando un punto de referencia diferente en el pasado, por ejemplo: 2016. Y vuelve a empezar generando, probando y seleccionando nuevas estrategias. A continuación, prueba TODAS las estrategias seleccionadas en un periodo simulado >2016.

Puede repetir este proceso muchas veces, "avanzando" todo su flujo de trabajo utilizando datos históricos y ver si su método de generación de estrategias realmente produce estrategias sólidas en un periodo simulado hacia adelante.

Ejemplo de franjas horarias utilizadas en un flujo de trabajo típico:

- Punto de referencia (en el pasado) = 2014.12.31 (tiene prohibido utilizar datos > 2015.01.01 hasta que haya generado 30 estrategias que hayan superado su flujo de trabajo y su método de selección para operar en directo, lo que puede incluir métodos de creación de carteras).

- Su primer IS/OSS para la generación de estrategias es, por ejemplo: IS: 2008.01.01...2011.06.01 y su primera OOS es 2011.06.02...2014.12.31. 

- Su segundo OOS2 para la comprobación del ajuste de la cura es, por ejemplo: 2003.01.01...2007.12.31

- Todas las demás pruebas de validación (diferencial, omisión de operaciones, MC, mercado cruzado, etc.) se realizan con datos <=2014.12.31

- Selecciona 30 estrategias y pruébalas TODAS con datos >2015.01.01

Una vez que esté seguro de su flujo de trabajo y sus resultados, puede volver al presente y generar/validar y seleccionar nuevas estrategias y sentirse seguro de que los sistemas seleccionados tienen muchas posibilidades de ser rentables en un futuro próximo.

Sólo quería compartir esto porque este enfoque me ha llevado a mi primer pequeño avance con mi flujo de trabajo automatizado 100%.

Conclusión: deje de engañarse, deje de generar estrategias basadas en métodos no probados y deje de esperar que le funcionen bien en el futuro...

Cualquier comentario será bienvenido 🙂 .

Gr

Chris

 

 

 

 

 

 

 

 

 

 

 

Hola Chris, gracias por los comentarios, como ya te dije en persona, es un enfoque interesante (y sensato).

Pregunta: ¿Realiza la prueba de simulación a futuro en todas las estrategias que genera y opera en vivo SÓLO después de que las estrategias pasan esta prueba, o lo hizo una cantidad significativa de veces con su flujo de trabajo ya, hasta que logró ajustar su flujo de trabajo a una etapa satisfactoria (por ejemplo, 70% de las estrategias finales pasan SFT), y desde ese punto en adelante sólo utiliza su flujo de trabajo en todos los datos hasta el día de hoy, y se siente confiado en su rentabilidad?

 

Saludos,

Ilya

Sí. Parece un enfoque interesante. Por favor, corrígeme si me equivoco; entiendo que trabajas en dos pasos:

Paso 1: IS + OOS. Me llama la atención que utilices IS 3,5 años y OOS 9,5 años divididos en dos partes. ¡Vaya! Eso es mucho. He leído de gurús "de confianza" consejos de 50 IS + 50 OOS. He leído por otras personas "de confianza" no OOS en absoluto, sólo IS y fuertes pruebas de robustez. Bueno, te veo en 75% OOS. De todas formas, consigues encontrar 30 buenas estrategias con tus criterios. Ahora pasar al paso 2

Paso 2: OOS 4 años; 2015 hasta ahora.

Si he entendido bien. ¿Cuántas de estas 30 estrategias sobreviven al segundo paso? si se puede saber

Enric sólo una observación, cuando se utiliza OOS mientras que la generación, que es esencialmente un IS, por el mero hecho de correr a través de millones (o decenas de millones o cientos de millones en mi caso) de las estrategias, para encontrar los que tiene un OOS rentable, el aterrizaje de la estrategia en el banco de datos. Así que esencialmente en el ejemplo es más como 7 años de IS y 9 OOS. Aún así no es una combinación común 🙂 .

 

Ilya

Ilya escribió:

Hola Chris, gracias por los comentarios, como ya te dije en persona, es un enfoque interesante (y sensato). Pregunta: ¿Haces la prueba de simulación a futuro en todas las estrategias que generas y operas en vivo SÓLO después de que las estrategias pasan esta prueba, o lo hiciste una cantidad significativa de veces con tu flujo de trabajo ya, hasta que lograste ajustar tu flujo de trabajo a una etapa satisfactoria (por ejemplo, 70% de las estrategias finales pasan SFT), y desde ese punto en adelante sólo usas tu flujo de trabajo en todos los datos hasta hoy, y te sientes seguro de su rentabilidad? Saludos, Ilya

Utilizo SFT sólo en el "nivel de flujo de trabajo", por lo que cada vez que selecciono un nuevo punto de referencia para probar mi flujo de trabajo, por ejemplo: 2014, 2015, 2016 o hoy, genero varias estrategias nuevas desde cero utilizando exactamente el mismo flujo de trabajo/método. Si veo que la mayoría de las estrategias generadas con un determinado método/flujo de trabajo fueron rentables en el periodo simulado (independientemente del punto de referencia seleccionado), entonces sé que puedo confiar en mi método y esto me da la seguridad de que las estrategias generadas hoy tienen posibilidades de ser rentables en el futuro. Por lo tanto, el objetivo del SFT es probar su método, no sus estrategias.

Enric escribió:

Sí. Parece un enfoque interesante. Por favor, corrígeme si me equivoco; entiendo que trabajas en dos pasos: Paso 1: IS + OOS. Me llama la atención que utilices IS 3,5 años y OOS 9,5 años divididos en dos partes. ¡Vaya! Eso es mucho. He leído de gurús "de confianza" consejos de 50 IS + 50 OOS. He leído por otras personas "de confianza" no OOS en absoluto, sólo IS y fuertes pruebas de robustez. Bueno, te veo en 75% OOS. De todos modos, se llega a encontrar 30 buenas estrategias con sus criterios. Ahora pasa al paso 2 Paso 2: OOS 4 años; 2015 hasta ahora. Si te he entendido bien. ¿Cuántas de estas 30 estrategias sobreviven al segundo Paso? si se puede saber

Nota Step1: que IS/OOS 50/50 ratio es sólo durante el paso de generación de la estrategia en el constructor. Sí por la presente he seguido las enseñanzas estándar de gurús SQ. Pero también tenga en cuenta que debido a muchas muchas iteraciones utilizando los mismos bloques de construcción y la misma configuración de generación de estrategia su primer OOS se convierte en IS. Es por eso que siempre debe haber otro segundo período de OOS para validar las estrategias generadas por el constructor. En mi opinión esta es una de las pruebas más poderosas y desde mi experiencia veo que 95% de las estrategias generadas fallarán en este paso.

Nota Paso 2: Por favor, no etiquetar este período como OOS (sé que es OOS, pero sólo confunde a la gente), es una especie de futuro simulado, un futuro simulado es un nombre mucho mejor. Tomando mi flujo de trabajo automatizado como ejemplo, y asumiendo que no hay errores que afecten a mis resultados y que no cometí ningún error estúpido, entonces obtengo ahora 100% de efectividad en los dos primeros años del periodo futuro simulado. Esto significa que 100% de las estrategias que pasan mi flujo de trabajo son rentables en este futuro simulado. Después de 2 años veo un gran descenso en la efectividad de las estrategias. Esto también significa que cada 2 años necesito generar nuevas estrategias. Pero quiero dejar la discusión sobre mi flujo de trabajo automatizado para más adelante...

 

 

 

Sí. Como has dicho, una vez que el periodo OOS forma parte del proceso de construcción, se convierte en IS. Ese es el principal argumento en contra de usar OOS; mejor usar sólo IS porque al final es lo mismo. Tengo curiosidad por saber el comportamiento de las estrategias durante el periodo de 'simulación hacia adelante' como Coesio pide llamarlo. Particularmente no estoy convencido de este enfoque, después de todo me parece como hacer crecer el OOS más y más por lo que el efecto será como reemplazar el algoritmo genético por el azar, pero es un método de ajuste de curvas, ¿no?

Enric escribió:

después de todo me parece que crece el OOS cada vez más

Veo que sigue confundido sobre una cosa importante. En SFT, el período simulado a futuro, que usted llama 'OOS' adicional, está fuera de la ventana de tiempo de selección de estrategias. Es una simulación del rendimiento real de la estrategia y NO se utiliza para seleccionar/probar estrategias, sino para demostrar que su flujo de trabajo es capaz de crear sistemas de trading rentables. No tiene nada que ver con la prueba/selección de estrategias por lo que no puede ser visto como OOS adicional.

Ok, creo que lo entiendo. Para mí eso es un Out of sample data (=OOS) pero es sólo una cuestión de definición, no es gran cosa

Pero sólo si llamas a los datos de 2050 también datos OOS, entonces sí, entonces en tu definición también son OOS 😉

He hecho un pequeño resumen para que quede más claro:

Las estrategias se generan, prueban y seleccionan utilizando A y B, y los resultados se prueban utilizando el periodo C. (El período C no es "OOS", ya que no se utiliza para la generación de estrategias ni para la selección de estrategias). selección). Después del periodo C el proceso empieza de cero, se generan y seleccionan nuevas estrategias utilizando nuevas A y nuevas B y se prueban durante nuevos periodos C..etc..etc....

Hola coesio. En primer lugar gracias por tu generosidad al compartirlo. Sin duda es un enfoque valioso y definitivamente vale la pena intentarlo.

Enric escribió:

Hola coesio. En primer lugar gracias por tu generosidad al compartirlo. Sin duda es un enfoque valioso y definitivamente vale la pena intentarlo.

Lástima que nadie comparta este tipo de cosas aquí y en ningún otro sitio...

Comprar de todos modos... echa un vistazo a este tema donde realmente puse esto en práctica... vamos a ver cuáles serán los resultados:

https://strategyquant.com/forum/topic/100-automated-and-100-accurate-sq-workflow-test-case/

 

Gracias, Chris.

Esta es una idea poderosa Yo también uso este proceso para construir y probar mis estrategias también.

Acabo de llegar a través de este hilo. visto como si fuera hace 2 años me pregunto si usted podría hasta nosotros en los resultados en vivo?

Va bastante bien, sin embargo 2 años en algo-trading, equivale (desde mi perspectiva) solo a 150 operaciones 🙂 = apenas suficiente para ver este resultado como estadísticamente significativo....

Mis pruebas en este periodo me han generado beneficios en torno a >+150%... hasta ahora.

Algunos dirían que esto es muy interesante.

Sin embargo, el mundo está cambiando tan rápido, que la ganancia de 150% no parece tan impresionante en absoluto ;)... es por eso que algo-trading es mi prioridad más baja en este momento.

Estoy pensando en publicar mi trabajo, incluido mi flujo de trabajo, a un número limitado de personas.

Siempre puede ponerse en contacto conmigo si está interesado.

Probablemente sepas dónde encontrarme...

Gr

Chris