Backtest falso IS OOS, sobreajuste

SQ genera una "buena" estrategia con buenos IS y OOS

pero resulta que SQ se asoma al OOS y le ajusta la curva

¿por qué OOS es tan falso entonces?

¿Cómo deshabilitar que SQ espíe en OOS?

intente construir una estrategia en IS y no tenga OOS. luego pruebe fuera de la muestra después de la construcción

En mi opinión, nunca se puede evitar algún tipo de ajuste de curvas. Es todo lo que tenemos como operadores. Construimos modelos y los verificamos en el historial. Incluso si más tarde utilizas algunos datos extra para verificar esa estrategia (datos nunca utilizados en SQ) también ajustas la estrategia a esos datos. Si la estrategia no funciona en esos datos probablemente no la usarás pero sí lo harás si la estrategia se 'ajusta' a esos datos 🙂 .

esta es una mala idea

trabajo manual ineficiente

simplemente dejar de SQ para mirar en el futuro OOS y ser honesto con backtests y si OOS no es bueno, entonces dejarlo y seguir adelante

Siempre me he hecho la misma pregunta: Si selecciona un rango de datos OOS, ¿mezclará SQ activamente estrategias en los resultados IS para obtener un mejor ajuste en OOS? ¿O simplemente descartará aquellas que obtengan el mejor ajuste en IS y no alcancen los criterios mínimos seleccionados en OOS?

Sospecho que SQ funciona de la primera manera. Así que si usted elige OOS, el proceso de construcción está influenciada por este OOS porque obliga a las estrategias a la mejor OOS en lugar de construir sobre la base sólo para el período de IS. Esa es mi suposición. Por lo tanto, si estoy en lo cierto sería mejor construir sólo con IS y hacer una segunda carrera en el rango de datos que sería su OOS

si sólo haces IS

Entonces usted tendrá que hacer un trabajo manual mediante la comprobación de OOS y todas estas estrategias fallará 99.99%

¿Qué sentido tienen entonces la automatización y este software?

Bueno, siempre puedes crear un Proyecto Personalizado para automatizarlo. Eso es lo que hice yo.

Digo 'hice' porque desde algunas semanas empecé a Construir sin OOS. Todos los datos que tengo van para IS. No está mal mis conclusiones hasta ahora

utilizando sólo IS sin algunas pruebas robustnests y el uso de la genética es una primera forma de cómo empezar a perder

He probado muchos y muchos enfoques y sí, puedo tolerar opiniones que no necesitan algunas pruebas de OOS, pero sin este control sobre los datos nunca vistos de su modelo (flujo de trabajo) no tienes idea de cómo su modelo es robusto para el futuro

También he probado muchos enfoques. Después de años, he llegado a la conclusión de que OOS no aporta valor al proceso.

Tampoco hace daño, así que si quieres usarlo por si acaso, supongo que estará bien.

El mismo problema para mí ... cuando uso OOS en el constructor, algoritmo genético parece mirar a la aptitud IS + OOS para generar nuevas estrategias ...

Por ejemplo, si utilizo OOS en el constructor con criterios como ret/DD(IS) > 2 y ningún criterio para OOS y dejo que genere 100 estrategias, todas tienen buen OOS.

Pero si utilizo sólo IS con los mismos criterios y después, volver a probar mis 100 estrategias en OOS, 99% son overfit y accidente en el área de OOS.

Así que, para mí, OOS es absolutamente inútil en el constructor :/

hankeys escribió:

utilizando sólo IS sin algunas pruebas robustnests y el uso de la genética es una primera manera de cómo empezar a perder he probado muchos y muchos enfoques y sí, puedo tolerar opiniones que usted no necesita algunas pruebas OOS, pero sin este control sobre los datos nunca visto de su modelo (flujo de trabajo) no tienes ni idea de cómo su modelo es robusto para el futuro

¿por qué no te gusta la genética?

¿no cree en la evolución y la selección natural?

¿sólo al azar?

oh mierda... lo siento... he cometido un gran error...

después de la verificación, SQX constructor sólo se ve IS fitness. los resultados son exactamente los mismos si utilizo OOS durante el proceso de construcción o después. lo siento.

por otro lado hay un gran problema.

Si genera estrategias con la opción "backtest en mercado adicional" activada, el constructor borra la aptitud IS y la aptitud OOS para fijarse sólo en la aptitud IS+OOS.

Por lo tanto, si utilizamos mercados adicionales en el constructor, los OOS se convierten en falsos OOS y el constructor sobreajusta las estrategias.

Si, como yo, utiliza la generación precedente como población inicial, que romper todo el proceso y cancelar su área de OOS.

Hola Charles,

Creo que te equivocas. Después de leerte me preocupé porque utilizo varios Crosschecks en mi proceso de Buidling y de ninguna manera me gustaría que el proceso de optimización incluyera los Mercados Adicionales. Así que cogí el manual de SQ. De acuerdo con el manual, "la estrategia se desarrolla sólo en la parte de la muestra de datos". Así que la evolución genética, que es el proceso de optimización. Estaría funcionando sólo en IS - ¡al menos eso espero!

He construido y estoy probando bastantes carteras para M5 H1 y H4 en MT4.

Las estrategias de las carteras van desde estrategias muy probadas con WFM, MC, etc. hasta ninguna OOS.

Mi cartera con mejores resultados es, con diferencia, mi cartera H4, que consta de 96 estrategias para 12 pares de divisas y oro (13 pares en total).

Esto, irónicamente, es la cartera que he construido que consiste en estrategias construidas utilizando sólo la tarea constructor utilizando la evolución genética sin OOS. Ninguna de estas estrategias son robustez probada tampoco. Todo lo que hice fue construirlas usando spreads ridículamente altos y el máximo de datos disponibles.

Quería hacer este experimento porque pensé que si puedo obtener una curva de equidad realmente buena para cada estrategia, con spreads que probablemente nunca veré en el comercio real, durante un período muy largo de tiempo, en un marco de tiempo alto donde es probable que haya mucho menos ruido, que a pesar de que esta es "curva ajustada", tendrá que seguir funcionando en una gran variedad de condiciones variables de mercado para un par.

Parece que funciona muy bien 🙂 .

Sinceramente, es un enfoque muy interesante. Hasta cierto punto nos adaptamos a las curvas, ¿por qué no aceptarlo y hacerlo más difícil? Además, ¿cuánto tiempo tardaste en alcanzar ese número de estrategias? Sólo por curiosidad o para comparar.