¿Hasta qué punto es suficientemente robusto?
31 respuestas
_Cujo
hace 10 años #115074
¿Qué ajustes utiliza en las pruebas de robustez de Monte Carlo? Me doy cuenta de que nunca se puede ser demasiado cuidadoso, y es dinero, y la necesidad de estar seguro, así que no querer reducir las pruebas de robustez mucho, pero...
Empecé por la imagen superior. Todas las estrategias probadas no sólo fallaban, sino que eran muy, muy, muy malas. Me hizo pensar, tal vez mi configuración (imagen superior) son demasiado graves. Podría convertir estrategias moderadamente exitosas, utilizando los mismos datos IS para el Monte Carlo no sólo a la destrucción de la cuenta, pero la destrucción total.
Sumándolo todo, por ejemplo, hay una probabilidad de 60% de que ocurra algo como un cambio de parámetro de 20%, o un cambio de precio de 20%, etc... lógicamente, eso parece muy pesado.
Dónde empecé

Hice algunos experimentos, inicialmente pensando - si tomo un montón de estrategias, en el mismo SI, ejecutarlos a través de la simulación de Monte Carlo, y ajustarlo para que el beneficio neto más robusto fue ~10% cualquier lado, posiblemente sobre el derecho. Pero, que se sentía un poco sobre optimizado de riesgo mediante la búsqueda de un resultado específico con mis ajustes de robustez, que se sentía mal (y era muy difícil de todos modos).
Entonces pensé - Ya sé, voy a medio todo, que todavía está dejando un 30% posibilidad de que algo sucede, como un comercio se omite o cambio de parámetros, etc..que me dejó con esto de abajo ...
Dónde estoy ahora

Luego empecé a dudar, así que pensé en pedir consejo. ¿Qué ajustes utilizas para comprobar la robustez de la simulación Monte Carlo? ¿Quizás la imagen 2 es demasiado pesada?
Cuántas simulaciones Monte Carlo realizar
Esto me hizo pensar en cuántas simulaciones hay que hacer:
- 5000 es más o menos suficiente, 7500 es mejor y 10.000 es pasarse, de un estudio sobre simulaciones Monte Carlo.
- 500-1000 es suficiente si estás probando armas, pero los resultados se estabilizan después de ~500. Supongo que la diferencia entre 98% muertos y 95% muertos es discutible.
- Al menos 440 vecessi utiliza un software de análisis de riesgos profesional y especializado (nota: analizador de riesgos profesional, no operador profesional).
- Muchas lecturas citaban que el número de veces que había que ejecutarlo dependía de la desviación típica de los datos con los que se ejecutaba.
Para cuántas veces ejecutarlo para la evaluación del sistema de comercio, ambi broker aconseja 1000 (aquí y aquí), Vanguard do 5000 carreras, la recomendación más baja que encontré fue 500...pero el mejor consejo parecía ser escalarlo alrededor de 4000, dependiendo de cuántos parámetros en su sistema... ¿cuántos está ejecutando?
Cambié mi nivel de confianza de 95% a 98%, lo que me hizo sentir más seguro, pero aún me pregunto qué ajustes utilizar...?
0
mabi
hace 10 años #136717
Sólo estamos utilizando pruebas de robustez para ver si la estrategia generada se ajusta a la curva de ruido en el mercado, si es que no necesitará ni siquiera 500 carreras, ya que se mostrará de inmediato si se ajusta a la curva con caídas en las curvas de renta variable ... De todos modos eso es lo que yo entiendo de las pruebas de robustez.
Sin embargo, a menor plazo, mayor ruido y mayor riesgo para una estrategia ajustada a la curva.
0
mabi
hace 10 años #136718
En resumen, la prueba de ajuste de la curva "Robustez" es sólo una forma rápida de eliminar las malas estrategias. La verdadera prueba es la prueba de walkforward si no pasa que eliminar o mejorar la estrategia.
0
_Cujo
hace 10 años #136722
En resumen, la prueba de ajuste de la curva "Robustez" es sólo una forma rápida de eliminar las malas estrategias. La verdadera prueba es la prueba de walkforward si no pasa que eliminar o mejorar la estrategia.
Tienen objetivos diferentes, por supuesto. Monte Carlo tiene más que ver con el riesgo, la confianza en los resultados y las pruebas de robustez mediante ruido, aleatorización, etc.
Walk forward consiste más en decir si los parámetros deben optimizarse (pero no cuál es la optimización), y luego probar en OOS (que sí prueba la robustez).
Aquí hay una serie de buenos artículos sobre los 2, aquí y aquí (no necesariamente las diferencias, pero system trader es un buen sitio web, supongo que la mayoría de la gente aquí lo conoce).
Pero, dejando a un lado las diferencias entre Walk forward vs Monte Carlos Simulation, centrándonos en la Monte Carlo Simulation...¿qué ajustes estás utilizando en Monte Carlo en comparación con las imágenes del OP? Parece que has dado muchos consejos que dar... 🙂 .
0
mabi
hace 10 años #136727
Gracias. Okey en realidad tengo Kevin Davey herramientas gratuitas y su libro. Creo que tengo que leerlo de nuevo. ( De hecho me lo dijo hace 2 semanas ) Sin embargo cuando construimos una estrategia estamos buscando la verdadera señal sin adaptar la estrategia al ruido del mercado y para eso usamos Montecarlo. Si tenemos demasiados indicadores, la estrategia se adaptará con seguridad, así que sólo busco indicadores realmente sencillos. Una forma que he encontrado para hacer esto con SQ es generar sólo en 1-4 años de datos y dejar 15 años fuera de la muestra. Entonces encuentro que los unicos que realmente tienen una curva okey son muy simples y realmente robustos.
(No conozco a Kevin Davey pero anda por otro foro y son muy activos)
https://www.youtube.com/watch?v=kBW7-p2DMVU
0
eastpeace
hace 10 años #136763
500 simulaciones permitirían a SQ detenerse. (831 estrategias en el banco de pruebas)
i7-4790, 16G ram.
0
geektrader
hace 10 años #136858
No, no lo hace, yo uso 1000 siempre, incluso en muchas estrategias a la vez en el Re-Tester. No sostiene nada aquí, apenas utiliza mucha memoria RAM tampoco, sólo toma mucho tiempo:) Pero nunca se colgó SQ, sólo tomó varios días a veces;)
0
mabi
hace 10 años #136859
1000 pruebas significa simplemente que está buscando 950 de 1000 pruebas tiene que caer dentro del rango aceptable de desviación. A veces me resulta difícil determinar qué pruebas y qué cambios aplicar para que tengan un impacto razonable en el rendimiento de las estrategias sin destruirlas totalmente en función de su complejidad. Esto trae a colación otra cuestión y es cómo configurar SQ para encontrar un cierto tipo de estrategias para que sepa que los ajustes aplicados a la prueba de Monecarlo están teniendo el efecto deseado. Simplemente eligiendo todo en el constructor y dejar que se ejecute producirá una amplia gama de diferentes tipos de estrategias y no pueden ser Montecarlo probado con la misma configuración y, a continuación, debe ser dividido antes de la prueba. ¿O estoy equivocado?
0
_Cujo
hace 10 años #136919
Estaba pensando en la robustez y volví a escuchar un Kevin Davey podcast de Éxito de System Trader, supongo que aquí todo el mundo los conoce a los dos, claro 🙂 .
Mencionó que hizo 5000 simulaciones Monte Carlo. Estoy haciendo más como 50, a veces 550, justo después de la generación como parte del proceso de eliminación. Creo que sólo me acerco a ese número en las estrategias que han pasado algunas pruebas básicas de robustez, y un paseo hacia adelante, y me estoy interesando más en. Desde luego, no cuando estoy eliminando estrategias del banco de datos por miles...
[media]https://www.youtube.com/watch?v=TpmDzRFIu0k[/media]
0
_Cujo
hace 10 años #136920
Gracias. Okey en realidad tengo Kevin Davey herramientas gratuitas y su libro. Creo que tengo que leerlo de nuevo. ( De hecho me lo dijo hace 2 semanas ) Sin embargo cuando construimos una estrategia estamos buscando la verdadera señal sin adaptar la estrategia al ruido del mercado y para eso usamos Montecarlo. Si tenemos demasiados indicadores, la estrategia se adaptará con seguridad, así que sólo busco indicadores realmente sencillos. Una forma que he encontrado para hacer esto con SQ es generar sólo en 1-4 años de datos y dejar 15 años fuera de la muestra. Entonces encuentro que los unicos que realmente tienen una curva okey son muy simples y realmente robustos.
(No conozco a Kevin Davey pero anda por otro foro y son muy activos)
https://www.youtube.com/watch?v=kBW7-p2DMVU
SÍ, Kevin es realmente un buen modelo. He leído su libro y lo he releído varias veces. Es realmente activo en los foros y ...bueno, un buen modelo, enseña mucho 🙂 Yo tampoco lo conozco, pero da la impresión de ser muy accesible. Supongo que también habrá vendido muchos, muchos de su libro.
0
estadística
hace 10 años #137119
¿Cuál es la fiabilidad de la prueba Robust?
La estrategia original falla, pero la prueba Robust muestra muy buenos resultados.
Vea la instantánea de la configuración.
http://s33.postimg.org/9gc31fw5r/Robust_test_failure_settings.png
¿Alguien puede hacer algún comentario?
Gracias.
0
mabi
hace 10 años #137120
@ Estadística,
La prueba de robustez intenta simular diferentes condiciones en el mercado cambiando sus datos. Parece que su estrategia lo haría mejor en cualquier otra condición de mercado que en la que la creó.
0
estadística
hace 10 años #137121
@ Statistic,La prueba de robustez intenta simular diferentes condiciones en el mercado cambiando sus datos. Parece que su estrategia haría mejor en cualquier otra condición de mercado a continuación, en el que se creó en.
Gracias @Mabi, para el cohete respuesta rápida. He generado un montón de estrategias y funcionan en OTRA condición mejor que en los datos originales.
Nunca lo había visto antes de cambiar a Dukas Copy data.
La estrategia es generada en M15 , Trade On Bar Open Fast pero cuando se hace Retest se usa Real Tick.
No tiene mucho sentido cómo ocurre.
Normalmente utilizaba datos comerciales de M1, y revisaba manualmente más de un millón de estrategias, pero nunca había visto tal discrepancia antes de pasarme a los datos de Dukas Copy Tick.
¿Veis que eso ocurre con los datos de Dukas Copy tick?
Gracias, señor.
0
estadística
hace 10 años #137125
500 simulaciones dejaría SQ detener. (831 estrategias en el grupo de prueba)i7-4790, 16G ram.
Hola amigo, acaba de probar 1000 pruebas en 100 estrategias , tiene una CPU 35% ver la captura de pantalla.
Así que nada que ver con usted SQ, sólo tiene que utilizar más alta especificación Severs.
Ajustes:
0
_Cujo
hace 10 años #137126
Tampoco tengo problemas para realizar 1.000 o 5.000 simulaciones Monte Carlo de estrategias.
0
estadística
hace 10 años #137127
Tampoco tengo problemas para realizar 1.000 o 5.000 simulaciones Monte Carlo de estrategias.
¡Basta con ejecutar 1000 pruebas en 100 estrategias, demasiado tiempo más de 30 minutos! Pero está bien, por el bien de la prueba.
es mejor descartar primero las estrategias que fallan en las pruebas 20/100/300 esto
no es necesario ejecutar todas las estrategias que fallan durante 5 minutos cada una.
0