¿Hasta qué punto es suficientemente robusto?
31 respuestas
_Cujo
hace 10 años #115074
¿Qué ajustes utiliza en las pruebas de robustez de Monte Carlo? Me doy cuenta de que nunca se puede ser demasiado cuidadoso, y es dinero, y la necesidad de estar seguro, así que no querer reducir las pruebas de robustez mucho, pero...
Empecé por la imagen superior. Todas las estrategias probadas no sólo fallaban, sino que eran muy, muy, muy malas. Me hizo pensar, tal vez mi configuración (imagen superior) son demasiado graves. Podría convertir estrategias moderadamente exitosas, utilizando los mismos datos IS para el Monte Carlo no sólo a la destrucción de la cuenta, pero la destrucción total.
Sumándolo todo, por ejemplo, hay una probabilidad de 60% de que ocurra algo como un cambio de parámetro de 20%, o un cambio de precio de 20%, etc... lógicamente, eso parece muy pesado.
Dónde empecé

Hice algunos experimentos, inicialmente pensando - si tomo un montón de estrategias, en el mismo SI, ejecutarlos a través de la simulación de Monte Carlo, y ajustarlo para que el beneficio neto más robusto fue ~10% cualquier lado, posiblemente sobre el derecho. Pero, que se sentía un poco sobre optimizado de riesgo mediante la búsqueda de un resultado específico con mis ajustes de robustez, que se sentía mal (y era muy difícil de todos modos).
Entonces pensé - Ya sé, voy a medio todo, que todavía está dejando un 30% posibilidad de que algo sucede, como un comercio se omite o cambio de parámetros, etc..que me dejó con esto de abajo ...
Dónde estoy ahora

Luego empecé a dudar, así que pensé en pedir consejo. ¿Qué ajustes utilizas para comprobar la robustez de la simulación Monte Carlo? ¿Quizás la imagen 2 es demasiado pesada?
Cuántas simulaciones Monte Carlo realizar
Esto me hizo pensar en cuántas simulaciones hay que hacer:
- 5000 es más o menos suficiente, 7500 es mejor y 10.000 es pasarse, de un estudio sobre simulaciones Monte Carlo.
- 500-1000 es suficiente si estás probando armas, pero los resultados se estabilizan después de ~500. Supongo que la diferencia entre 98% muertos y 95% muertos es discutible.
- Al menos 440 vecessi utiliza un software de análisis de riesgos profesional y especializado (nota: analizador de riesgos profesional, no operador profesional).
- Muchas lecturas citaban que el número de veces que había que ejecutarlo dependía de la desviación típica de los datos con los que se ejecutaba.
Para cuántas veces ejecutarlo para la evaluación del sistema de comercio, ambi broker aconseja 1000 (aquí y aquí), Vanguard do 5000 carreras, la recomendación más baja que encontré fue 500...pero el mejor consejo parecía ser escalarlo alrededor de 4000, dependiendo de cuántos parámetros en su sistema... ¿cuántos está ejecutando?
Cambié mi nivel de confianza de 95% a 98%, lo que me hizo sentir más seguro, pero aún me pregunto qué ajustes utilizar...?
0
_Cujo
hace 10 años #137131
¿Se ejecuta Monte Carlo sobre toda la serie de datos seleccionada, o sólo sobre el IS o el OOS?
Por ejemplo, si estoy probando en 2004 y 2005, con 50% IS/OOS, ¿el Monte Carlo se ejecuta sobre ambos 2004 y 2005...? ¿Lo sabe usted?
0
estadística
hace 10 años #137132
¿Se ejecuta Monte Carlo sobre toda la serie de datos seleccionada, o sólo sobre el IS o el OOS?
Por ejemplo, si estoy probando en 2004 y 2005, con 50% IS/OOS, ¿el Monte Carlo se ejecuta sobre ambos 2004 y 2005...? ¿Lo sabe usted?
El manual de SQ es tu amigo 🙂 .
Si no lee el manual, puede consultar la página de robustez en las capturas de pantalla: Los resultados de la tabla corresponden a los datos completos (en la muestra + fuera de la muestra).
Tengo otro problema se publicará en el próximo post.
0
estadística
hace 10 años #137133
Echa un vistazo a esto, Monte Carlo basado en el azar por lo que si se pulsa un tiempo pocos RUN obtendrá resultados absolutamente diferentes en la sección MC . Whis es correcto, pero desafía el propósito de la prueba.
es como la lotería para las estratagemas. uno sólo puede Ganar al azar 🙂 .
Así que mi simple pregunta ¿cuántas veces debo presionar RUN . lol ?
Puedo hacer que todas las estratagemas pasen o fracasen solo usando RUN buttom. jeje.
Ver captura de pantalla.
0
estadística
hace 10 años #137139
¿Cómo puedo confiar en algo que depende totalmente de la SUERTE?
funciona como se esperaba, no se hacen preguntas al respecto, ya que es claramente establece en las descripciones : Al azar esto y esto .
Aleatorizar los medios Suerte 🙂
Pero ponemos toda nuestra confianza en esta SUERTE para seleccionar un trabajo stratagies. cómo Ironic es 🙁
¿alguien con un título científico puede hacer algún comentario?
No debería haber pulsado "START" dos veces, soy seguidor de MC desde hace más de una década.
Ahora, estoy totalmente perdido, ya que hice una pequeña prueba con 5 estrategias, haciéndolas rentables con 100% de confianza y luego las siguientes, ¡fracasaron completamente!
Pero más vale tarde que nunca, ¿verdad?
Gracias de antemano por cualquier comentario.
0
Patrick
hace 10 años #137140
Las pruebas RT no dependen de la suerte.
1000 pruebas en estadísticamente "100% seguro", pero usualmente para filtrado crudo 100 corridas es suficiente.
así que haga más carreras y todo estará bien. seguro que cuando se ejecuta 10 carreras no es suficiente para ver todas las posibilidades-por eso es bueno y después malo
cuando usted hace 100 funcionamientos primero y después de 1000 funcionamientos, qué va a través de 100 la mayor parte de vendrá a través de mil. pero 10 prueba su realy ridículo.
0
estadística
hace 10 años #137142
Gracias Patrick , 1000 pruebas es lo mismo que correr 100 veces con 10test 🙂 .
Así que este tema demuestra que el poder en Números cualquiera que quiera ejecutar 100test necesidad de leerlo .
Hice 10 pruebas sólo para probar el punto, déjame hacer 1000 primero ya que podría suceder también 🙂 ya que incluso 1000 no cubrirá posobilites interminables pero nos da más confianza en la stratagy.
Volveré con más pruebas ya que quiero cerrar esto hoy.
0
Patrick
hace 10 años #137143
No, es diferente. 1000 pruebas no son 10×100 pruebas, en 10×100 pruebas puede que alguna prueba se repita. en 1000 pruebas cada prueba es diferente a las demás. ninguna prueba se repite a diferencia de 10×100 pruebas.
no es necesario hacer 1000, con 100 es suficiente para ver los resultados más probables de la simulación. pueden producirse ligeras desviaciones-lo importante es que la mayoría de las acciones comieron acciones alcistas. no es importante que todas las acciones tengan un aspecto excelente.
0
estadística
hace 10 años #137144
Pruebas 10x
Pruebas de solidez de la estrategia USDJPY-M15-14.40
Probando USDJPY-M15-14.40 ..... 6.219 s.
HECHO en 7,641 s.
Pruebas 100x
Pruebas de solidez de la estrategia USDJPY-M15-14.40
Probando USDJPY-M15-14.40 ..... 55.067 s.
HECHO en 58,442 s.
Pruebas 1000x
Pruebas de solidez de la estrategia USDJPY-M15-14.40
Probando USDJPY-M15-14.40 ..... 542.407 s.
HECHO en 566,611 s.
Gracias de nuevo, Patrick,
Ahora las preguntas sobre la velocidad de la prueba.
Estoy probando en un servidor y el uso de sólo 32 núcleos por ahora con 32 GB de RAM (voy a aumentar hasta 128Core/128GB). Durante la prueba de esta CPU no se utiliza (6%) ram alrededor de 6 GB (un montón de repuesto a la izquierda), el disco no se utiliza.
SQ configurado para utilizar los 32 núcleos, pero no los utiliza. Sin embargo en WFO todos los 32 núcleos son hummered 80-90% .
Por favor, explíquelo, ya que se tarda mucho tiempo en procesar esas 100 pruebas, 10 pruebas tardan 58 segundos, por lo que 100 tardarán unos 10 minutos, supongo que es mejor hacer primero la correlación y eliminar las Estrategias repetidas y luego hacer la simulación de Prueba Robusta.
Por favor, aconséjeme.
Gracias.
0
estadística
hace 10 años #137145
Tomé una estrategia que no tiene una curva Equty significativa sólo por probar.
Y ejecutar todas las pruebas 10x / 100x / 1000x ,
En este caso, la diferencia es muy pequeña, y casi no hay diferencia entre las pruebas 100x y 1000x.
ver mis pruebas a continuación:
Voy a tratar de encontrar algo mejor para ver si cambia mucho con la cantidad de pruebas, pero yo uso la configuración robusta como por mi primer post, supongo que es una exageración , pero esto es lo que Mark / Partic poner por defecto 🙂 lol
Gracias por sus comentarios.
0
estadística
hace 10 años #137146
Todas las pruebas anteriores se realizaron en Dukas Copy M15 con resolución M1
Ahora es el momento de trabajar con datos reales
Ejecutando 100x pruebas todas pasaron! pero la estrategia Original falló miserablemente.
La estrategia fue generada en M15 (solo en el marco de tiempo seleccionado) no en M1/Tick, la robustez fue desactivada durante la generación.
¿Algún comentario?
Gracias.
0
_Cujo
hace 10 años #137162
Si, mirando esto..creo que entre 100 y 1000 pruebas, poca diferencia, se parecen.
En este momento, estoy ejecutando 550 pruebas sólo porque (sobre la base de algunas de las lecturas que he destacado en OP).
Viendo tu estudio, creo que lo cambio a 100.
0
Tomas Matejka
hace 10 años #137169
Todas las pruebas anteriores se realizaron en Dukas Copy M15 con resolución M1
Ahora es el momento de trabajar con datos reales
Ejecutando 100x pruebas todas pasaron! pero la estrategia Original falló miserablemente.
Esto suena raro. Comprobaremos si hay algún problema.
¿Podrías adjuntar también la estrategia USDJPY 15 min 14.40?
0
estadística
hace 10 años #137174
Sí, mirando esto .. Creo que entre 100 y 1000 pruebas, poca diferencia, se ven similares.Ahora mismo, estoy ejecutando 550 pruebas sólo porque (basado en algunas de las lecturas que he destacado en OP).Viendo tu estudio, creo que lo cambio a 100.
Esto es correcto, mirando a este 1000 pruebas se deseleccionar la estrategia sólo porque UNO va un poco hacia el sur durante 40 operaciones, así que sólo significa que la estrategia tiene 0.1% de posibilidades de ir de esa manera. En realidad es menos, ya que puse condiciones muy duras.
0
estadística
hace 10 años #137175
Esto suena extraño. Vamos a comprobar si hay alguna posible issueCould también adjuntar USDJPY 15 min 14.40 estrategia?
Gracias Tomas,
Esto es absolutamente ODD, no puedo reproducir los mismos resultados , Nada cambió , los mismos datos la misma configuración.
Creo que he utilizado el mismo PC. pero era tarde, así que podría cometer un error . Hoy todo funciona como esperaba.
Pero desde la captura de pantalla se puede ver que todos los mismos , fechas, pares .
Ejecutar 100 pruebas con la misma estrategia.
Esto se comprueba con las 100 pruebas de resolución M1.
0
estadística
hace 10 años #137178
lo siento yo debería haber tomado mejor sistema de comercio, pero no era el punto que quería ver cómo MC afecta , y era ODD que algunos sistemas de comercio tenían RT mejor que Equity Curve , esto era muy extraño de hecho.
Así que la curva Euity no importa, pero si quieres verlo, no es muy buena stratagy,
No estoy seguro de lo que pasó yesturday, creo que lo probé en Windows 2012 server y esta vez estoy probando en Windows 2008, déjame probar en la misma plataforma y así sabremos lo que pasó.
0