SOLO PARA LECTURA

El foro es ahora un archivo de sólo lectura.

Para informes de errores y preguntas sobre la plataforma → [email protected]

Nuestra comunidad vive en Discord y YouTube: ¡únete a nosotros!

ÚNASE A NOSOTROS Discordia YouTube

pruebas múltiples

36 respuestas

krzysiaczek99

Suscriptor, participante en bbp, comunidad, 68 respuestas.

Visitar el perfil

hace 11 años #114121

Hola,

 

Es bien sabido que la metodología utilizada en la estrategia quant introducir falso descubrimiento de las estrategias.

 

http://link.brightcove.com/services/player/bcpid2207682327001?bckey=AQ~~,AAAAt6-8xFk~,r8nyyutNWdB9cOzqmiiiQxC0oXMNGP7d&bclid=2204845638001&bctid=3878525144001

http://eranraviv.com/multiple-testing/
 

http://www.financial-math.org/

 

Véase también David H. Bailey, Jonathan M. Borwein, Marcos López de Prado y Qiji Jim Zhu, "Pseudo-mathematics and financial charlatanism: The effects of backtest over fitting on out-of-sample performance," Avisos de la Sociedad Matemática Americana, mayo de 2014, págs. 458-471.

 

¿Puede introducir la medida de probabilidad de sobreajuste del backtest?

 

Krzysztof

0

krzysiaczek99

Suscriptor, participante en bbp, comunidad, 68 respuestas.

Visitar el perfil

hace 11 años #132929

He encontrado en general, SQ backtest resultados y MT4 resultados se alinean. Si no es así, sospecho que no está backtesting en MT4 correctamente. MT4 para backtest propertly necesidades de apoyo de terceros, tales como Birt Tick Data Suite.

 

Parece que ya te has decidido, SQ y EA analyzer no son los productos para ti por el momento. Tal vez algunas versiones futuras se alinearán con lo que usted está buscando.

 

Buena suerte en sus operaciones.

Se me olvidaba una cosa. Por supuesto, no tener en cuenta el sesgo debido a las pruebas múltiples contaminar todo el análisis de robustez como datos de entrada (estrategia elegida) tiene un sesgo por lo que es también un show stopper.....

 

MT4 backtester está bien, lo que no está bien son las funciones internas de MQL como iMAOnArray, iRSI y otros. Tuve el mismo problema con la falta de coincidencia entre MT4 y MATLAB pero cuando reemplacé esas funciones con funciones MQL personalizadas estaba bien.

 

Personalmente creo que SQ y EA son grandes herramientas, ya que incluso con lo que he escrito están por delante de la competencia debido a, por ejemplo, la posibilidad de personalizar extender pero seguro que necesitan más trabajo.

 

Krzysztof

0

Mark Fric

Administrador, sq-ultimate, 2 respuestas.

Visitar el perfil

hace 11 años #133207

Krysztof, ya leí estos artículos hace algún tiempo, y quiero incorporar algunas de las cosas que allí se mencionan al nuevo SQ 4.

 

Pero lo más importante, estamos desarrollando el nuevo SQ 4 como un sistema más abierto y extensible, por lo que será posible para usted como usuario añadir funciones como estas al programa con más o menos programación.

 

En cuanto a las diferencias entre SQ y MT4 - este es un tema interminable, y por lo general el problema está en los datos diferentes o ajustes de prueba diferentes. Pequeñas diferencias en los datos o en la configuración pueden tener un impacto en los resultados - sólo 1-2 operaciones perdidas pueden hacer una gran diferencia.

Cuando se ejecuta con los mismos datos y configuraciones, la prueba en SQ es virtualmente equivalente a NT4, excepto pequeños errores de redondeo - que a veces puede crear una gran diferencia en algunas estrategias.

 

Pero lo que creo que es importante darse cuenta es que si la estrategia tiene diferentes backtests en SQ y mT4 también podría significar que no es lo suficientemente bueno - porque cada prueba es sólo una aproximación.
Su comercio real será de nuevo diferente de cualquier backtest y la estrategia de dios debe ser capaz de realizar también en el entorno cambiado.

Deseche esa estrategia y busque otras nuevas.

Mark
Arquitecto de StrategyQuant

0

krzysiaczek99

Suscriptor, participante en bbp, comunidad, 68 respuestas.

Visitar el perfil

hace 11 años #133226

Krysztof, ya leí estos artículos hace algún tiempo, y quiero incorporar algunas de las cosas que allí se mencionan al nuevo SQ 4.

 

Pero lo más importante, estamos desarrollando el nuevo SQ 4 como un sistema más abierto y extensible, por lo que será posible para usted como usuario añadir funciones como estas al programa con más o menos programación.

 

En cuanto a las diferencias entre SQ y MT4 - este es un tema interminable, y por lo general el problema está en los datos diferentes o ajustes de prueba diferentes. Pequeñas diferencias en los datos o en la configuración pueden tener un impacto en los resultados - sólo 1-2 operaciones perdidas pueden hacer una gran diferencia.

Cuando se ejecuta con los mismos datos y configuraciones, la prueba en SQ es virtualmente equivalente a NT4, excepto pequeños errores de redondeo - que a veces puede crear una gran diferencia en algunas estrategias.

 

Pero lo que creo que es importante darse cuenta es que si la estrategia tiene diferentes backtests en SQ y mT4 también podría significar que no es lo suficientemente bueno - porque cada prueba es sólo una aproximación.
Su comercio real será de nuevo diferente de cualquier backtest y la estrategia de dios debe ser capaz de realizar también en el entorno cambiado.

Deseche esa estrategia y busque otras nuevas.

 

 

 

 

¿De dónde vienen esos errores de redondeo? Si utilizas los mismos datos y los mismos tipos de variables (double, float) y la misma precisión en el redondeo no habrá errores. Llevo 25 años trabajando con pruebas de software, así que me cuesta creerlo. ......¿Lo sabes exactamente o sólo lo sospechas?

 

Krzysztof

0

Mark Fric

Administrador, sq-ultimate, 2 respuestas.

Visitar el perfil

hace 11 años #133237

¿De dónde vienen esos errores de redondeo? Si utilizas los mismos datos y los mismos tipos de variables (double, float) y la misma precisión en el redondeo no habrá errores. Llevo 25 años trabajando con pruebas de software, así que me cuesta creerlo. ......¿Lo sabes exactamente o sólo lo sospechas?

 

Lo sé exactamente, hay dos diferencias:

 

1. SQ está en Java, mientras que MT4 está probablemente en C. Hay ligeras diferencias en las funciones de redondeo (o ajustes que utilizan) entre las funciones en Java y C

 

2. no consideras que MT4 podría trabajar con todas las operaciones sin redondear, y redondear sólo la suma resultante. Pero en el informe que carga QA las operaciones ya están redondeadas, por lo que hay una pequeña diferencia en la suma final.

Mark
Arquitecto de StrategyQuant

0

krzysiaczek99

Suscriptor, participante en bbp, comunidad, 68 respuestas.

Visitar el perfil

hace 11 años #133244

Lo sé exactamente, hay dos diferencias:

 

1. SQ está en Java, mientras que MT4 está probablemente en C. Hay ligeras diferencias en las funciones de redondeo (o ajustes que utilizan) entre las funciones en Java y C

 

2. no consideras que MT4 podría trabajar con todas las operaciones sin redondear, y redondear sólo la suma resultante. Pero en el informe que carga QA las operaciones ya están redondeadas, por lo que hay una pequeña diferencia en la suma final.

Billete Hora de apertura Tipo Tamaño Artículo Precio S / L T / P Hora de cierre Precio Comisión Impuestos Swap Profit
461143512015.08.24 01:28:12vender 0.01 eurusd 1.13764 1.15767 1.11767 2015.08.24 02:36:001.14471 -0.08 0.00 0.00 -7.07

.

Por curiosidad lo he comprobado. Así que aquí está el ejemplo. Precio de apertura 1.13764, precio de cierre 1.14471 tamaño del lote 0.01 por lo que el beneficio = (1.13764-1.14471)*10000*0.01 = -7.07 por lo que es exactamente lo que está escrito en el informe. Si utiliza los mismos datos y la misma técnica, obtendrá exactamente los mismos resultados.

 

Si la suma final se redondea u puede obtener sólo pequeñas diferencias, pero las diferencias entre MT4 y SQ son enormes a veces. Creo que Richard envió a Tomas hace como 2 semanas tal ejemplo pero ninguna respuesta hasta ahora. Si las diferencias son enormes significa que SQ backtester no es fiable.

 

Krzysztof

0

krzysiaczek99

Suscriptor, participante en bbp, comunidad, 68 respuestas.

Visitar el perfil

hace 11 años #133245

No puedo publicar un nuevo tema en la sección de control de calidad, aparece el error "página no encontrada". ¿Puede solucionarlo?

 

Krzysztof

0

Mark Fric

Administrador, sq-ultimate, 2 respuestas.

Visitar el perfil

hace 11 años #133247

Si la suma final se redondea u puede obtener sólo pequeñas diferencias, pero las diferencias entre MT4 y SQ son enormes a veces. Creo que Richard envió a Tomas hace como 2 semanas tal ejemplo pero ninguna respuesta hasta ahora. Si las diferencias son enormes significa que SQ backtester no es fiable.

 

 

estás mezclando dos cosas diferentes. Las grandes diferencias entre SQ y MT4 podrían deberse a diferencias en los datos o en la configuración, no al redondeo. 

El redondeo podría causar diferencias sólo en céntimos.

 

 

Si las diferencias son enormes, significa que SQ backtester no es fiable.

 

 

esto es un malentendido de cómo funciona el backtesting. El backtesting tanto en MT4 como en SQ es sólo una aproximación. No se puede decir que el backtesting en MT4 es mejor que en SQ, sólo porque produce resultados diferentes para alguna estrategia.

Lo que sí se puede decir es que esta estrategia exacta tiene probablemente algunas propiedades inherentes que la hacen difícil de backtestar, por lo que ningún backtest será fiable.

Si tomas la misma estrategia y la backtest en otro programa obtendrás de nuevo resultados diferentes - este es un problema de una estrategia, no de un backtester.

 

Es realmente una pérdida de tiempo trabajar con estrategias que tienen resultados demasiado diferentes entre MT4 y SQ - tómelas como son - estrategias que no pueden ser backtested de forma fiable y deben ser evitadas.

Mark
Arquitecto de StrategyQuant

0

krzysiaczek99

Suscriptor, participante en bbp, comunidad, 68 respuestas.

Visitar el perfil

hace 11 años #133249

Wow

 

El backtesting tanto en MT4 como en SQ es sólo una aproximación

 

No me lo puedo creer. ¡¡¡¡Tengo un sistema de AI con MATLAB y MT4 y MATLAB backtesting coincidente casi al pip por lo que no es aproximación en absoluto !!!!

 

El gran desajuste puede ocurrir si la implementación interna de los indicadores es diferente a los indicadores de MT4 y después en el código generado los mapea a los indicadores y funciones de MT4. Ejemplo de ello es iRSI que se implementa diferente de Wilder RSI. Entonces, ¿el generador de código MT4 mapea los indicadores para construir en MT4 indicadores o funciones personalizadas?

 

Krzysztof

0

Mark Fric

Administrador, sq-ultimate, 2 respuestas.

Visitar el perfil

hace 11 años #133251

EA generado por SQ utiliza indicadores estándar de MT4, y el cálculo de los indicadores en SQ debe coincidir con los de MT4, hemos reimplementado todos en Java.

Pero tienes razón en que podría haber un bug (aunque poco probable) o simplemente un error de redondeo en la implementación de algunos de los indicadores en SQ que podría causar valores de indicadores ligeramente diferentes -> señales de entrada/salida diferentes -> resultados de estrategia diferentes.

 

Pero por eso digo que el backtesting es siempre una aproximación.

 

Si usted tiene una estrategia que funciona bien en una prueba retrospectiva, y mediante el uso de datos ligeramente diferentes o la implementación de indicadores (no diferente lógica, sólo errores de redondeo) hace que toda la estrategia falle, entonces no es una estrategia fiable.

Significa que la estrategia se ajusta a la curva de la combinación específica de datos/indicadores.

 

Debe utilizar pruebas de robustez para reconocer las estrategias vulnerables a los cambios en los datos o indicadores.

Sólo después de que su estrategia funcione bien también en la prueba de robustez puede estar más seguro de que es fiable y no ajustada a la curva.

 

No quiero defender las diferencias entre MT4 y SQ, los resultados en ambos programas deberían ser los mismos o similares para la mayoría de los casos. Pero cuando no lo son por lo general significa algo más que error en SQ.

Mark
Arquitecto de StrategyQuant

0

krzysiaczek99

Suscriptor, participante en bbp, comunidad, 68 respuestas.

Visitar el perfil

hace 11 años #133276

Marc,

¡¡¡¡En el diseño de software no hay aproximaciones: sólo hay errores !!!!

La razón de estos desajustes es la diferente implementación de los indicadores básicos en MT4 y SQ. Sólo tienes que seguir mis mensajes (fajst_k) en este foro

http://www.forex-tsd.com/metatrader-4/8221-rsi-moving-average-30.html#post671448

hasta el puesto 325

Esto lo sé porque tuve un desajuste entre MATLAB y MT4 y cuando reemplacé ciertas funciones incorporadas en MT4 por otras personalizadas obtuve una coincidencia.

El análisis de robustez no garantiza la selección de estrategias que no coincidan con el backtest de MT4. Si "buena" estrategia se presentará a los nuevos datos durante el comercio, puede tomar diferentes ramas y "malas" funciones MT4 puede ser llamado. Al lado de esto en tal caso u tirar la estrategia sólo a causa de errores y esta estrategia puede ser valiosa. Sólo tiene que cambiar su generador de código MT4 y reemplazar 'malo' construir en funciones de MT4 (iRSI, IMA, IMAoNArray y quién sabe qué más) con los personalizados.

Todavía no puedo publicar un nuevo tema en la sección de control de calidad del foro, obteniendo 'página no encontrada'. ¿Podéis arreglarlo?

Krzysztof

0

Mark Fric

Administrador, sq-ultimate, 2 respuestas.

Visitar el perfil

hace 11 años #133292

mi objetivo es que los indicadores en SQ y MT4 coincidan y tengamos pruebas para todos los indicadores implementados.

Coinciden con pequeñas diferencias ocasionales en el tercer decimal causadas por errores de redondeo y una implementación ligeramente diferente de las funciones matemáticas en Java.

 

No sé de ningún error en SQ donde el indicador tendría valores muy diferentes de los valores calculados por MT4.

 

 

Todavía no puedo publicar un nuevo tema en la sección de control de calidad del foro, obteniendo 'página no encontrada'. ¿Podéis arreglarlo?

 

No puedo encontrar lo que está mal, ¿podría enviarme la URL exacta que está intentando abrir?

Mark
Arquitecto de StrategyQuant

0

krzysiaczek99

Suscriptor, participante en bbp, comunidad, 68 respuestas.

Visitar el perfil

hace 11 años #133298

después de intentar crear un nuevo tema en la sección Quant Analyzer estoy recibiendo 'página no encontrada' error. Ver captura de pantalla.

 

Krzysztof

Archivo: scr.jpgscr.jpg

0

krzysiaczek99

Suscriptor, participante en bbp, comunidad, 68 respuestas.

Visitar el perfil

hace 11 años #133299

mi objetivo es que los indicadores en SQ y MT4 coincidan y tengamos pruebas para todos los indicadores implementados.

Coinciden con pequeñas diferencias ocasionales en el tercer decimal causadas por errores de redondeo y una implementación ligeramente diferente de las funciones matemáticas en Java.

 

¿Tiene un archivo de registro de esas pruebas? ¿Puede presentarlo en el foro?

 

Krzysztof

0

Mark Fric

Administrador, sq-ultimate, 2 respuestas.

Visitar el perfil

hace 11 años #133303

¿Tiene un archivo de registro de esas pruebas? ¿Puede presentarlo en el foro?

 

¿qué quieres exactamente? ¿Quiere verificar que es como yo digo o qué?

Estas son pruebas estándar de JUnit, devuelve OK cuando todas las pruebas pasan. No tengo archivo de registro para ello. 

Mark
Arquitecto de StrategyQuant

0

krzysiaczek99

Suscriptor, participante en bbp, comunidad, 68 respuestas.

Visitar el perfil

hace 11 años #133310

¿qué quieres exactamente? ¿Quiere verificar que es como yo digo o qué?

Estas son pruebas estándar de JUnit, devuelve OK cuando todas las pruebas pasan. No tengo archivo de registro para ello. 

Usted debe alimentar la señal de prueba a sus indicadores de la misma señal, por ejemplo, MT4 construir en los indicadores. A continuación, debe comparar los resultados de salida. La única discrepancia permitida debería ser un error de redondeo muy pequeño. Esta prueba debe repetirse para diferentes combinaciones y valores de los parámetros de entrada, ya que usted no conoce la implementación de las funciones de MT4 y no puede garantizar que se comporten correctamente. Y, por supuesto, esta prueba debe hacerse en contra de los indicadores de todas las plataformas de negociación para que SQ generar código de la estrategia. ¿Ha realizado estas pruebas? En caso afirmativo, proporcione un archivo de registro al menos para MT4.

 

Krzysztof

0

Viendo 15 respuestas - de la 16 a la 30 (de un total de 36)

← 1 2 3 →