Evolución genética múltiple simultánea
13 respuestas
alexgularte
hace 8 años #114007
Hola,
Estoy utilizando SQ para encontrar estrategias de acciones y me gustaría ejecutar múltiples evolución genética, uno para cada acción al mismo tiempo, ¿es posible?
Por ejemplo, que mi ordenador ejecute una evolución genética para Apple, y otra para Intel, otra para Cisco, etc.
Encontrar la mejor estrategia para cada acción de forma independiente y al mismo tiempo.
Saludos
gentmat
hace 8 años #131663
Sí, después de instalar sq , copiar pegar la carpeta de instalación (duplicado) y ejecutar 2 instancias del programa . cada instancia cambiar la configuración de datos , una manzana y el segundo cisco y más instancias y más datos como su pc puede manejar .
geektrader
hace 8 años #131668
Sí, exactamente así. Personalmente ejecuto 22 instancias en un servidor con 64 GB de RAM 🙂 .
gentmat
hace 8 años #131690
lol geek ¿cuál es tu cpu? dual xeon **** número?
geektrader
hace 8 años #131692
6-core 4930k @ 4.5GHz. Ya 12 instancias se carga por completo, pero corriendo 22, no tengo que reiniciar la optimización genética todas las pocas horas como 22 instancias mantenerlo ocupado durante 17 horas:)
tnickel
hace 8 años #131695
@geektrader,
Tengo el mismo 4930K pero mi cpu solo tiene 3.8 GHZ no más.
Pregunta 1:
¿Haces overclocking en tu sistema y utilizas refrigeración por agua?
Si ejecuto más de 2 instancias del SQ en la misma máquina, el SQ se bloquea al cabo de un rato.
Pregunta 2:
¿algún SQ se bloquea en el sistema o se congela?
Pregunta 3:
¿Qué ajustes utilizas para iniciar el SQ?
https://monitortool.jimdofree.com/
geektrader
hace 8 años #131703
Hola 🙂
1) Sí, lo overclockeo a 4.5Ghz y uso refrigeración por aire con un refrigerador de CPU de 1200g. Las temperaturas son absolutamente bien por debajo de 80 ° C (TJ Max de esa CPU es 95 ° C).
2) No, ni siquiera las 22 instancias de SQ se bloquean aquí, ninguna lo ha hecho nunca. Las copias en carpetas diferentes, ¿verdad? ¿Y tienes suficiente espacio HD y RAM también? Si no, no funcionará. He creado un archivo por lotes para automatizar esto.
3) La línea de lanzamiento es "StrategyQuant64.exe -J-server -J-Xmx2600m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts" Tengo 64GB de RAM, por lo tanto 22 x 2,6GB = 57,2GB uso máximo de RAM de todas las instancias. Siempre hay que tener cuidado para que todas las instancias nunca ocupen más RAM de la que se tiene en total, por supuesto. SOLO utilizo estas 22 instancias para ejecutar la optimización genética en 14 años de datos M30 en modo de simulación tick. Para ello, 2,6 GB por instancia son suficientes. Para la generación de la estrategia en M30 14 años de datos, SQ necesita al menos 5000 MB de RAM por instancia cuando se establece para utilizar sólo 1 núcleo de la CPU en el cuadro de diálogo de configuración - de lo contrario el uso de RAM sube mucho por instancia si se establece a más núcleos. Así que en este caso sólo estoy usando 12 instancias (que maximiza la CPU también como el 4930k tiene 6 núcleos + 6 HT) y si cada instancia utiliza la totalidad de 5 GB, mi uso total de RAM es de 60 GB. Sin embargo, 12 instancias en esa CPU son la única manera de no dejar ningún recurso sin usar ya que SQ, al menos cuando genera estrategias, apenas usa más de 1,5 núcleos de media incluso cuando está configurado para usar 12 núcleos. Así que simplemente estoy lanzando esas 12 instancias, todas configuradas para utilizar sólo 1 núcleo de CPU, y puedo maximizar el ordenador completamente durante la generación de estrategias también en lugar de perder el tiempo porque SQ es tan ineficaz con multi-threading al generar estrategias. Espero seriamente que sea mucho más eficiente en SQ 4...
¿Cómo he calculado estos valores? Todo por ensayo y error... por ejemplo para generar stratiges en M15, el uso de RAM será diferente. Así que tienes que experimentar....
Buena suerte:)
Umbral
hace 8 años #131707
Nunca he tenido un fallo de SQ, ni en mi antiguo AMD custom build, ni en mi nuevo dell poweredge usando intel xeons. He estado ejecutando 4 instancias simultáneas de SQ en el poweredge durante la última semana con alrededor de 20million+ gens al azar, sin problemas.
Ahora tengo otro PowerEdge y pienso hacer lo mismo. Cada uno tiene 8 hilos, ~ 3.5GHZ, 32GB ram. Ejecutando zulu performance mod.
gentmat
hace 8 años #131708
Geektrader bonita configuración y todo lo que has explicado en cuanto a cpu y HT es perfectamente correcto .
tnickel Si la aplicación aplasta con 2 instancias , Estas son las siguientes cosas que usted debe pensar .
Illiminate cada punto por punto hasta que u solucionar el error . o dejar que un pro comprobarlo para saber .
1- Compruebe su versión de windows y restablezca su windows a valores de fábrica ( CLEAN WINDOWS ) ... Esto es lo primero que puede hacer fácilmente como eliminación
2- Después de una instalación limpia abrir "Administrador de tareas y mantenerlo abierto comprobar el uso de cpu cuando está inactivo , el uso de ram y el uso del disco " sólo inactivo
3- Empieza a cargar primera instancia y comprueba el consumo ( y pega aquí lo que veas )
Si estos 3 fallaron me gustaría sugerir fuertemente para comprobar la memoria RAM como hardware, que podría causar problemas, especialmente con la aplicación financiera y matemática pura, es por eso que las empresas utilizan para ir a las placas base xeon, ya que el apoyo ECC rams que no hacen errores con el cálculo y así sucesivamente. Pero creo que intel i7 con rams normales y placa base son bastante bien .
La placa base puede afectar a la memoria RAM también . pero u ll ir para la comprobación de la memoria RAM en primer lugar .
Creo que Geektrader tiene una buena placa base probablemente una X99 deluxe o una rampage que le está ayudando con la estabilidad.
tnickel
hace 8 años #131712
hola gentmat,
esto ocurre en más de dos ocasiones.
Si inicio sólo dos instancias todo funciona bien.
El fallo se produce en diferentes máquinas.
AMD Bulldozer(16GB), I7-4790(32GB), I7-3930(64GB), I7-3770(32GB)
Creo que esto no es un defecto de hardware
Voy a hacer un stresstest ram y mirar.
La refrigeración de la CPU es buena, lo he comprobado.
Creo que hay un error en el SQ 3.8.1. El SQ tiene una fuga de memoria y la fuga de memoria causa la congelación.
Comprobaré esta configuración
“StrategyQuant64.exe -J-server -J-Xmx2600m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts"
Hm... ¿es posible que XEON sea más estable?
thomas
https://monitortool.jimdofree.com/
gentmat
hace 8 años #131713
Entonces no es hardware .
1- Cambia orancle java por Zulu , sustituye j64 por zulu (borra dentro de la carpeta y sustituye por zulu , apenas se filtra).
2- Pon windown 2008 o 2012 .
3- Xeon no es la cosa afecta a la estabilidad lo que te dije es las placas base utilizadas para xeons aceptan ECC rams , es por eso que las empresas utilizan xeons incluso para aplicaciones financieras poco. pero después de 2014 la arquitectura de la CPU cambiado ahora u puede tener placa base normal para i7 que aceptan tales rams (freq más bajo que gamining rams de consumo, pero más estable ) Btw eso no es mi opinión que es un hecho.
4- Vaya a opciones y elija manualmente el número de hilos de cada instancia, de modo que si tiene 8 núcleos, 16 hilos y tiene 2 instancias abiertas, asigne 4 hilos a cada instancia.
geektrader
hace 8 años #131715
Que raro, al menos puedo decir que no tengo cuelgues ni fugas de memoria en 3.8.1. Acabo de terminar otra ejecución de 22 instancias en la máquina #1 y 7 instancias en la máquina #2, todo bien.
tnickel
hace 8 años #131788
Hola geektrader,
22 * 8 hilos = 176 Hilos en la máquina #1
y
7*8 hilos=56 hilos en la máquina #2
o
22*1=22 hilos en la máquina #1
y 7 hilos en la máquina #1
???
¿Con zulu u oracle java?
thomas
https://monitortool.jimdofree.com/
geektrader
hace 8 años #131803
En realidad 22 x 12 hilos en la máquina #1 y 7 x 8 en la máquina #2, sí. Usando Zulu.
Viendo 13 respuestas - de la 1 a la 13 (de un total de 13)