In un mio vecchio post ho chiesto se fosse possibile utilizzare i core cuda della gpu (nvidia) per il calcolo parallelo.
e hanno detto che questo non è possibile ....
quindi per chi ha soldi da spendere...xeon platinum, gold (due) amd TR amd EPYC ma tanta potenza senza sapere cosa fare...è inutile...voglio dire che molti si concentrano solo sulla potenza di calcolo. .sperano di tirar fuori super strategie...conosco algotraders che lavorano con computer di medio livello e 'fanno strategie funzionanti...credo che correre dietro a tutte le ultime CPU sia poco utile
è solo la mia osservazione
Ho cambiato il computer 3 volte, sempre più veloce, le strategie non sono migliorate con la velocità del computer.
Per quanto riguarda l'utilizzo della GPU in SQ, potete leggere qui un recente post dell'amministratore
https://strategyquant.com/forum/topic/parallel-processing-for-genetic-training-and-generation/#post-247279
L'amministratore, Mark Fric, ha spiegato questi principi anche in post più vecchi, come in questo
https://strategyquant.com/forum/topic/1774-what-type-of-computer-specifications-do-you-all-have/page/2/#post-126669
Per quanto riguarda Xeon e le prestazioni, attualmente gli ultimi Ryzen 9 e Threadripper di AMD sono tra i migliori al mondo.
Timisoara, Romania
3900X 3,8 Ghz 12 core, 64 GB di RAM DDR4 3000 Mhz, Samsung 970 EVO Plus M.2 NVMe
Sembra che lo Xeon non sia in grado di soddisfare abbastanza le esigenze dei professionisti, il team di SQ ha in programma di aggiungere altre funzionalità come la GPU? Anche una roadmap di evoluzione come quella dei Bitcoin miner sarebbe migliore, CPU-GPU-FPGA-ASIC.
Mi sono consultato ripetutamente con i miei amici PHD dell'università che lavorano con le GPU e purtroppo la situazione non è cambiata: le GPU non sono adatte a noi. È possibile eseguire l'evoluzione genetica e anche "qualche tipo" di backtesting su GPU. Il problema è la natura aperta dell'SQ che vogliamo realizzare. Potremmo creare un'architettura di strategia fissa e un set fisso di indicatori da testare in GPU, ma poi non saremmo in grado di usare cose come i modelli di strategia, la programmazione di indicatori personalizzati e altri blocchi, che sono tutti punti di forza di SQ X. Questa accelerazione di cento volte di cui si parla nei documenti è possibile solo in determinate condizioni e con determinati programmi, non è ancora possibile accelerare il processo di backtesting generale in questo modo.
È un peccato. Sono d'accordo sul fatto che è molto più importante mantenere la flessibilità nell'uso di indicatori/template personalizzati piuttosto che sacrificarla per le prestazioni.
Quindi la vera soluzione per ottenere prestazioni più elevate tramite l'hardware è l'uso di più CPU collegate tramite un sistema a griglia. Almeno posso risparmiare i soldi delle costose GPU haha.
Mi sono consultato ripetutamente con i miei amici laureati che lavorano con le GPU e purtroppo la situazione non è cambiata: le GPU non sono adatte a noi.
È possibile eseguire l'evoluzione genetica e anche "qualche tipo" di backtesting su GPU. Il problema è la natura aperta dell'SQ che vogliamo realizzare.
Potremmo creare un'architettura di strategia fissa e un insieme fisso di indicatori da testare in GPU, ma poi non saremmo in grado di usare cose come i modelli di strategia, la programmazione di indicatori personalizzati e altri blocchi, che sono tutti punti di forza di SQ X.
L'accelerazione di cento volte di cui si parla nei documenti è possibile solo in determinate condizioni e con determinati programmi; non è ancora possibile accelerare in questo modo il processo generale di backtesting.
Marchio
Architetto StrategyQuant
Ho fatto molte ricerche sui forum di SQ e altrove per capire quali sono gli attuali colli di bottiglia del GPU Computing quando si tratta di backtesting. Quando Mark ne ha parlato in passato, il problema riguardava l'utilizzo delle GPU per il calcolo generale, in quanto il backtesting era più complesso delle operazioni matematiche. Un'opinione simile è stata descritta in questo abstract accademico: https://pdfs.semanticscholar.org/d087/f5cb4a92f98aaef5008ceb682954f7ffbee2.pdf
Tuttavia, sembra che due ricercatori siano riusciti a utilizzare efficacemente le GPU con algoritmi genetici sui mercati FX. Consiglio vivamente di esaminare e potenzialmente implementare questo approccio. Il link completo alla loro ricerca accademica è qui: http://people.scs.carleton.ca/~dmckenne/5704/Paper/Final_Paper.pdf
Ho anche scoperto che NVIDIA è stata in grado di utilizzare le GPU per il backtesting dei mercati finanziari e di ottenere una velocità di 6000x https://www.nvidia.com/content/dam/en-zz/Solutions/industries/finance/finance-trading-executive-briefing-hr-web.pdf
Non so come abbiano fatto, quindi continuerò a cercare, ma sembra che ci sia un modo per incorporare la logica CUDA che è in grado di fare il tipo di backtesting che in precedenza era considerato quasi impossibile da fare. Credo quindi che ci sia ancora speranza che questo venga implementato in SQX un giorno. Se è già stato fatto in passato, non lo considero "impossibile". I ricercatori che hanno incorporato le GPU nel loro algoritmo genetico hanno anche utilizzato CUDA per ottenere i loro risultati.
Qui è stato scritto molte volte come funziona sqx, perché non è possibile utilizzare la GPU, ecc.
Mark ha aggiunto le capacità della GPU all'elenco delle pietre miliari da realizzare in seguito per SQX: https://roadmap.strategyquant.com/tasks/sq4_2985
Ho letto ciò a cui ti riferivi, ma dopo che questo compito è stato presentato e c'è stata una discussione su come potrebbe essere implementato, avevo la presunzione che questo sentimento fosse cambiato.
Qui è stato scritto molte volte come funziona sqx, perché non è possibile utilizzare la GPU, ecc.
Tecnicamente questo avviene già da SQ3 e forse anche prima. (Altrimenti non saremmo in grado di utilizzare più di un core alla volta).
Pensavo che fossero solo WFO e Monte Carlo a trarne vantaggio, ma non ho idea di come siano gestiti i meccanismi interni di SQX, quindi era solo una supposizione.
Conosco alcuni software ottimizzati con le librerie nvidia cuda che sfruttano i core cuda delle schede nvidia gpu.... o tesla per il calcolo parallelo... ma penso che sia un grosso lavoro scrivere sqx ottimizzato con le librerie Cuda
Se potessi avere un solo regalo di Natale, sarebbe questo lol
come i core cuda di nvidia
Conosco alcuni software ottimizzati con le librerie nvidia cuda che sfruttano i core cuda delle schede nvidia gpu.... o tesla per il calcolo parallelo... ma penso che sia un grosso lavoro scrivere sqx ottimizzato con le librerie Cuda
Da wiki: Il calcolo parallelo è un tipo di calcolo in cui molti calcoli o l'esecuzione di processi vengono eseguiti simultaneamente. Tecnicamente questo avviene già da SQ3 e forse anche prima. (Altrimenti non saremmo in grado di usare più di un core alla volta).
Non vedo l'ora che arrivi anche il supporto per le GPU, dovrebbe essere molto più veloce ma potrebbe richiedere molto lavoro...
Da questo articolo: https://pdfs.semanticscholar.org/8fa2/9a317120add5525e61f41f73c5a96e932d60.pdf
La programmazione GPGPU è la scrittura massicciamente programmi paralleli da eseguire su personal computer.
Che tutti i vostri abiti siano sciolti.
https://www.darwinex.com/darwin/SUG.4.2/
Ciao a tutti. Da quanto ho capito, il team SQ ha apportato molti miglioramenti alla velocità di SQX, tra cui il calcolo parallelo per le simulazioni Monte Carlo e WFO.
Tuttavia, è possibile utilizzare il calcolo parallelo per l'addestramento genetico e la generazione casuale? Presumo che questo renderebbe il processo molto più veloce per le CPU a più alto numero di core.
Inoltre, ho visto che l'accelerazione GPU per i calcoli è nell'elenco delle attività da svolgere in seguito. Ma da quello che ho capito, l'unico modo in cui il calcolo via GPU può aiutare la velocità di costruzione delle strategie è se la costruzione e l'addestramento vengono eseguiti con l'elaborazione in parallelo. Voglio investire in GPU di qualità superiore da utilizzare con la mia macchina per SQX quando questa funzione sarà disponibile, ma volevo essere sicuro che avrebbe effettivamente migliorato la velocità di costruzione e formazione delle strategie.
Ho visto che l'accelerazione delle GPU migliora la velocità di formazione dei modelli di apprendimento automatico di ordini di grandezza. Lo stesso potrebbe essere applicato a SQX? Sono curioso di conoscere le opinioni di Mark o del team di sviluppo. Sarebbe davvero fantastico ottenere i miglioramenti di velocità da 10 a 100 volte che sono stati osservati con diversi modelli utilizzando configurazioni multi-GPU 🙂
Sì. prima prova a scrivere GPU a Search e poi a chiedere pls. con tutto il rispetto.
https://strategyquant.com/forum/search/GPU/
Questo aspetto è già stato discusso alcune volte su questo forum: la GPU non può essere utilizzata se si vuole consentire agli utenti di programmare i propri indicatori e altre cose e di estendere SQX con le proprie idee, questo è uno dei motivi. Ma è stato anche detto che potrebbero essere aggiunte parti che potrebbero essere accelerate dalla GPU.
Sono rimasto sorpreso nel leggere su Internet che SQ non ha ancora la possibilità di accelerare i calcoli delle strategie di elaborazione tramite GPU e openCL né il calcolo nel cloud !!!! Come è possibile?
Penso che sia un arretramento totale quello di SQ con l'avanzato che si confronta con altri software concorrenti e che non ha ancora questa capacità, piattaforme come MT5 e altre l'hanno già implementata da tempo !!!!
Spero di vedere alcune di queste tecnologie incorporate nei prossimi mesi!!!
Propongo che insieme si faccia forza affinché incorporino questa tecnologia e che si chieda e si faccia richiesta affinché la aggiungano il prima possibile.
Grazie
Inglese
Spagnolo
Portoghese
Francese
Tedesco
