O gargalo da limitação de velocidade

Hi,

o disco rígido é o gargalo.

Aqui está uma captura de tela do meu i7-4930

Com o Windows 10.

 

 

 

Nos próximos dias, usarei uma SSD e compararei isso.

 

thomas

Quando você carrega dados de ticks ou quantidades maiores de dados de minutos, o SSD realmente ajuda a acelerar

O teste de dados de ticks transmite os dados constantemente do disco; para testes sem ticks, o disco não deve ser um problema.

 

Desativei meu antivírus, pois ele parece fazer com que os arquivos de registro de varredura do antivírus tornem tudo mais lento.

Olá, eu não uso tickdata nesse processo de geração.

 

Esses são os dados do Duka M1.

 

thomas

Olá, eu não uso tickdata nesse processo de geração.

 

Esses são os dados do Duka M1.

 

thomas

 

Eu me aprofundaria mais e veria qual processo está usando o disco quando ele está ocupado. Suspeito que não seja o SQ, a menos que você esteja com pouca RAM e ele esteja trocando constantemente para o arquivo de paginação.

 

Uma suspeita é que o antivírus esteja verificando o arquivo de registro SQ, pois ele é muito gravado.

 

A SSD é muito barata atualmente, portanto, coloque o sistema operacional e o SQ na SSD. 

1TP9O problema que tenho com a solução SSD é o tamanho. Portanto, ao usar dados de ticks e muitos feeds de dados, a quantidade de SSD pode ser excedida. Então, como outra opção: Que tal usar 2 discos rígidos e RAID - espelhamento? Isso aceleraria as coisas se os discos rígidos forem realmente o gargalo?

 

-Stearno

Eu faria alguns testes de E/S em seus discos atuais com algo como o I/O meter ou outra ferramenta de benchmark de disco sem o SQ ou qualquer outra coisa em execução. Isso deve lhe dar uma linha de base do que o sistema é capaz. Além disso, você descobrirá que, ao lidar com dados brutos de ticks, etc., os arquivos são pequenos e em grande quantidade, portanto, o dimensionamento de blocos subjacente atual do sistema de arquivos pode tornar as coisas mais lentas.  

 

Há várias coisas que você pode fazer para melhorar os problemas do disco, algumas baratas, outras não tão baratas.

 

Você não disse se essa unidade é separada do sistema operacional, presumo que seja uma única unidade. Para começar, eu consideraria a possibilidade de ter uma unidade separada do sistema operacional e de outros arquivos, além de formatá-la para um tamanho de bloco que atenda aos lotes de arquivos menores, de modo que se torne uma unidade somente de dados SQ e tick. Se não for usar SSD, escolha a unidade com a velocidade de fuso mais rápida que puder pagar; se houver mais de uma, use Raid 0, pois não haverá redundância se uma unidade falhar; além disso, a forma como você as conecta ao PC afetará a velocidade, ou seja, unidade direta ou externa.   

 

Outra solução não tão barata é procurar servidores e armazenamento em disco aposentados de segunda mão, projetados para alta taxa de transferência de dados, e você deve conseguir encontrar alguns no eBay ou em casas de leilão. Normalmente, esses equipamentos são alugados e, ao final do contrato de aluguel, são vendidos, mas ainda podem ser usados perfeitamente para o que queremos fazer com o SQ. Por exemplo, dell 2950 com unidades SAS etc. Se estiver operando em casa, isso adiciona alguns problemas adicionais, como ruído, energia e resfriamento.

 

Além disso, como diz @mikeyC, desative ou exclua seu antivírus nos diretórios SQ + dados.  

 

Stephen

Ótima orientação. Vou experimentá-lo.

Enviado de meu HUAWEI MT7-TL10 usando Tapatalk