Testes de robustez, eles realmente funcionam?
10 respostas
rsantinikk
1 ano atrás #288514
O procedimento a seguir pode ser realizado para mostrar se os "testes de robustez" realmente funcionam.
- Crie 1.000 estratégias com EURUSD H1, usando o período de 2018 a 2023 como dados "In Sample" e deixando 2024 como "Unseen Data".
- Depois de criar as 1.000 estratégias, com uma boa curva de patrimônio líquido, um bom fator de lucro e uma adequação aceitável, teste-as no período "Unseen".
Digamos que 30% das estratégias iniciais, ou seja, trezentas, gerem lucro se testadas somente em 2024. Isso significa que, se eu tivesse escolhido uma estratégia aleatoriamente entre as mil, teria uma probabilidade de 30% de terminar 2024 com lucro.
- Teste as 1.000 estratégias iniciais com um "Teste de Robustez", a "Matriz Walk Forward", por exemplo, no período "In Sample", 2018-2023.
Digamos que 10% dessas estratégias, cem, passem no teste.
- Agora, teste essas cem estratégias no período "não visto", 2024.
Se o "Teste de robustez" funcionou bem, ele deve selecionar as melhores estratégias, e a porcentagem de estratégias lucrativas deve ser maior do que o 30% obtido sem o uso do "Teste de robustez".
Realizei esse procedimento muitas vezes com diferentes ativos, em diferentes períodos de tempo, alterando parâmetros e usando todo tipo de "teste de robustez", mas o resultado foi sempre o mesmo: o "teste de robustez" não foi capaz de selecionar as estratégias com maior probabilidade de serem lucrativas em períodos "não vistos".
Escrevi esta postagem para poder me comparar com outros operadores, para entender se alguém tem evidências de que os "testes de robustez" podem realmente ser úteis para alguma coisa e de que forma.
0
Theo Gottwald
1 ano atrás #288528
Se você não estiver satisfeito com as ferramentas da SQX, procure as ferramentas de Thomas Nickel. Ele escreveu:
A fase inicial do SQX foi bastante problemática - sempre havia problemas. Em alguns momentos, o sistema foi bastante aprimorado, mas foi um caminho mais longo.
Eu programo em Java, mas já trabalhei com C e C++. O Assembler está a uma distância muito curta; atualmente, ele não está mais disponível.
Você conhece os meus três programas 1TP9? A ferramenta de monitoramento instala e fornece EAs gerados pelo SQX, a caixa de ferramentas gera fluxos de trabalho e o analisador de métricas inclui um KI com base no Weka.
Essas ferramentas de auxílio ajudam a analisar e instalar o SQX-Roboter. Elas estão disponíveis como freeware.
Eu também não queria saber se o software estava sendo vendido ou se os cursos estavam sendo oferecidos, para que outros pudessem ver como as estratégias lucrativas são construídas.
Há muitas pessoas que querem fazer isso, mas na maioria das vezes isso não funciona. Profitable Strategien sind schwer zu finden - fast niemand hat welche, die wirklich gut laufen.
O Problem costuma dizer que muitas estratégias são simplesmente "ajustadas à curva", ou seja, elas funcionam apenas com base em dados históricos e não se encaixam na prática.
Eu mesmo já o fiz e constatei que esses sistemas não funcionam.
O usuário deve acompanhar o fluxo de trabalho completo e simular tudo. Dafür habe ich die Toolbox entwickelt, und seitdem zeigt sie mir meistens, dass die Workflows nicht funktionieren.
Até o momento, eu tenho apenas um fluxo de trabalho, que é muito bom: o fluxo de trabalho GBPJPY H1 do SQX-Forum.
Eu não sou muito novo e não posso comentar sobre isso. Thomas nutzt das SQX jedoch schon länger als 10 Jahre.
PS: O link para download está em um arquivo PDF.
**Mit besten Grüßen | With best regards | Cordiali saluti**
**Theo Gottwald**
*Especialista líder em SPR e automação visual
???? **O que há de novo na atualização do quarto trimestre?
1️⃣ Open AI Vision: Capacite seu SPR com reconhecimento visual de ponta. Veja o que não é visto. ????????
2️⃣ Open AI TTS: transforme perfeitamente o texto em uma fala natural e realista. Ouça a diferença. ????️????
3️⃣ GPT-4 com 128k Token Context Window da OpenAI: mergulhe em uma profundidade inigualável em conversas de IA. Pense mais profundamente. ????????
4️⃣ DALLE-3 by OpenAI: comande a IA revolucionária para gerar imagens impressionantes. Imagine mais. ????️????
5️⃣ ElevenLabs Text to Speech: Experimente a conversão de texto em fala tão realista que ela fala com você. ????️
6️⃣ Stable Diffusion Local & Online via Automatic1111: libere a criatividade com a geração de imagens local e baseada na nuvem. Crie em qualquer lugar. ☁️????
7️⃣ GPT4All e LM Studio: Aproveite os poderosos recursos de IA off-line. Seu estúdio, mais inteligente. ????️????
8️⃣ DeepL Translator com integração SPR: Obtenha traduções precisas e em tempo real. Fale o idioma do mundo. ????????
9️⃣ ChatGPT by OpenAI: interaja com seu SPR por meio de conversas naturais e dinâmicas. Conecte-se de forma genuína. ????️
???? WHISPER by OpenAI: Converta voz em texto com precisão e sem esforço. Ouça, transcreva e atue. ????️????
???? Mistral AI: dimensione sua integração de IA com eficiência perfeita. Eleve sua jornada de IA. ????????
???? Claude 3 da Anthropic: Experimente o próximo nível de compreensão e interatividade de IA. Descubra a IA com um toque humano. ????????
???? **Endereço:**
Herrenstr. 11, 76706 Dettenheim, Alemanha
???? **Telefone:**
Escritório: +49 (7247) 9851112
Celular: +49 160 6688 222
Fax: +49 (7247) 9851113
???? **Email:**
[[email protected]](mailto:[email protected])
???? **Sites:**
[IT-Berater](http://www.it-berater.org) | [Smart Package](http://www.smart-package.com)
0
Theo Gottwald
1 ano atrás #288531
A fase inicial do SQX foi realmente problemática - havia bugs por toda parte. Nesse meio tempo, as coisas melhoraram consideravelmente, mas foi um longo caminho.Eu programo em Java, mas também costumava trabalhar em C e C++. Assembler foi há algum tempo; é pouco usado atualmente.Você já conhece meus três programas? A ferramenta de monitoramento instala e monitora os EAs gerados pelo SQX, a caixa de ferramentas gera fluxos de trabalho e o analisador de métricas contém uma IA baseada no Weka.Essas ferramentas auxiliares ajudam a analisar e instalar os robôs SQX. Elas estão disponíveis como freeware.Também pensei em vender o software ou oferecer treinamento para mostrar a outras pessoas como criar estratégias lucrativas.Muitas pessoas tentam fazer isso, mas, na maioria das vezes, não funciona. 1TP9Estratégias lucrativas são difíceis de encontrar - quase ninguém tem nenhuma que funcione realmente bem.O problema geralmente é que muitas estratégias são simplesmente "ajustadas à curva", ou seja, funcionam apenas com dados históricos e não funcionam na prática.Eu mesmo já passei por isso e percebi que esses sistemas não funcionam.Você precisa examinar todo o fluxo de trabalho e simular tudo. Foi por isso que desenvolvi a caixa de ferramentas e, desde então, ela geralmente me mostra que os fluxos de trabalho não funcionam.Até agora, encontrei apenas um fluxo de trabalho razoavelmente bom: o fluxo de trabalho GBPJPY H1 do fórum SQX.
**Mit besten Grüßen | With best regards | Cordiali saluti**
**Theo Gottwald**
*Especialista líder em SPR e automação visual
???? **O que há de novo na atualização do quarto trimestre?
1️⃣ Open AI Vision: Capacite seu SPR com reconhecimento visual de ponta. Veja o que não é visto. ????????
2️⃣ Open AI TTS: transforme perfeitamente o texto em uma fala natural e realista. Ouça a diferença. ????️????
3️⃣ GPT-4 com 128k Token Context Window da OpenAI: mergulhe em uma profundidade inigualável em conversas de IA. Pense mais profundamente. ????????
4️⃣ DALLE-3 by OpenAI: comande a IA revolucionária para gerar imagens impressionantes. Imagine mais. ????️????
5️⃣ ElevenLabs Text to Speech: Experimente a conversão de texto em fala tão realista que ela fala com você. ????️
6️⃣ Stable Diffusion Local & Online via Automatic1111: libere a criatividade com a geração de imagens local e baseada na nuvem. Crie em qualquer lugar. ☁️????
7️⃣ GPT4All e LM Studio: Aproveite os poderosos recursos de IA off-line. Seu estúdio, mais inteligente. ????️????
8️⃣ DeepL Translator com integração SPR: Obtenha traduções precisas e em tempo real. Fale o idioma do mundo. ????????
9️⃣ ChatGPT by OpenAI: interaja com seu SPR por meio de conversas naturais e dinâmicas. Conecte-se de forma genuína. ????️
???? WHISPER by OpenAI: Converta voz em texto com precisão e sem esforço. Ouça, transcreva e atue. ????️????
???? Mistral AI: dimensione sua integração de IA com eficiência perfeita. Eleve sua jornada de IA. ????????
???? Claude 3 da Anthropic: Experimente o próximo nível de compreensão e interatividade de IA. Descubra a IA com um toque humano. ????????
???? **Endereço:**
Herrenstr. 11, 76706 Dettenheim, Alemanha
???? **Telefone:**
Escritório: +49 (7247) 9851112
Celular: +49 160 6688 222
Fax: +49 (7247) 9851113
???? **Email:**
[[email protected]](mailto:[email protected])
???? **Sites:**
[IT-Berater](http://www.it-berater.org) | [Smart Package](http://www.smart-package.com)
0
rsantinikk
1 ano atrás #288550
Ok, obrigado pela resposta. Estudarei cuidadosamente os documentos que você enviou. Vamos manter contato!
0
Drunksingha
1 ano atrás #288553
rsantinikk
1 ano atrás #288558
Oi Drunkshingha, obrigado por sua postagem.
Não consegui encontrar o tópico que abordei em seu link, está correto?
Em minha experiência, testes de robustez como os de Montecarlo, Walk Forward Matrix etc. etc. não são capazes de selecionar estratégias com maior probabilidade de serem lucrativas no futuro.
Estou perguntando aos traders se eles têm alguma evidência de que eles funcionam.
0
Theo Gottwald
1 ano atrás #288564
**Mit besten Grüßen | With best regards | Cordiali saluti**
**Theo Gottwald**
*Especialista líder em SPR e automação visual
???? **O que há de novo na atualização do quarto trimestre?
1️⃣ Open AI Vision: Capacite seu SPR com reconhecimento visual de ponta. Veja o que não é visto. ????????
2️⃣ Open AI TTS: transforme perfeitamente o texto em uma fala natural e realista. Ouça a diferença. ????️????
3️⃣ GPT-4 com 128k Token Context Window da OpenAI: mergulhe em uma profundidade inigualável em conversas de IA. Pense mais profundamente. ????????
4️⃣ DALLE-3 by OpenAI: comande a IA revolucionária para gerar imagens impressionantes. Imagine mais. ????️????
5️⃣ ElevenLabs Text to Speech: Experimente a conversão de texto em fala tão realista que ela fala com você. ????️
6️⃣ Stable Diffusion Local & Online via Automatic1111: libere a criatividade com a geração de imagens local e baseada na nuvem. Crie em qualquer lugar. ☁️????
7️⃣ GPT4All e LM Studio: Aproveite os poderosos recursos de IA off-line. Seu estúdio, mais inteligente. ????️????
8️⃣ DeepL Translator com integração SPR: Obtenha traduções precisas e em tempo real. Fale o idioma do mundo. ????????
9️⃣ ChatGPT by OpenAI: interaja com seu SPR por meio de conversas naturais e dinâmicas. Conecte-se de forma genuína. ????️
???? WHISPER by OpenAI: Converta voz em texto com precisão e sem esforço. Ouça, transcreva e atue. ????️????
???? Mistral AI: dimensione sua integração de IA com eficiência perfeita. Eleve sua jornada de IA. ????????
???? Claude 3 da Anthropic: Experimente o próximo nível de compreensão e interatividade de IA. Descubra a IA com um toque humano. ????????
???? **Endereço:**
Herrenstr. 11, 76706 Dettenheim, Alemanha
???? **Telefone:**
Escritório: +49 (7247) 9851112
Celular: +49 160 6688 222
Fax: +49 (7247) 9851113
???? **Email:**
[[email protected]](mailto:[email protected])
???? **Sites:**
[IT-Berater](http://www.it-berater.org) | [Smart Package](http://www.smart-package.com)
0
rsantinikk
1 ano atrás #288618
O Strategyquant faz seu trabalho: encontra estratégias que foram lucrativas no passado, mas a maioria delas não funcionará com dados não vistos. Temos de selecionar as estratégias que funcionarão no futuro para serem lucrativas. Ainda não encontrei uma ferramenta que possa fazer isso. Em minha experiência, os testes de robustez clássica não funcionam.
Comecei a ler os artigos que você postou neste fórum, escritos por Thomas Nickel. Ele desenvolveu uma nova ferramenta para selecionar estratégias geradas pelo Strategyquant. A ideia é muito boa, mas preciso de tempo para testar seu método.
Também estou desenvolvendo um método sozinho. Se funcionar, eu o informarei.
Se alguém estiver interessado nesse tópico, deixe suas ideias!
0
Theo Gottwald
1 ano atrás #288619
**Mit besten Grüßen | With best regards | Cordiali saluti**
**Theo Gottwald**
*Especialista líder em SPR e automação visual
???? **O que há de novo na atualização do quarto trimestre?
1️⃣ Open AI Vision: Capacite seu SPR com reconhecimento visual de ponta. Veja o que não é visto. ????????
2️⃣ Open AI TTS: transforme perfeitamente o texto em uma fala natural e realista. Ouça a diferença. ????️????
3️⃣ GPT-4 com 128k Token Context Window da OpenAI: mergulhe em uma profundidade inigualável em conversas de IA. Pense mais profundamente. ????????
4️⃣ DALLE-3 by OpenAI: comande a IA revolucionária para gerar imagens impressionantes. Imagine mais. ????️????
5️⃣ ElevenLabs Text to Speech: Experimente a conversão de texto em fala tão realista que ela fala com você. ????️
6️⃣ Stable Diffusion Local & Online via Automatic1111: libere a criatividade com a geração de imagens local e baseada na nuvem. Crie em qualquer lugar. ☁️????
7️⃣ GPT4All e LM Studio: Aproveite os poderosos recursos de IA off-line. Seu estúdio, mais inteligente. ????️????
8️⃣ DeepL Translator com integração SPR: Obtenha traduções precisas e em tempo real. Fale o idioma do mundo. ????????
9️⃣ ChatGPT by OpenAI: interaja com seu SPR por meio de conversas naturais e dinâmicas. Conecte-se de forma genuína. ????️
???? WHISPER by OpenAI: Converta voz em texto com precisão e sem esforço. Ouça, transcreva e atue. ????️????
???? Mistral AI: dimensione sua integração de IA com eficiência perfeita. Eleve sua jornada de IA. ????????
???? Claude 3 da Anthropic: Experimente o próximo nível de compreensão e interatividade de IA. Descubra a IA com um toque humano. ????????
???? **Endereço:**
Herrenstr. 11, 76706 Dettenheim, Alemanha
???? **Telefone:**
Escritório: +49 (7247) 9851112
Celular: +49 160 6688 222
Fax: +49 (7247) 9851113
???? **Email:**
[[email protected]](mailto:[email protected])
???? **Sites:**
[IT-Berater](http://www.it-berater.org) | [Smart Package](http://www.smart-package.com)
0
Jason
1 ano atrás #289003
Acho que você deve considerar os testes de robustez como uma ferramenta que você usa em estratégias que passam por um conjunto básico de backtesting. Essa ferramenta mostra as características de seu sistema para avaliação em tempo real.
Para mim, divido meus dados em três partes e cada parte precisa fornecer um conjunto estatisticamente significativo de negociações para avaliar.
Normalmente, isso significa que você precisa de mais de 10 anos de dados históricos. Vamos supor que 2013 - 2017 seja o bloco 1, 2017 - 2021 seja o bloco 2 e 2021 - 2025 seja o bloco 3. Você treina seu sistema com 1/2 do bloco 2 e o avalia com a outra metade. Assim, você trabalha exclusivamente com dados de 2017 a 2021. Essa estratégia precisa passar por uma série de filtros básicos. O que estamos supondo é que uma estratégia que tenha um fator de lucro consistente de 1,75 provavelmente terá um PF próximo a 1,75 nesse intervalo de dados.
Sabemos que, a partir desse pequeno teste, se tivermos um conjunto suficientemente grande de estratégias aceitáveis, então, em algum lugar desse conjunto, esperamos ter um subconjunto menor de estratégias que sejam robustas o suficiente para serem negociadas. Como podemos encontrá-las? Bem, do ponto de vista dos dados do bloco 2, os blocos 1 e 3 são dados "não vistos". Portanto, vamos testar nossas estratégias recém-descobertas no bloco 1 e ver o que conseguimos.
Intuitivamente, uma estratégia robusta deve operar bem no bloco 1. Descobri que entre 10 e 50% das minhas estratégias terão um desempenho aceitável no bloco 1. Portanto, agora temos pelo menos o início de algo.
Em seguida, teste essas estratégias aprovadas em um conjunto de diferentes períodos de tempo e títulos. Tenha o cuidado de testar sua estratégia de forma rigorosa, mas não tão rigorosa que ela não tenha chance de ser aprovada. Isso requer uma boa dose de discrição e conhecimento do mercado. Por exemplo, não escolha o VIX como seu segundo título para validar uma estratégia no ES. Tenha o mesmo cuidado com os prazos. Se estiver avaliando uma estratégia de TF de 1 hora, não a valide em um período de 1m. Há MUITO mais ruído no período de 1m e as estratégias que operam nesse período precisam de características diferentes. Pessoalmente, não acho que seja possível para o varejo negociar em um período de tempo tão curto. Eu nem me daria ao trabalho de minerar estratégias abaixo de 15m TF.
Se você tiver uma estratégia que passe nesse teste, dê uma olhada nos diferentes testes Monte Carlo disponíveis. Use-os para entender como sua estratégia deve se comportar quando confrontada com diferentes realidades de mercado. Verifique como ela se comporta com uma série de derrapagens ou negociações ignoradas. Confira as diferentes curvas de patrimônio que o teste de parâmetros mostra.
SE você conseguir passar em todos eles, ENTÃO poderá avaliar sua estratégia no último bloco de dados. SE sua estratégia tiver um bom desempenho na parte restante dos dados, então talvez você tenha alguma coisa. Ainda há alguns testes a serem realizados, mas é possível que agora você esteja trabalhando com uma estratégia robusta o suficiente para negociar ao vivo.
Descobri que muitas pessoas, inclusive eu, são um pouco irrealistas quanto ao desempenho de uma estratégia em dados reais. Queremos ganhar dinheiro imediatamente, mas se lermos nosso backtest com atenção, perceberemos que não é bem isso que acontece. Uma boa estratégia pode ter um período de estagnação de 180 dias ou mais (esse é um longo tempo para avaliar se você está nesse "buraco"). Descobri que algumas estratégias perfeitamente aceitáveis são do tipo "flat trade" e têm algumas boas vitórias a cada trimestre ou mais. Isso significa que você pode ter 3 ou 4 perdas seguidas em negociações que se enquadram muito bem em uma boa faixa de confiança do que sua estratégia deveria fazer.
Então, aqui está o que eu acho que funciona bem. Avalie honestamente seu back test e seus testes de robustez. Não passe uma estratégia que você não conseguiria negociar pessoalmente. Para mim, isso significa uma taxa de ganho de 50%, ret/dd > 8, PF > 1,5, risco < 2% da conta. Dê uma olhada no que o backtest está lhe dizendo. Se ele estiver dizendo que você pode ter 6 perdas consecutivas, presuma que essas perdas podem ser perdas máximas. Reconheça que 6 perdas consecutivas são uma estatística, e não um máximo real. Você pode ter 7 ou 8. O que você deve fazer se tiver 7 em seu período de avaliação? Você deve parar de trabalhar? Tenha um plano. O mercado é imprevisível.
Tente avaliar diferentes partes de sua curva de patrimônio com conhecimento de como era o mercado naquela época. Como você se saiu com o crash da Covid? Talvez você possa ter um conjunto de estatísticas para negociações em mercados "normais" e um segundo conjunto para condições excepcionais de mercado. Em que tipo de mercado você está agora? Ele é altamente volátil? Os mercados altamente voláteis atingirão muito mais o seu stop loss e você precisa saber se isso é aceitável ou se a sua estratégia está falhando.
Perceba que 6 perdas consecutivas * 2% pode ser muito dinheiro para você. Você consegue suportar isso? Se não, você precisa ajustar seus sistemas para colocar seu risco em uma faixa com a qual se sinta confortável. Isso pode significar que você não pode negociar alguns títulos. Descobri que muitos varejistas juntam $5000 e saem para operar o ES, sem perceber que o ES pode precisar de $2000 - $5000 de SL para se movimentar em uma operação, mesmo em um período de tempo mais curto. Muitos algoritmos se beneficiam do viés de sobrevivência e você quer um stoploss mais amplo do que a matemática lhe diz para tirar proveito disso. Reconheça as limitações de seu patrimônio líquido e não tente negociar títulos que não tem condições de negociar. Por experiência própria, eu não consideraria negociar minis sem ter pelo menos US$ $100k. Se você não tiver isso, considere os micros.
Venho criando estratégias paralelas e praticando negociações discricionárias há 4 anos. Sustento minha família com minhas negociações discricionárias. Estou usando o SQx há apenas alguns meses, mas já aprendi muito. Algumas das estratégias que avaliei no passado foram abandonadas porque perdiam mais dinheiro do que eu queria. Ocasionalmente, eu voltava e descobria que essas mesmas estratégias tinham se fortalecido e ganhado uma boa quantia de dinheiro mais tarde. Se eu tivesse avaliado honestamente e entendido o que o backtest estava me dizendo, poderia ter permitido que elas operassem por mais tempo e, então, eu teria lucrado.
A última parte da avaliação, a parte com dados reais e dinheiro real, é sempre a mais difícil. É importante criar uma imagem ou um mapa do que sua estratégia deve fazer em um período de tempo. Não tenha medo de obter lucro antecipadamente, mas deixe o sistema operar e lhe dizer onde ele teria saído. Descobri que, como operador discricionário, sou muito melhor em avaliar intuitivamente o mercado e em obter lucro antecipadamente, mas tenho de observar a curva de patrimônio que o sistema teria gerado, não a curva de patrimônio que obtive.
Faço isso como parte do período de avaliação para ter um pouco mais de confiança de que posso preservar o patrimônio que tenho se estiver avaliando uma estratégia perdedora. Depois de ter confiança no sistema, eu o deixo de lado porque a negociação discricionária consome muito tempo e o objetivo da execução de algos é, para mim, liberar mais tempo. Portanto, se você estiver tendo problemas para encontrar algoritmos robustos, talvez não seja o teste do algoritmo que precise melhorar, mas sim a sua interpretação dos dados do backtest. Ouvi um bom negociador de algoritmos em um podcast dizer que negociar com algoritmos não é uma experiência livre de emoções. A única diferença real entre negociar com algoritmos e negociar discricionariamente é que você tem mais confiança nos dados do backtest. Acho que o que ele realmente quis dizer foi que você tem mais dados à sua disposição. Mas isso significa que temos de usá-los de forma eficaz quando estivermos avaliando sistemas ativos.
Espero que isto ajude.
2
Nic
1 ano atrás #290792
No final das contas, a robustez só lhe dá mais chances de ter uma estratégia bem-sucedida.
Coisas para se pensar:
1. O que eu quero alcançar e quais testes se encaixam nisso.
Deseja encontrar parâmetros estáveis? talvez otimização sequencial, spp ou até mesmo walk forward.
Quer encontrar o pior drawdown? talvez monte carlo.
Deseja encontrar padrões e animalidades em seus dados de backtest? talvez use simulações do tipo "e se".
Deseja ver o desempenho de seu backtest em dados desconhecidos? talvez um backtest em mercados adicionais.
**A questão é: tudo é uma possibilidade nas negociações. É nosso trabalho colocar as probabilidades a nosso favor e monitorar o desempenho.
2. Quando tiver os dados do backtest e o teste de robustez, pergunte-se o seguinte... Seu backtest parece normal?
- Existem apenas negociações de compra/venda? Por exemplo, a simetria de negociação 0%.
-Quais são as maiores perdas/ganhos?
-Estou esperando muitas ou poucas negociações?
**Ninguém menciona isso, mas, de uma perspectiva, seus filtros humanos são um teste de robustez em si.
Espero que isso ajude. 🙂
0
Visualizando 10 respostas - 1 até 10 (de um total de 10)