Tamanho de Amostra e Significância

É a pergunta que decide se os seus números querem dizer algo: quantas operações eu preciso antes de concluir que a minha estratégia funciona?

Com amostra pequena, a variância distorce tudo. Estratégia perdedora parece vencedora, estratégia boa parece quebrada, e o trader troca de sistema justamente quando deveria manter. Quase toda "conclusão" tirada de 20 operações é ruído lido como sinal.

Não existe um número mágico único — depende do tamanho da vantagem que você quer detectar. Vantagem grande e estável se anuncia em poucas operações; vantagem pequena precisa de muitas para se distinguir do acaso.

Orientação apenas para mostrar que poucas observações carregam muita incerteza — a tabela não valida uma estratégia:

O efeito do tamanho, num teste binomial simplificado contra 50% e assumindo operações independentes: 13 acertos em 20 (65%) têm p-valor bicaudal acima de 0,2; 130 acertos em 200 têm p-valor muito menor. Isso é evidência sobre a taxa de acerto sob essas premissas, não prova de rentabilidade — payoff, custos e seleção continuam faltando.

• A incerteza de Sharpe depende de autocorrelação, caudas, frequência e seleção; número de operações isolado não garante significância.
• Uma taxa de acerto de 65% em 20 operações e 65% em 200 são o mesmo percentual e conclusões completamente diferentes.
• Quanto menor a vantagem, maior a amostra necessária. Expectância de +0,05R exige muito mais dados que +0,5R.
• Quanto mais configurações foram testadas, maior a correção necessária para seleção múltipla; “operações por parâmetro” não é uma garantia estatística.

• Day trade pode gerar observações rápido, mas operações do mesmo dia/regime podem ser dependentes e valer menos informação que a contagem sugere.
• Swing trade acumula observações lentamente; backtest fora da amostra pode complementar, sem transformar dados simulados e reais numa única amostra homogênea.
• Amostra grande de um período só não resolve tudo: 500 operações num único regime de mercado não provam que a estratégia atravessa regimes. É por isso que walk-forward existe.
• Cuidado com amostra grande desalinhada: juntar 3 setups diferentes para chegar a 400 operações produz um número sem significado.

• Tamanho planejado: calculado para a métrica e o efeito relevante, com premissas documentadas.
• Dependência: ajuste por operações agrupadas no mesmo dia/regime quando aplicável.
• Seleção: registre todas as configurações testadas e preserve amostra fora do desenvolvimento.
• Sempre com resultados líquidos e do mesmo setup.

• Planeje a amostra antes de começar a partir da métrica, efeito mínimo relevante, variância, dependência, confiança/poder e quantidade de testes.
• Conte por setup e regime, sem tratar divisão simples do total como validação automática.
• Não mude a estratégia dentro da janela de avaliação. Se mudou, a contagem reinicia.
• Use Monte Carlo quando a amostra é curta: ele mostra a faixa de resultados possíveis, o que é mais honesto que uma média de 40 operações.
• Separe "não funciona" de "amostra insuficiente" — são diagnósticos diferentes que levam a decisões opostas.

Fortes:

• Evita a troca compulsiva de estratégia, que é o principal destruidor de resultado no varejo.
• Dá critério objetivo para "manter" ou "cortar", em vez de sensação.
• Expõe conclusões precipitadas — as suas e as de terceiros.
• Barato de aplicar: é só contar.

Limitações:

• Amostra grande no mesmo regime de mercado não garante nada sobre o próximo.
• Não protege contra seleção: se você testou 50 estratégias e ficou com a melhor, os 500 trades dela já vêm enviesados.
• Testes de significância assumem independência entre operações, o que raramente se sustenta.
• Amostra pode ficar obsoleta: mercado, custos e você mudam ao longo dela.

• Abandonar estratégia depois de 15 operações ruins.
• Adotar estratégia depois de 15 operações boas. O mesmo erro, com o sinal invertido.
• Somar setups diferentes para "chegar" à amostra mínima.
• Contar operações de backtest e de conta real como uma amostra única.
• Concluir sobre horário, dia da semana ou ativo com o recorte de amostra grande — o recorte tem uma fração das operações.

Cenário hipotético: Dois traders da Arena testam o mesmo setup de rompimento no WIN.

Trader A faz 22 operações na primeira semana: 8 acertos, 14 erros, resultado −3,2R. Conclui que "o setup não funciona no mercado atual" e troca de estratégia.

Trader B decidiu antes de começar que julgaria com 200 operações. Nas 22 primeiras, o resultado dele é praticamente igual — mas ele não olha. Segue registrando.

Ao chegar em 200 operações, o quadro é: 41% de acerto (82 ganhos), payoff 2,15, expectância +0,29R e resultado +58,3R (82×2,15R − 118×1R). A maior sequência de perdas foi 9. A amostra inicial era compatível com a variância observada depois, mas isso ainda não garante estabilidade futura.

O trader A trocou de estratégia 4 vezes no mesmo período. Nenhuma delas passou de 30 operações, então ele nunca soube se alguma funcionava. Ele não teve azar: ele nunca coletou dado suficiente para ter sorte ou azar.