Um sinal pode parecer preciso em um teste histórico porque o teste inclui informações não disponíveis quando a decisão seria tomada.
A documentação identifica dois perigos de avaliação.
A documentação de validação cruzada avisa separadamente que observações dependentes do tempo requerem cuidados e descreve avaliações em observações posteriores usando splits de séries temporais. Ciquite-aprender documentação - armadilhas comuns: vazamento de dados Cidadão-Aprender documentação - Validação cruzada: séries temporais
Uma vela pode conter o resultado que deveria prever.
Imagine um sinal gerado às 10:00h para um contrato que termina às 10:01h, um conjunto de dados históricos fornece a alta e baixa de toda a vela das 10:00h às 22:01h como entrada, esses valores não são totalmente conhecidos às 10:00h, incluem os preços observados durante o intervalo de previsão.
O teste pode, portanto, deixar o sinal inspecionar parte do futuro que ele afirma prever.
Um número revisado disponível hoje pode diferir da liberação que os comerciantes realmente viram, um teste de retrocesso usando a série revisada não deve se descrever como uma reconstrução de informações históricas de decisão a menos que essa diferença seja abordada.
A seleção do modelo pode contaminar a avaliação mesmo sem um erro de codificação, suponha que muitas configurações de indicadores sejam testadas e a mais alta seja selecionada usando o período final de teste, esse período influenciou a escolha, não mais serve como uma avaliação intocada da especificação escolhida.
Se as observações vizinhas compartilham o mesmo caminho de preço futuro, tratá-los como evidência independente pode exagerar o tamanho efetivo da amostra.
Disponibilidade de auditoria antes de rever a precisão
Liste a disponibilidade mais antiga de cada entrada, conserve versões de lançamento onde for relevante, e separe as escolhas de desenvolvimento da avaliação final, verifique o pré-processamento e seleção de recursos, bem como a própria regra de negociação.
A primeira exigência é mais simples: o teste não deve usar as informações de amanhã para descrever a decisão de ontem.