A IA está tornando o backtesting mais rápido. Mas não o está tornando infalível

A estratégia de negociação mais perigosa nem sempre é aquela com resultados históricos ruins. Pode ser a estratégia com um backtest excepcionalmente bom, um índice de Sharpe impressionante e nenhuma explicação convincente sobre por que ela deveria continuar funcionando.

A inteligência artificial tornou possível analisar mais títulos, variáveis e condições de mercado do que uma equipe de pesquisa humana poderia examinar manualmente. Modelos de aprendizado de máquina podem identificar relações não lineares, processar dados alternativos e ajustar seus parâmetros à medida que os padrões mudam. A IA generativa também pode ajudar os operadores a escrever código, investigar anomalias e converter uma hipótese de investimento em uma estratégia testável.

No entanto, nada disso altera a limitação fundamental do backtesting: ele reconstrói um passado hipotético. Não é possível demonstrar o que teria acontecido assim que uma estratégia começasse a realizar ordens reais, influenciando os preços e competindo com outros investidores.

A IA, portanto, aprimora o processo de pesquisa apenas quando é utilizada para questionar uma estratégia, em vez de criar um registro histórico mais atraente.

O que a IA realmente agrega

O backtesting tradicional aplica um conjunto definido de regras de negociação a dados históricos do mercado. Uma estratégia relativamente simples poderia consistir em comprar um índice de ações quando sua média móvel de curto prazo ultrapassar sua média de longo prazo e, em seguida, calcular o retorno, a volatilidade e a queda resultantes.

O aprendizado de máquina permite que o modelo analise uma gama muito maior de relações. Ele pode combinar o momentum dos preços com os fundamentos da empresa, o tom das teleconferências sobre resultados, as expectativas em relação às taxas de juros e a liquidez do mercado. Em vez de impor uma única relação fixa, o sistema pode aprender como as combinações de sinais se comportaram em diferentes partes da amostra histórica.

O processamento de linguagem natural amplia ainda mais o conjunto de informações. Os modelos podem classificar comunicados de bancos centrais, transcrições de resultados financeiros, documentos regulatórios ou cobertura jornalística e, em seguida, converter esse texto em variáveis para uma estratégia de negociação. A IA generativa pode acelerar a programação e a documentação, permitindo que os pesquisadores passem mais rapidamente de uma ideia para um teste executável.

Plataformas como a QuantConnect combinam dados históricos, cadernos de pesquisa, backtesting e implantação em tempo real no mesmo ambiente. Seu mecanismo LEAN, de código aberto, é compatível com Python e C#, várias classes de ativos e conexões com provedores de dados e corretoras. Isso reduz o trabalho de engenharia necessário para construir uma infraestrutura de pesquisa do zero.

Para uma empresa de investimentos de menor porte ou um operador independente experiente, essa acessibilidade é significativa. Ferramentas que antes estavam disponíveis principalmente para grandes fundos quantitativos agora podem ser alugadas por meio da nuvem. A vantagem competitiva, no entanto, não vem da posse do software. Milhares de outros usuários têm acesso a modelos, dados e poder de computação semelhantes. Ela vem da qualidade da hipótese e da disciplina do processo de validação.

Mais testes podem levar a menos verdades

A pesquisa baseada em IA cria uma tentação estatística: se testarmos combinações suficientes, eventualmente alguma delas parecerá lucrativa.

Um pesquisador pode explorar centenas de indicadores, períodos de tempo, regras de entrada, tamanhos de posição e níveis de stop-loss. Uma determinada combinação pode gerar excelentes retornos históricos, mesmo que não haja uma relação duradoura por trás dela. A estratégia aprendeu as variações aleatórias do conjunto de dados, em vez de uma fonte repetível de retorno.

Isso é sobreajuste. O problema se torna particularmente grave no setor financeiro, pois os mercados fornecem relativamente poucos dados genuinamente independentes. Vinte anos de cotações diárias podem parecer um grande conjunto de dados, mas as observações estão interligadas por meio de ciclos econômicos, regimes monetários e períodos recorrentes de tensão. Um modelo treinado predominantemente em um período de inflação em queda e capital barato pode falhar quando essas condições se invertem.

O risco aumenta quando os pesquisadores analisam repetidamente o mesmo período de teste. As informações provenientes dos dados supostamente não observados influenciam gradualmente a concepção do modelo, transformando o teste fora da amostra em mais uma etapa do processo de treinamento.

Um backtest com bons resultados pode, portanto, ser indício de uma otimização extensiva, e não de habilidade no investimento. Quanto mais decisões forem tomadas após a análise dos resultados, menos independentes esses resultados se tornam.

A qualidade dos dados é mais importante do que a sofisticação do modelo

Um modelo avançado não consegue corrigir um registro histórico incorreto.

O viés de sobrevivência ocorre quando um teste utiliza apenas empresas que ainda existem hoje, excluindo aquelas que faliram, se fundiram ou foram retiradas da bolsa. A carteira resultante é composta por empresas que, em retrospecto, tiveram sucesso.

O viés de antecipação ocorre quando o modelo utiliza informações que não estariam disponíveis no momento da negociação. Uma estratégia pode utilizar dados econômicos revisados, composição final de índices ou resultados de empresas de acordo com o período de divulgação, em vez da data em que os investidores realmente os receberam.

Dados alternativos históricos trazem problemas adicionais. Um conjunto de dados de notícias ou de mídias sociais pode ter mudado sua cobertura, metodologia ou população de origem ao longo do tempo. Imagens de satélite, tráfego na web e dados de cartões de crédito podem conter lacunas que coincidem com determinadas empresas ou regiões. Um modelo de aprendizado de máquina pode detectar esses artefatos estruturais e confundi-los com sinais econômicos.

Consequentemente, os compradores institucionais devem perguntar qual é a origem de cada conjunto de dados, quando as informações ficaram disponíveis, como os valores ausentes foram tratados e se a versão histórica corresponde aos dados que uma estratégia em produção receberia.

“Alimentado por IA” não é um padrão de qualidade de dados.

Os custos de negociação podem anular a vantagem aparente

Muitos backtests partem do princípio de que uma ordem é executada ao último preço cotado. Os mercados reais são menos flexíveis.

Uma estratégia envolve comissões, spreads entre preço de compra e venda, impacto no mercado, custos de financiamento e atrasos entre a geração do sinal e a execução. Esses efeitos são particularmente importantes para estratégias de alta rotatividade, títulos menos líquidos e fundos que buscam aplicar capital substancial.

Um modelo pode identificar uma pequena vantagem teórica ao longo de milhares de operações. Quando os custos reais de execução são levados em conta, essa vantagem pode desaparecer. Se outras empresas descobrirem o mesmo sinal, a operação também pode se tornar muito concorrida, aumentando o custo de entrar e sair da posição.

A capacidade, portanto, faz parte da tese de investimento. Uma estratégia que funciona com €100.000 pode não funcionar com €100 milhões. O software de backtesting deve simular a liquidez, as execuções parciais, os tipos de ordens e o slippage, em vez de partir do pressuposto de uma execução ilimitada a um preço favorável.

A estratégia proposta também deve ser testada em condições mais adversas do que as previstas pelo gestor. O que acontece se os spreads dobrarem, a execução for adiada, os custos de financiamento aumentarem ou for necessário encerrar várias posições simultaneamente? Uma estratégia que só se mantém viável sob premissas ideais não é robusta o suficiente para ser aplicada com capital real.

Os regimes históricos precisam ser separados

Um único indicador de desempenho pode ocultar onde uma estratégia realmente gerou lucro.

Um modelo de IA pode parecer bem-sucedido ao longo de 15 anos porque teve um desempenho excepcionalmente bom durante um período atípico. Isso pode depender da queda nas taxas de juros, de correlações estáveis ou de um mercado de ações em alta prolongado. O resultado médio diz pouco sobre como ele poderia se comportar quando esse cenário chegar ao fim.

Os pesquisadores devem analisar o desempenho de acordo com as condições do mercado: taxas em alta e em baixa, alta e baixa volatilidade, períodos inflacionários e desinflacionários, mercados líquidos e sob pressão. Devem examinar se o mesmo mecanismo econômico se mantém em todas as regiões e classes de ativos.

O objetivo não é provar que uma estratégia seja vencedora em todos os ambientes. Poucas o são. Trata-se de compreender em que situações ela deve funcionar, em que situações deve enfrentar dificuldades e se o desempenho observado é consistente com essa explicação.

É nesse ponto que o raciocínio econômico continua sendo essencial. O aprendizado de máquina pode identificar um padrão sem explicar por que os participantes do mercado continuariam a criá-lo. Uma estratégia confiável deve identificar o comportamento, a restrição institucional, o prêmio de risco ou a ineficiência estrutural por trás do retorno.

Sem esse raciocínio, pede-se aos investidores que acreditem que a correlação de ontem continuará sendo a oportunidade de amanhã.

O teste deve ficar cada vez mais difícil

Um processo de validação sério não se resume a um único backtest.

O modelo deve primeiro ser desenvolvido em uma amostra de treinamento e, em seguida, testado em dados que não foram utilizados no processo de pesquisa. A análise “walk-forward” permite treinar repetidamente o modelo em uma janela anterior e testá-lo no período seguinte, refletindo mais fielmente como ele teria sido atualizado na prática.

Os pesquisadores também devem variar os pressupostos. Se uma estratégia funcionar apenas com um período de análise retrospectiva de 47 dias, mas falhar com 45 ou 50 dias, sua precisão aparente pode ser enganosa. Uma relação robusta geralmente deve resistir a alterações razoáveis nos parâmetros, custos e datas da amostra.

A próxima etapa é a simulação de negociação, também conhecida como implantação simulada, na qual os sinais são gerados em tempo real sem o compromisso total do capital. Isso revela diferenças entre os dados históricos e os dados em tempo real, falhas de software, atrasos na execução e premissas operacionais que o backtest não captou.

Somente após essas etapas é que se deve injetar capital, inicialmente em um montante que permita à empresa comparar o desempenho real com o simulado, sem gerar riscos desproporcionais.

A própria QuantConnect observa que os algoritmos em operação real costumam apresentar desempenho diferente dos backtests, pois uma simulação não consegue reproduzir a realidade com perfeição. Suas ferramentas de reconciliação comparam os resultados em operação real com um backtest fora da amostra para identificar onde os dois começam a divergir. Essa divergência não é um inconveniente a ser ocultado. Trata-se de uma informação sobre como a estratégia funciona no mercado real.

A IA generativa precisa de seus próprios controles

Os grandes modelos de linguagem podem ajudar os pesquisadores a escrever código para backtesting, mas um código plausível não é necessariamente um código correto.

Um modelo pode apresentar um erro sutil de projeção, lidar incorretamente com fusos horários, utilizar preços ajustados de maneira incorreta ou calcular custos de transação de forma a distorcer positivamente o desempenho. Também pode inventar um campo de dados ou uma função de biblioteca que não exista.

Todo componente gerado por IA deve, portanto, ser revisado, testado e documentado por alguém capaz de compreendê-lo. As empresas devem manter um controle de versões, registrar as alterações feitas no modelo e preservar os pressupostos utilizados para cada resultado.

A confidencialidade também é importante. Estratégias proprietárias, posições dos clientes e dados de mercado licenciados não devem ser inseridos em sistemas públicos de IA sem permissão explícita e controles contratuais adequados. Um assistente de programação prático não deve se tornar um canal descontrolado pelo qual a propriedade intelectual saia da empresa.

A responsabilidade continua sendo humana. “O modelo escreveu o código” não é uma justificativa quando há perda de dinheiro ou quando se apresentam aos clientes resultados hipotéticos enganosos.

Como avaliar uma plataforma de backtesting

A primeira pergunta não deve ser quantos recursos de IA a plataforma oferece. Deve ser se o sistema é capaz de reproduzir as condições nas quais a estratégia realmente operaria.

Os compradores devem examinar a proveniência e o histórico dos dados, o tratamento dado aos títulos retirados de cotação, as ações corporativas e os indicadores fundamentais em um determinado momento. Devem compreender como a plataforma modela taxas, spreads, slippage, liquidez e execução de ordens.

A reprodutibilidade é igualmente importante. Será que outro pesquisador poderia realizar o mesmo teste e obter o mesmo resultado? Os conjuntos de dados, as versões do código e as alterações nos parâmetros estão registrados? A empresa consegue exportar seu trabalho, ou a estratégia fica dependente da infraestrutura de um único fornecedor?

A segurança e a governança ganham ainda mais importância quando a plataforma se conecta a uma conta de corretagem ativa. As permissões de acesso, os fluxos de trabalho de aprovação, os registros de auditoria e os controles de emergência devem ser avaliados com a mesma seriedade que a lógica de investimento. Um modelo mal governado pode executar uma decisão errada na velocidade de uma máquina.

O preço deve ser avaliado levando em conta todas as necessidades operacionais. Uma ferramenta de baixo custo pode acabar saindo cara quando a empresa precisar adquirir dados especializados, capacidade de computação e conexões com corretoras. Por outro lado, uma plataforma institucional sofisticada pode ser desnecessária para um usuário que esteja testando estratégias de baixa frequência com títulos líquidos.

O que um backtest confiável deve mostrar

Um comitê de investimentos não deveria se limitar a receber apenas um gráfico de retorno acumulado.

A apresentação deve expor a hipótese de investimento, a justificativa econômica para sua persistência e os dados disponíveis no momento em que cada decisão teria sido tomada. Deve informar quantas variações da estratégia foram testadas, quais premissas foram alteradas e como o modelo final foi selecionado.

O desempenho deve ser apresentado antes e depois dos custos realistas, em diferentes regimes de mercado e na amostra que realmente não foi analisada. A queda máxima, o volume de negócios, a liquidez, a concentração e a capacidade são tão importantes quanto o retorno divulgado.

Acima de tudo, o gestor deve explicar as condições sob as quais se espera que a estratégia fracasse. Um pesquisador que não consiga descrever esse limite talvez não compreenda o modelo suficientemente bem para gerenciá-lo.

A IA permite gerar mais estratégias, com maior rapidez e com aparente sofisticação. Isso é útil, mas também eleva o nível de ceticismo necessário. O melhor processo de backtesting baseado em IA não é aquele que identifica o desempenho histórico mais impressionante. É aquele projetado para eliminar estratégias fracas antes que elas sejam aplicadas com dinheiro real.