Il backtest è un buon indicatore della bontà di una strategia. Tuttavia, risultati eccellenti non sempre forniscono le garanzie sperate. Sembra un paradosso, ma non lo è. Il motivo risiede in un fenomeno statistico chiamato overfitting, particolarmente insidioso per chi sviluppa sistemi di investimento.
Il loro legame è sottile, ma impattante. Qui spieghiamo in cosa consiste questo legame e come valutare correttamente le strategie senza lasciarsi ingannare dalle performance passate.
Cosa sono il backtest e l’overfitting
Il backtest è una procedura che permette di verificare come una strategia di trading avrebbe funzionato in passato, applicandone le regole ai dati storici di mercato.
In sostanza, consente di rispondere a una domanda: cosa sarebbe successo se aveste utilizzato questa strategia negli ultimi cinque o dieci anni?
Immaginate, per esempio, di voler verificare l’efficacia di una strategia Forex basata sull’incrocio di due medie mobili. Attraverso il backtest si possono simulare tutte le operazioni che il sistema avrebbe generato in un determinato periodo, ottenendo informazioni su:
- Rendimento complessivo: il profitto o la perdita generati dalla strategia.
- Drawdown massimo: la maggiore perdita percentuale rispetto a un precedente picco del capitale.
- Percentuale di operazioni vincenti: il rapporto tra operazioni concluse in profitto e operazioni totali.
- Rapporto rischio-rendimento: il confronto tra le perdite potenziali e i profitti attesi.
Naturalmente, per ottenere risultati attendibili, è necessario considerare anche spread, commissioni e altri costi di negoziazione.
L’overfitting, invece, è un fenomeno statistico che si verifica quando un modello viene adattato eccessivamente ai dati utilizzati per svilupparlo.
In altre parole, il modello impara a riconoscere non soltanto le regolarità utili, ma anche le particolarità casuali presenti nei dati storici.
Il risultato è una strategia apparentemente perfetta sul passato, ma incapace di mantenere prestazioni soddisfacenti quando viene applicata a situazioni nuove.
L’overfitting non riguarda esclusivamente il trading. È un problema comune nella statistica, nell’intelligenza artificiale e nei modelli previsionali.
Cosa c’entrano il backtest e l’overfitting
Il legame tra backtest e overfitting emerge soprattutto quando si utilizzano i risultati delle simulazioni per modificare continuamente una strategia, cercando di migliorarne le prestazioni storiche.
Facciamo un esempio.
Supponete di sviluppare una strategia su EUR/USD basata su due medie mobili, una a 20 periodi e l’altra a 50 periodi.
Il primo backtest restituisce un rendimento annuo simulato del 6%.
Decidete quindi di modificare i parametri, provando diverse combinazioni. Dopo numerose simulazioni, scoprite che utilizzando medie mobili a 17 e 43 periodi il rendimento storico raggiunge il 18%.
Apparentemente, avete migliorato notevolmente la strategia.
Ma esiste un problema: quei parametri potrebbero funzionare particolarmente bene soltanto sui dati analizzati, senza possedere alcun vantaggio reale rispetto ad altre combinazioni.
Avete quindi individuato una configurazione efficace nel passato, non necessariamente nel futuro.
Il rischio aumenta con il numero di varianti testate e selezionate sulla base dei risultati.
Più combinazioni provate, maggiore è la probabilità di trovarne una eccezionalmente redditizia per puro caso.
Il pericolo principale consiste nella falsa sicurezza che ne deriva.
Il fatto è che una strategia che mostra rendimenti elevati, drawdown contenuti e numerose operazioni vincenti può indurre ad aumentare il capitale investito o la leva finanziaria.
Ecco che il backtest rischia di trasformarsi da strumento di verifica a strumento di conferma di aspettative e pregiudizi.
Come evitare l’overfitting
La soluzione c’è, ma non è quella che immaginate: non consiste nel rinunciare al backtest. Al contrario, il backtest rimane uno strumento fondamentale per verificare la plausibilità di una strategia prima di rischiare capitale reale.
Il problema non è il backtest in sé, ma il modo in cui viene progettato, interpretato e utilizzato.
Si tratta piuttosto di ridurre il rischio di overfitting. Per farlo è possibile…
- Separare i dati di sviluppo da quelli di verifica: si dividono i dati storici in due insiemi. Si utilizza il primo, chiamato in-sample, per sviluppare e ottimizzare la strategia. Si riserva il secondo, chiamato out-of-sample, alla verifica finale, senza utilizzarlo per successive correzioni. In questo modo si può valutare la capacità del sistema di funzionare su dati non impiegati durante lo sviluppo.
- Limitare il numero di parametri: una strategia con numerosi indicatori, filtri e condizioni presenta maggiori possibilità di adattarsi artificialmente ai dati storici. Il consiglio quindi è di privilegiare i modelli relativamente semplici, costruiti attorno a una logica economica o operativa comprensibile, evitando di aggiungere regole soltanto per migliorare i risultati delle simulazioni.
- Utilizzare la walk-forward analysis: questa tecnica prevede l’ottimizzazione della strategia su un intervallo storico e la successiva verifica su un periodo seguente, non utilizzato nell’ottimizzazione. Il procedimento viene ripetuto facendo avanzare gli intervalli temporali. Permette di valutare se il sistema mantiene prestazioni accettabili attraverso differenti condizioni di mercato.
- Verificare la robustezza dei risultati: si tratta di modificare leggermente i parametri e osservare cosa succede. Se una strategia funziona soltanto con una combinazione estremamente precisa, potrebbe essere eccessivamente adattata. Se invece la strategia è robusta, mantiene risultati ragionevoli anche con variazioni moderate, pur senza garantire rendimenti futuri.
- Considerare condizioni realistiche: il consiglio è di includere spread, commissioni, slippage (lo scarto tra prezzo atteso e prezzo di esecuzione) e costi overnight (gli interessi sulle posizioni lasciate aperte da un giorno all’altro) quando applicabili. Bisogna evitare inoltre di utilizzare informazioni che non sarebbero state disponibili al momento delle operazioni simulate. Risultati eccellenti ottenuti ignorando questi elementi potrebbero rivelarsi completamente irrealistici.
Infine, prima di impiegare capitale reale, potete sottoporre la strategia a un periodo di forward testing, osservandone il comportamento su nuovi dati di mercato, eventualmente attraverso un conto demo.
Sia chiaro, neppure queste precauzioni eliminano completamente l’overfitting o garantiscono la redditività futura. Tuttavia, permettono di ridurre il rischio di confondere un risultato statisticamente fortunato con una strategia realmente efficace.
