Validar un backtest

Qué aprenderás

Los cuatro sesgos que fabrican ventaja falsa

Look-ahead: usar información que en ese momento no existía —el cierre del día para decidir a media sesión—. Supervivencia: probar sólo sobre los activos que siguen cotizando, ignorando los que quebraron. Data snooping: probar mil combinaciones y quedarse con la mejor, que lo es por azar. Sobreajuste: añadir reglas hasta que el pasado encaja perfectamente, y con él el ruido. Los cuatro producen resultados excelentes y ninguno sobrevive al mercado.

Dentro y fuera de muestra

Se aparta un trozo del histórico —el último 30 %, por ejemplo— y la búsqueda de parámetros no lo toca jamás. Cuando ya está elegido el mejor juego de reglas, se evalúa ahí UNA sola vez. Si mirar ese trozo y volver a ajustar, ya no es fuera de muestra: se ha convertido en parte del entrenamiento. Un resultado que sólo existe dentro de muestra es una descripción del pasado, no una predicción.

Walk-forward: cómo se habría operado de verdad

Un solo juego de parámetros ajustado a toda la historia usa información del futuro: en enero no sabías qué media móvil iba a funcionar en diciembre. El walk-forward reoptimiza por ventanas —entrenar en la primera, operar la siguiente, avanzar— que es como se habría hecho en vivo. La cifra que importa es la eficiencia: qué parte de la ventaja del entrenamiento sobrevive al aplicarse hacia delante. Por debajo de 0,5 es la firma clásica del sobreajuste.

Monte Carlo sobre el ORDEN de las operaciones

Tu backtest te enseñó UNA secuencia de operaciones, y el drawdown que viste depende del orden en que salieron. Reordenar esas mismas operaciones al azar miles de veces te da la distribución de drawdowns que ese sistema podía haber producido. Mira el percentil 95, no la media: es el que responde «¿cuánto tengo que estar dispuesto a aguantar?». Casi siempre es bastante peor que el que salió en la única secuencia que viviste.

Cuántas operaciones hacen falta

Menos de 30 operaciones no dicen nada. Cien es el mínimo para decidir, doscientas convencen, quinientas dan significancia fuerte. Y hay un descuento que casi nadie aplica: las operaciones CORRELACIONADAS —varias en la misma tendencia, el mismo día, el mismo sector— cuentan menos que una muestra independiente. Trescientas operaciones muy correlacionadas informan menos que ochenta que no lo estén. Con muestras pequeñas, un error de cinco puntos en el acierto estimado puede triplicar la fracción de Kelly que sale.

Descontar por cuánto has buscado

Prueba cuarenta y siete combinaciones sobre datos completamente aleatorios y la mejor parecerá buena. Eso es aritmética, no habilidad. El Sharpe deflactado calcula qué resultado habría producido por pura suerte una búsqueda del mismo tamaño sobre un sistema SIN ninguna ventaja, y exige que el tuyo lo supere. Es lo que separa «mi backtest hizo un 40 %» de «mi backtest hizo un 40 % y eso es más de lo que la suerte me habría dado». Con menos de veinte combinaciones probadas la propia corrección es imprecisa: superarla ahí es indicio, no prueba.

Por qué una ventaja publicada deja de funcionar

El caso más limpio es el «pre-FOMC drift»: un estudio de 2015 documentó que buena parte de la prima de la renta variable estadounidense se ganaba en las veinticuatro horas previas a los anuncios de la Fed. Estudios posteriores, extendiendo la muestra, encuentran que prácticamente desapareció después de 2015. No es que el hallazgo fuera falso: es que publicarlo lo arbitró. Por eso una ventaja histórica nunca garantiza una futura, y por eso conviene vigilar la que estás operando —la analítica del diario calcula si la caída reciente de tu sistema va más allá de lo que explica el azar—.