Backtesting
# Backtesting

Backtesting es un término que se usa en modelado para referirse a probar un modelo predictivo utilizando datos históricos. El backtesting es un tipo de retrodicción y un tipo especial de validación cruzada aplicada a períodos de tiempo anteriores.

# Backtesting
## Análisis financiero

En una estrategia comercial, una estrategia de inversión o un modelo de riesgo, el backtesting busca estimar el desempeño de una estrategia o modelo si se hubiera empleado durante un período anterior. Esto requiere simular condiciones pasadas con suficiente detalle, lo que hace que una limitación del backtesting sea la necesidad de disponer de datos históricos detallados. Una segunda limitación es la incapacidad de modelar estrategias que afectarían los precios históricos. Finalmente, el backtesting, al igual que otros modelos, está limitado por un posible sobreajuste. Es decir, a menudo es posible encontrar una estrategia que hubiera funcionado bien en el pasado, pero que no necesariamente funcionará bien en el futuro. A pesar de estas limitaciones, el backtesting proporciona información que no está disponible cuando los modelos y estrategias se prueban con datos sintéticos.
Históricamente, el backtesting solo ha sido realizado por grandes instituciones y administradores de dinero profesionales debido al costo de obtener y usar conjuntos de datos detallados. Sin embargo, el backtrading se utiliza cada vez más de manera amplia y han surgido plataformas independientes de backtesting basadas en la web. Aunque la técnica se usa ampliamente, es propensa a debilidades. Las regulaciones financieras de Basilea requieren que las grandes instituciones financieras realicen backtesting de ciertos modelos de riesgo.
Para un valor en riesgo de 1 día al 99% comprobado 250 días seguidos, la prueba se considera verde (0-95%), naranja (95-99.99%) o roja (99,99-100%), según la siguiente tabla:
VaR de 1 día al 99% probado 250 días :
| Zona | Excepciones numéricas | Probabilidad | Cumul |
| Verde | 0 | 8.11% | 8.11% |
| Verde | 1 | 20.47% | 28.58% |
| Verde | 2 | 25.74% | 54.32% |
| Verde | 3 | 21.49% | 75.81% |
| Verde | 4 | 13.41% | 89.22% |
| Naranja | 5 | 6.66% | 95.88% |
| Naranja | 6 | 2.75% | 98.63% |
| Naranja | 7 | 0.97% | 99.60% |
| Naranja | 8 | 0.30% | 99.89% |
| Naranja | 9 | 0.08% | 99.97% |
| Rojo | 10 | 0.02% | 99.99% |
| Rojo | 11 | 0.00% | 100.00% |
| Rojo | ... | ... | ... |
Para un valor en riesgo de 10 días al 99% comprobado 250 días seguidos, la prueba se considera verde (0-95%), naranja (95-99.99%) o roja (99.99-100%) según la siguiente tabla:
VaR a 10 días con 99% prueba bachtest de 250 días :
| Zona | Excepciones numéricas | Probabilidad | Cumul |
| Verde | 0 | 36.02% | 36.02% |
| Verde | 1 | 15.99% | 52.01% |
| Verde | 2 | 11.58% | 63.59% |
| Verde | 3 | 8.90% | 72.49% |
| Verde | 4 | 6.96% | 79.44% |
| Verde | 5 | 5.33% | 84.78% |
| Verde | 6 | 4.07% | 88.85% |
| Verde | 7 | 3.05% | 79.44% |
| Verde | 8 | 2.28% | 94.17% |
| Naranja | 9 | 1.74% | 95.91% |
| Naranja | ... | ... | ... |
| Naranja | 24 | 0.01% | 99.99% |
| Rojo | 25 | 0.00% | 99.99% |
| Rojo | ... | ... | ... |

# Backtesting
## Hindcast

En oceanografía y meteorología, el backtesting también se conoce como hindcasting: un hindcast es una forma de probar un modelo matemático; los investigadores ingresan en el modelo entradas conocidas o estimadas para eventos pasados y así analizar qué tan bien la salida coincide con los resultados conocidos.
El hindcasting generalmente se refiere a la integración de un modelo numérico de un período histórico del cual no existe registro de observaciones. Esto distingue una ejecución retrospectiva de un reanálisis. Las observaciones oceanográficas de salinidad y temperatura, así como las observaciones de los parámetros de las olas, como la altura significativa de las olas, son mucho más escasas que las observaciones meteorológicas, lo que hace que la predicción posterior sea más común en la oceanografía que en la meteorología. Además, dado que las ola superficiales representan un sistema forzado en el que el viento es la única fuerza generadora, el pronóstico de las olas se considera a menudo adecuado para generar una representación razonable del clima de las olas con poca necesidad de un nuevo análisis completo. Los hidrólogos utilizan la predicción retrospectiva para los flujos de modelos de arroyos.
Un ejemplo de análisis retrospectivo sería introducir forzamientos climáticos (eventos que fuerzan el cambio) en un modelo climático. Si la retrospectiva mostrara una respuesta climática razonablemente precisa, el modelo se consideraría exitoso.
El reanálisis del ECMWF es un ejemplo de un reanálisis atmosférico combinado junto con una integración de modelo de ola donde no se asimilaron parámetros de ola, lo que hace que la parte de ola sea una ejecución retrospectiva.

# Backtesting
## Hindcast
### Resultados inesperados de la aplicación

En 2003, Dake Chen y sus colegas "entrenaron" inicialmente una computadora, utilizando los datos de la temperatura de la superficie de los océanos de los últimos 20 años.
Luego, después de haber "entrenado" la computadora, realizaron un ejercicio de predicción retrospectiva utilizando datos que se habían recopilado sobre la temperatura de la superficie de los océanos durante el período de 1857 a 2003. No solo descubrieron que su simulación predijo con precisión todos los eventos de El Niño durante los últimos 148 años, sino que también descubrieron, como una "consecuencia no buscada" de ese ejercicio, que su simulación también identificó el presagio que se avecina (hasta 2 años) de cada uno de esos eventos de El Niño.