6  Pronóstico y evaluación

¿Cómo se construye un pronóstico defendible y cómo se sabe, después, si sirvió?

Capítulo en preparación. El esqueleto de secciones fija el alcance y el orden de la exposición.

  1. La diferencia entre pronóstico puntual y pronóstico por densidad, y por qué un banco central necesita el segundo.
  2. Cómo montar una evaluación pseudo fuera de muestra con ventanas recursivas o móviles sin mirar el futuro.
  3. Qué mide la RECM relativa y qué añade la prueba de Diebold y Mariano.
  4. Cómo se construyen y se comunican los escenarios condicionales.

Requisitos previos. Capítulo 3 y Capítulo 5.

Serie Fuente Frecuencia Transformación
Panel macrofiscal del libro BCRP trimestral var. % interanual

Los datos crudos se descargan a data/raw/ y las series construidas quedan en data/processed/.

6.1 Qué es un buen pronóstico

Por escribir: función de pérdida, horizonte y el pronóstico óptimo bajo error cuadrático.

6.2 Pronóstico por densidad

Por escribir: de la distribución predictiva al gráfico de abanico.

6.3 Diseño de la evaluación

Por escribir: orígenes, ventanas recursivas y móviles, y el error de mirar el futuro.

6.4 Métricas

Por escribir: RECM y EAM relativos, pérdida logarítmica y CRPS.

6.5 Comparación formal

Por escribir: Diebold y Mariano, y sus límites con modelos anidados.

6.6 Calibración

Por escribir: PIT y qué hacer cuando las bandas son sistemáticamente estrechas.

6.7 Combinación de pronósticos

Por escribir: por qué el promedio suele ganar y cuándo no.

6.8 Escenarios condicionales

Por escribir: Waggoner y Zha: imponer una trayectoria a una variable y leer el resto.

Ideas clave

  1. Sin un modelo de referencia, un número de RECM no dice nada.
  2. La calibración de la densidad importa tanto como el error del punto central.
  3. Un escenario condicional no es un pronóstico: es una respuesta a una pregunta de política, con su propio supuesto de identificación.

Lecturas recomendadas

Diebold y Mariano (1995)
la prueba estándar de precisión predictiva comparada.
Waggoner y Zha (1999)
pronósticos condicionales en modelos multivariados dinámicos.
Karlsson (2013)
revisión del pronóstico con VAR bayesianos.

Ejercicios

Ejercicio 6.1 Monte una evaluación pseudo fuera de muestra con 20 orígenes y compare BVAR, VAR por MCO y caminata aleatoria a horizontes 1 a 8.

Ejercicio 6.2 Calcule el PIT de la densidad predictiva del BVAR y grafique su histograma. ¿Está bien calibrada?