Modelos multivariantes y evaluación de predicciones

1. La pregunta

El tema 39 construyó un modelo con la sola historia de una serie. Dos preguntas quedan abiertas, y son las que cierran el plan.

La primera: si tenemos también la serie de tipos de interés, ¿mejora la predicción del consumo? Es decir, ¿aporta una variable información sobre otra más allá de lo que ya dice su propio pasado?

La segunda, y más importante: ¿cómo se sabe si una predicción es buena? Un modelo puede ajustar espléndidamente dentro de la muestra y fallar estrepitosamente fuera. El único juicio válido es el que se hace con datos que el modelo no ha visto, y hay que saber cómo hacerlo.

2. Intuición

Por qué un VAR y no una regresión. Si el consumo depende de la renta y la renta del consumo, no se puede poner una a la izquierda y otra a la derecha: es el problema de simultaneidad del tema 34. Un VAR resuelve el dilema por la vía directa: todas las variables son endógenas, cada una se explica por el pasado de todas. Nadie decide a priori quién causa a quién.

Causalidad de Granger: un nombre desafortunado. Decir que $x$ «causa en el sentido de Granger» a $y$ significa solo que el pasado de $x$ ayuda a predecir $y$ mejor que el pasado de $y$ por sí solo. Es una afirmación sobre precedencia temporal y contenido predictivo, no sobre causalidad. Un indicador adelantado «causa» en sentido de Granger a lo que anticipa, sin causarlo en absoluto.

Evaluar predicciones: la trampa del ajuste. Un modelo con muchos parámetros puede reproducir el pasado casi exactamente y ser inútil para el futuro: ha memorizado el ruido en lugar de aprender el patrón. Es sobreajuste, y solo se detecta apartando datos que el modelo no vea durante la estimación.

Y una advertencia sobre la comparación. Antes de celebrar que un modelo predice bien hay que compararlo con una alternativa trivial. Para muchas series económicas, «mañana será como hoy» es sorprendentemente difícil de batir. Si un modelo elaborado no supera a ese referente ingenuo, no vale la pena.

3. Formalización

Modelos VAR

Un vector autorregresivo de orden $p$ con $k$ variables:

$${\mathbf{y}}_t=\mathbf{c}+{\mathbf{A}}_1{\mathbf{y}}_{t-1}+\cdots +{\mathbf{A}}_p{\mathbf{y}}_{t-p}+{\mathbf{\epsilon }}_t$$

donde ${\mathbf{y}}_t$ es un vector $k\times 1$ y cada ${\mathbf{A}}_i$ una matriz $k\times k$.

Con dos variables y un retardo:

$$\{\begin{array}{l}{y}_{1t}=c_1+a_{11}{y}_{1,t-1}+a_{12}{y}_{2,t-1}+{\epsilon }_{1t}\\ y_{2t}=c_2+a_{21}{y}_{1,t-1}+a_{22}{y}_{2,t-1}+{\epsilon }_{2t}\end{array}$$

Todas las variables son endógenas, y cada ecuación tiene los mismos regresores. Esa simetría permite estimar ecuación por ecuación por MCO y obtener estimaciones consistentes y eficientes: no hace falta MC2E.

Número de parámetros: $k+k^{2}p$ por sistema. Con 4 variables y 4 retardos son 68 parámetros, y ahí está el problema práctico del VAR: se queda sin grados de libertad muy deprisa. La selección del orden $p$ se hace con AIC o BIC (tema 39), y en la práctica se usan pocos retardos y pocas variables.

Requisito previo. Todas las series deben ser estacionarias. Si son $I(1)$ y no cointegradas, se estima el VAR en diferencias. Si están cointegradas, se usa un VEC.

Modelo VEC

Si $k$ series $I(1)$ están cointegradas con $r$ relaciones de equilibrio, el sistema admite la representación de corrección del error vectorial:

$$\Delta {\mathbf{y}}_t=\mathbf{\alpha }{\mathbf{\beta }}^{\prime }{\mathbf{y}}_{t-1}+\sum _{i=1}^{p-1}{\mathbf{\Gamma }}_i\Delta {\mathbf{y}}_{t-i}+{\mathbf{\epsilon }}_t$$

• $\mathbf{\beta }$ recoge las relaciones de largo plazo (los vectores de cointegración).
• $\mathbf{\alpha }$ mide la velocidad de ajuste de cada variable hacia el equilibrio.

Es la generalización multivariante del modelo de corrección del error del tema 38. El número $r$ de relaciones de cointegración se determina con el contraste de Johansen.

Por qué importa usar el VEC y no un VAR en diferencias. Diferenciar destruye la información de largo plazo. El VEC la conserva y modela la dinámica de corto: es estrictamente mejor cuando hay cointegración.

Causalidad de Granger

$x$ causa en el sentido de Granger a $y$ si el pasado de $x$ mejora la predicción de $y$ respecto a usar solo el pasado de $y$.

Contraste. Se estima el modelo sin restringir

$$y_t=c+\sum _{i=1}^p{\alpha }_i{y}_{t-i}+\sum _{i=1}^p{\beta }_i{x}_{t-i}+u_t$$

y se contrasta

$$H_0:{\beta }_1={\beta }_2=\cdots ={\beta }_p=0$$

con el estadístico $F$ de restricciones lineales del tema 30. Rechazar significa que $x$ causa a $y$ en sentido de Granger.

Cuatro resultados posibles: $x\to y$; $y\to x$; causalidad bidireccional (ambas); o independencia.

Lo que NO demuestra, y conviene repetirlo:

• No es causalidad económica. Es precedencia temporal con contenido predictivo.
• Una tercera variable puede causar las dos, con distinto retardo.
• Si los agentes anticipan el futuro, la variable anticipada puede preceder a su causa. El ejemplo clásico: el consumo de Navidad precede a las ventas de diciembre porque la gente compra antes, no porque el consumo cause las ventas.

Y una condición técnica que se olvida: el contraste exige series estacionarias. Sobre series $I(1)$ produce rechazos espurios, igual que la regresión del tema 38.

Función impulso-respuesta

Traza el efecto sobre todas las variables de un shock unitario en una de ellas, periodo a periodo. Es la herramienta principal de interpretación de un VAR, porque los coeficientes individuales de un VAR con muchos retardos no se interpretan.

El problema de la identificación. Los shocks ${\mathbf{\epsilon }}_t$ están correlacionados entre ecuaciones, así que «un shock solo en la variable 1» no está bien definido. Hace falta imponer una estructura, y la más habitual es la descomposición de Cholesky, que supone un orden causal: la primera variable afecta contemporáneamente a todas, la segunda a todas menos la primera, y así sucesivamente.

Los resultados dependen del orden elegido, y ese orden lo pone el investigador con argumentos económicos. Es la principal fragilidad del método, y hay que declararlo siempre.

Evaluación de predicciones

La regla fundamental: separar la muestra.

$$\underset{\text{estimacioˊn}}{\underbrace{t=1,\dots ,T_1}}\underset{\text{evaluacioˊn}}{\underbrace{t=T_1+1,\dots ,T}}$$

El modelo se estima solo con la primera parte y se evalúa con la segunda, que no ha visto. Se reserva habitualmente entre el 10 % y el 20 % de las observaciones.

Error de predicción:

$$e_{t+h}=y_{t+h}-{\hat{y}}_{t+h\mid t}$$

Medidas de error

$$ME=\frac{1}{m}\sum e_t\text{(error medio: mide el SESGO)}$$ $$MAE=\frac{1}{m}\sum |e_t|\text{(error absoluto medio)}$$ $$RMSE=\sqrt{\frac{1}{m}\sum e_t^2}\text{(raıˊz del error cuadraˊtico medio)}$$ $$MAPE=\frac{100}{m}\sum \left|\frac{e_t}{y_t}\right|\text{(error porcentual absoluto medio)}$$

Cómo elegir:

Medida	Propiedad	Cuándo usarla
$ME$	detecta sesgo sistemático	siempre, como complemento
$MAE$	robusta a atípicos	errores con coste lineal
$RMSE$	penaliza los errores grandes	errores grandes desproporcionadamente caros
$MAPE$	sin unidades, comparable	comparar series de escalas distintas

Un $ME$ cercano a cero es buena señal: el modelo no se equivoca siempre en la misma dirección. Un $ME$ grande indica sesgo, y suele ser corregible.

Limitación del MAPE: no sirve si la serie toma valores cercanos a cero, y es asimétrico —penaliza más sobrestimar que subestimar—.

El coeficiente U de Theil

$$U=\frac{RMS{E}_{\text{modelo}}}{RMS{E}_{\text{ingenuo}}}$$

donde el modelo ingenuo es ${\hat{y}}_{t+1}=y_t$.

Valor	Lectura
$U<1$	el modelo mejora al ingenuo
$U=1$	igual de bueno: el modelo no aporta
$U>1$	el modelo es peor que no hacer nada

Es la comprobación más importante y la que más se omite. Con series muy persistentes, batir al modelo ingenuo es genuinamente difícil.

Contrastes formales de comparación

Contraste de Diebold-Mariano. Contrasta si la diferencia de precisión entre dos modelos es estadísticamente significativa, y no fruto del azar de la muestra de evaluación.

Con $d_t=g(e_{1t})-g(e_{2t})$ la diferencia de pérdidas (por ejemplo, de errores al cuadrado):

$$DM=\frac{\bar{d}}{\sqrt{\widehat{\mathrm{Var}}(\bar{d})}}\sim N(0,1)$$

bajo $H_0$ de igual capacidad predictiva. La varianza debe estimarse de forma robusta a autocorrelación (HAC), porque los $d_t$ suelen estar correlacionados.

Su valor: evita concluir que un modelo es mejor porque su RMSE sea un 2 % menor en 20 observaciones, diferencia que puede ser puro ruido.

Evaluación recursiva

En lugar de una única partición, se reestima el modelo repetidamente:

• Ventana creciente: se añade una observación cada vez y se predice la siguiente.
• Ventana móvil: se desplaza una ventana de tamaño fijo.

Es más costoso pero mucho más informativo: reproduce lo que realmente ocurriría en la práctica, donde el modelo se reestima con cada dato nuevo. Y permite ver si la capacidad predictiva se deteriora en algún subperiodo, lo que señalaría un cambio estructural.

Combinación de predicciones

Un resultado sólido y algo contraintuitivo: la media de varias predicciones suele ser mejor que la mejor de ellas.

$${\hat{y}}_{t+h}^c=\sum _j{w}_j{\hat{y}}_{t+h}^{(j)},\sum w_j=1$$

Por qué funciona. Cada modelo captura aspectos distintos y comete errores parcialmente independientes. Al promediar, los errores se cancelan en parte, exactamente por el mismo mecanismo que reduce la varianza de una cartera diversificada en el tema 22.

Y una recomendación práctica: los pesos iguales suelen funcionar tan bien como los estimados óptimamente, y son mucho más robustos. Estimar los pesos añade un problema de sobreajuste sobre el que ya se tiene.

4. Ejemplo económico resuelto

Problema. Se comparan tres modelos para predecir el crecimiento trimestral del consumo. Se estiman con 100 observaciones y se evalúan con las 20 últimas.

Modelo	RMSE	MAE	ME
A: ARIMA(1,1,1)	0,412	0,338	$-0,021$
B: VAR(2) con renta y tipos	0,389	0,321	$-0,015$
C: Ingenuo (${\hat{y}}_{t+1}=y_t$)	0,547	0,441	0,008

Además, el contraste de causalidad de Granger de la renta sobre el consumo da $F=4,82$ (crítico $F_{2,92;0,05}=3,10$), y el de Diebold-Mariano entre A y B da $DM=0,94$.

1. Calcula el coeficiente U de Theil de A y B.
2. ¿Aporta la renta información sobre el consumo?
3. ¿Es B significativamente mejor que A?
4. ¿Qué recomiendas?

Paso 1. Coeficiente U de Theil.

$$U_A=\frac{0,412}{0,547}=0,753$$ $$U_B=\frac{0,389}{0,547}=0,711$$

Ambos son menores que 1: los dos modelos baten al ingenuo.

• El ARIMA reduce el error de predicción un 24,7 % respecto a suponer que el crecimiento del próximo trimestre será igual al de este.
• El VAR lo reduce un 28,9 %.

Que ambos batan al ingenuo es la primera condición, y no siempre se cumple: hay series —las financieras, sobre todo— donde ningún modelo lo consigue de forma consistente.

Paso 2. ¿Aporta la renta información?

$$F=4,82>3,10⟹\text{se rechaza }{H}_0$$

La renta causa en el sentido de Granger al consumo. Su pasado ayuda a predecir el consumo más allá de lo que aporta el propio pasado del consumo.

Cómo interpretarlo bien.

Lo que sí dice: hay contenido predictivo. La renta pasada contiene información útil sobre el consumo futuro.

Lo que NO dice: que la renta cause económicamente el consumo. Aunque en este caso la teoría lo respalda —función de consumo keynesiana, hipótesis de la renta permanente—, el contraste por sí solo no lo establece.

De hecho, la teoría de la renta permanente predice lo contrario: si los consumidores son racionales y anticipan su renta futura, el consumo debería reflejar ya toda la información disponible y la renta pasada no debería añadir nada. Que sí añada es evidencia a favor de restricciones de liquidez o de comportamiento no plenamente prospectivo.

Es un buen ejemplo de que un resultado estadístico se interpreta a la luz de la teoría, no al margen de ella.

Paso 3. ¿Es B significativamente mejor?

$$DM=0,94,z_{0,025}=1,96$$ $$|0,94|<1,96⟹\text{NO se rechaza }{H}_0$$

La diferencia de precisión entre A y B no es estadísticamente significativa.

Es un resultado importante y fácil de pasar por alto. El RMSE de B es un 5,6 % menor ($0,389$ frente a $0,412$), lo que a simple vista parece una mejora. Pero con solo 20 observaciones de evaluación, esa diferencia es perfectamente compatible con el azar.

Aquí actúa el mismo principio del tema 27: una diferencia observada no es una diferencia real hasta que se descarta el azar. Y el problema se agrava porque las muestras de evaluación suelen ser pequeñas por construcción.

Paso 4. Recomendación.

Análisis de las opciones:

El VAR (B) tiene el mejor RMSE y el menor sesgo, y hay evidencia de que la renta aporta información. Pero:

• La ventaja no es estadísticamente significativa.
• Es mucho más complejo: un VAR(2) con tres variables tiene $3+9\times 2=21$ parámetros, frente a los 3 del ARIMA.
• Para predecir con él hace falta predecir antes la renta y los tipos, o disponer de sus valores. Si hay que predecirlos, se acumulan errores y la ventaja puede evaporarse. Esta es la objeción decisiva y la que más se olvida al comparar modelos univariantes con multivariantes.

El ARIMA (A) es simple, robusto, bate claramente al ingenuo y no necesita predecir nada más.

Recomendación, en tres partes:

1. Combinar A y B con pesos iguales.

$${\hat{y}}^c=0,5{\hat{y}}^A+0,5{\hat{y}}^B$$

Es lo que la evidencia empírica sugiere cuando dos modelos tienen precisión similar y capturan aspectos distintos: los errores se cancelan parcialmente. Muy probablemente el RMSE de la combinación sea menor que el de ambos.

2. Comprobar la disponibilidad de la información. Si la renta y los tipos del trimestre $t$ no se conocen al predecir $t+1$, el VAR pierde su ventaja y hay que reevaluarlo usando solo información realmente disponible en el momento de predecir. Es un error frecuente evaluar modelos con datos que en la práctica no se tendrían.

3. Ampliar la evaluación. Veinte observaciones son pocas para distinguir modelos. Una evaluación recursiva con ventana creciente daría muchas más comparaciones y un Diebold-Mariano con más potencia.

Y una observación sobre los $ME$. Los tres son pequeños en relación con sus RMSE ($-0,021$ frente a $0,412$, etc.), así que ninguno tiene sesgo sistemático apreciable. Si alguno hubiera tenido un $ME$ del orden de su RMSE, sería un modelo que se equivoca siempre en la misma dirección, y eso es corregible con un simple ajuste de nivel.

5. Errores típicos

Evaluar dentro de la muestra. El error central del tema. Un modelo siempre ajusta mejor los datos con los que se estimó. La evaluación exige datos que el modelo no haya visto.

Interpretar la causalidad de Granger como causalidad. Es precedencia temporal con contenido predictivo. El nombre induce a error y hay que resistirse a él.

Aplicar Granger a series no estacionarias. Produce rechazos espurios, por la misma razón que la regresión espuria del tema 38.

No comparar con el modelo ingenuo. Un RMSE bajo no significa nada en abstracto. Sin la U de Theil no se sabe si el modelo aporta algo.

Concluir que un modelo es mejor por un RMSE algo menor. Hace falta Diebold-Mariano, sobre todo con muestras de evaluación pequeñas.

Sobreajustar. Añadir parámetros siempre mejora el ajuste dentro de la muestra y suele empeorar la predicción fuera. La parsimonia no es elegancia: es eficacia predictiva.

Comparar el RMSE de modelos con distinta variable dependiente. El de un modelo sobre $y_t$ y el de otro sobre $\ln y_t$ no son comparables. Hay que llevar ambos a la misma escala.

Usar un VAR con demasiadas variables. Con $k$ variables y $p$ retardos hay $k+k^{2}p$ parámetros. La regla práctica es no pasar de 4 o 5 variables con muestras habituales.

Interpretar los coeficientes individuales de un VAR. No se interpretan: se usan funciones impulso-respuesta y descomposición de varianza.

Olvidar que las impulso-respuesta dependen del orden de Cholesky. Hay que declarar el orden elegido y, si es posible, comprobar la robustez con otro.

Evaluar con información que no se tendría. Si el modelo usa datos que se publican con retraso, la evaluación debe usar solo lo que estaría disponible en el momento de predecir.

6. Ejercicios

Ejercicio 1 · Medidas de error

básico

Un modelo predice estas ventas (miles €) para cinco meses:

Mes	Real	Predicho
1	120	115
2	134	138
3	128	125
4	145	140
5	139	143

Calcula ME, MAE, RMSE y MAPE, e interpreta.

Ver solución

Errores ($e=\text{real}-\text{predicho}$):

| Mes | $e$ | $|e|$ | $e^2$ | $|e/y|$ | |---|---|---|---|---| | 1 | 5 | 5 | 25 | 0,0417 | | 2 | $-4$ | 4 | 16 | 0,0299 | | 3 | 3 | 3 | 9 | 0,0234 | | 4 | 5 | 5 | 25 | 0,0345 | | 5 | $-4$ | 4 | 16 | 0,0288 | | Σ | 5 | 21 | 91 | 0,1583 |

$$ME=\frac{5}{5}=1,0$$$$MAE=\frac{21}{5}=4,2$$$$RMSE=\sqrt{\frac{91}{5}}=\sqrt{18,2}=4,27$$$$MAPE=\frac{100\times 0,1583}{5}=3,17\%$$

Interpretación.

• $ME=1,0$: ligerísimo sesgo a subestimar (los reales superan a los predichos en 1000 € de media). Es muy pequeño comparado con el MAE de 4,2: no hay sesgo sistemático apreciable.
• $MAE=4,2$: el error típico es de unos 4200 €.
• $RMSE=4,27$, casi igual al MAE. Cuando ambos coinciden, los errores son de tamaño homogéneo: no hay ningún error catastrófico que domine. Si el RMSE fuera mucho mayor que el MAE, habría uno o dos fallos grandes.
• $MAPE=3,17\%$: el error medio es del 3,2 % del valor real. Es la medida comparable con otras series, y un 3 % suele considerarse buena precisión en predicción de ventas mensuales.

Ejercicio 2 · U de Theil

básico

Tres modelos dan estos RMSE al predecir una serie mensual. El modelo ingenuo da un RMSE de 8,4.

Modelo	RMSE
A	6,1
B	8,2
C	9,7

Calcula la U de Theil y evalúa cada uno.

Ver solución

$$U_A=\frac{6,1}{8,4}=0,726$$$$U_B=\frac{8,2}{8,4}=0,976$$$$U_C=\frac{9,7}{8,4}=1,155$$

Modelo A: $U=0,73$. Reduce el error un 27 % respecto al ingenuo. Es una mejora sustancial y el modelo merece la pena.

Modelo B: $U=0,98$. Reduce el error apenas un 2 %. Técnicamente mejora, pero tan poco que casi con seguridad la diferencia no es significativa. No compensa la complejidad de estimarlo y mantenerlo: se usaría el ingenuo, que no tiene parámetros ni riesgo de sobreajuste.

Modelo C: $U=1,16$. Es un 16 % peor que no hacer nada. Suena absurdo pero es frecuente: ocurre cuando el modelo está sobreajustado —ha memorizado el ruido de la muestra de estimación— o mal especificado. Un modelo con $U>1$ hay que descartarlo o rehacerlo.

Conclusión: solo A aporta valor. Y conviene recordar que la U de Theil es la primera comprobación, no la única: habría que verificar con Diebold-Mariano que la ventaja de A es significativa.

Ejercicio 3 · Causalidad de Granger

medio

Con 80 observaciones trimestrales de inversión y tipo de interés, ambas $I(0)$, se estima un VAR(2) y se obtienen estos contrastes:

• Tipo $\to$ inversión: $F=5,12$
• Inversión $\to$ tipo: $F=1,34$

Valor crítico $F_{2,74;0,05}=3,12$.

1. Interpreta los resultados.
2. ¿Se puede concluir que subir tipos reduce la inversión?
3. ¿Qué habría cambiado si las series fueran $I(1)$?

Ver solución

1. Interpretación.

$$\text{Tipo}\to \text{inversioˊn}:5,12>3,12⟹\text{se rechaza}$$

El tipo de interés causa en sentido de Granger a la inversión: su pasado ayuda a predecir la inversión futura.

$$\text{Inversioˊn}\to \text{tipo}:1,34<3,12⟹\text{no se rechaza}$$

La inversión no causa en sentido de Granger al tipo.

Causalidad unidireccional, del tipo a la inversión. Es coherente con la teoría: el tipo lo fija el banco central atendiendo a la inflación y al conjunto de la economía, no a la inversión empresarial en particular.

2. ¿Se puede concluir que subir tipos reduce la inversión?

No, por tres razones distintas.

(a) El contraste no dice nada del signo. Es un contraste $F$ conjunto sobre si los coeficientes son cero. Para saber la dirección del efecto hay que mirar la función impulso-respuesta, que traza la reacción de la inversión ante un shock en el tipo periodo a periodo. El $F$ solo dice que hay relación, no cuál.

(b) Granger no es causalidad. Es contenido predictivo. Podría ocurrir que ambas respondieran a una tercera variable —las expectativas de crecimiento, por ejemplo— con distinto retardo: el banco central reacciona antes que las empresas, y eso bastaría para producir el patrón observado sin ninguna causalidad directa.

(c) Puede haber anticipación. Si las empresas anticipan las decisiones del banco central, podrían ajustar su inversión antes de que el tipo cambie, lo que invertiría el orden temporal observado sin invertir la causalidad.

Lo que sí se puede afirmar: el tipo de interés contiene información útil para predecir la inversión, y para cuantificar la relación hay que examinar las impulso-respuesta —declarando el orden de Cholesky elegido—.

3. Si las series fueran $I(1)$.

El contraste dejaría de ser válido. Sobre series con raíz unitaria, el estadístico $F$ no sigue la distribución $F$ y produce rechazos espurios con mucha frecuencia: es el fenómeno de la regresión espuria del tema 38 aplicado a este contexto.

Qué habría que hacer:

Primero, contrastar la cointegración con el contraste de Johansen.

• Si NO están cointegradas: estimar el VAR en diferencias, $\Delta$tipo y $\Delta$inversión, que son $I(0)$, y hacer Granger ahí.
• Si SÍ están cointegradas: estimar un VEC. En ese caso el contraste de causalidad se amplía: hay que contrastar no solo los coeficientes de los retardos en diferencias sino también el término de corrección del error, porque una variable puede «causar» a otra a través del ajuste al equilibrio de largo plazo aunque sus retardos de corto plazo no sean significativos.

El error que hay que evitar: aplicar Granger directamente sobre los niveles $I(1)$ y concluir que hay causalidad. Es exactamente el tipo de hallazgo falso con excelente aspecto que este bloque enseña a detectar.

Ejercicio 4 · Diseñar una evaluación completa

avanzado

Una empresa quiere elegir entre tres métodos para predecir la demanda semanal de un producto perecedero. Dispone de 260 semanas de datos (5 años). Sobrestimar cuesta 3 €/unidad (desperdicio); subestimar cuesta 11 €/unidad (venta perdida y cliente insatisfecho).

1. Diseña el procedimiento de evaluación.
2. ¿Qué medida de error usarías y por qué?
3. ¿Cómo incorporarías la asimetría de costes?
4. ¿Qué comprobaciones finales harías antes de implantar el método elegido?

Ver solución

1. Procedimiento de evaluación.

Partición inicial. Con 260 observaciones:

• Estimación: semanas 1-208 (4 años, el 80 %).
• Evaluación: semanas 209-260 (1 año, 52 observaciones).

Reservar un año completo es importante con datos semanales: garantiza que la evaluación cubra todos los momentos del ciclo estacional, y no solo una temporada favorable.

Evaluación recursiva con ventana creciente, que es lo que realmente ocurriría en producción:

1. Estimar con las semanas 1-208, predecir la 209.
2. Añadir la 209, reestimar, predecir la 210.
3. Repetir hasta la 260.

Da 52 predicciones a un paso, cada una hecha con la información realmente disponible en ese momento. Es más costoso computacionalmente pero reproduce las condiciones reales de uso.

Horizonte. Debe coincidir con el de decisión. Si el pedido al proveedor se hace con dos semanas de antelación, hay que evaluar predicciones a dos pasos, no a uno. Es un error frecuente evaluar a un paso un modelo que se usará a dos.

Referente obligatorio. Incluir el modelo ingenuo estacional, ${\hat{y}}_{t+1}=y_{t-51}$ (misma semana del año anterior), que en productos con estacionalidad marcada es un competidor sorprendentemente bueno.

2. Medida de error.

Ninguna de las estándar es la adecuada aquí, y ese es el punto del ejercicio. Pero como diagnóstico complementario:

• $ME$: imprescindible. Con costes asimétricos, un sesgo sistemático es muy caro, y hay que saber si existe.
• $MAE$: preferible al RMSE en este caso. La demanda de perecederos tiene picos ocasionales, y el RMSE los penalizaría desproporcionadamente, favoreciendo modelos excesivamente conservadores.
• $MAPE$: útil si la empresa compara este producto con otros de escalas distintas.

Pero la medida decisiva es la de coste, que se define en el apartado siguiente.

3. Incorporar la asimetría de costes.

Función de pérdida asimétrica:

$$L(e_t)=\{\begin{array}{ll}11e_t& \text{si }{e}_t>0(\text{subestimoˊ: demanda}>\text{prediccioˊn})\\ 3|e_t|& \text{si }{e}_t<0(\text{sobrestimoˊ: sobroˊ producto})\end{array}$$

Coste medio por semana:

$$\bar{L}=\frac{1}{52}\sum _{t=209}^{260}L(e_t)$$

Se elige el método que minimice $\bar{L}$, no el de menor RMSE. Un modelo con RMSE algo mayor pero que tienda a sobrestimar ligeramente será más barato, porque sus errores caen del lado barato.

Y hay una consecuencia operativa importante: la predicción óptima no es la media. Con costes asimétricos, la decisión óptima es un cuantil de la distribución predictiva, exactamente el problema del vendedor de periódicos del tema 23:

$$\text{cuantil oˊptimo}=\frac{c_{\text{subestimar}}}{c_{\text{subestimar}}+c_{\text{sobrestimar}}}=\frac{11}{11+3}=0,786$$

Hay que pedir el percentil 78,6 de la predicción, no la predicción central. Si el modelo da $\hat{y}=400$ con desviación típica del error de 45:

$$\text{pedido oˊptimo}=400+0,793(45)=435,7\approx 436\text{ unidades}$$

usando $z_{0,786}=0,793$.

Esto es lo más valioso del ejercicio: el modelo predictivo y la decisión son cosas distintas. El modelo da una distribución; la decisión toma de ella el cuantil que minimiza el coste esperado. Un buen modelo mal usado —tomando la media— cuesta dinero innecesariamente.

4. Comprobaciones antes de implantar.

(a) U de Theil frente al ingenuo estacional. Si $U\ge 1$, el método no aporta nada y conviene quedarse con la regla simple, que además nadie tiene que mantener.

(b) Diebold-Mariano entre los dos mejores candidatos, usando la función de pérdida asimétrica como criterio, no el error cuadrático. Con 52 observaciones, diferencias pequeñas pueden no ser significativas.

(c) Estabilidad en el tiempo. Dibujar el error acumulado a lo largo de las 52 semanas. Si se deteriora en algún tramo, puede haber un cambio estructural o un componente estacional mal capturado.

(d) Análisis de los peores errores. Localizar las 3 o 4 semanas de mayor error y buscar la causa: ¿fue una promoción? ¿Un festivo? ¿Rotura de stock que truncó la demanda observada? Este último caso es especialmente traicionero: si hubo rotura, la demanda real fue mayor que la registrada, y el modelo está aprendiendo de datos censurados.

(e) Combinación. Probar si la media de los dos mejores métodos mejora a ambos. Es barato de comprobar y funciona más veces de las que cabría esperar.

(f) Coste de mantenimiento. Un método un 3 % mejor que exija reestimación manual semanal por un analista puede ser peor opción que uno automático algo menos preciso. La precisión no es el único criterio.

(g) Plan de revisión. Fijar de antemano cada cuánto se reevaluará el método y qué deterioro del error activará una revisión. Un modelo implantado y nunca revisado se degrada en silencio.

7. Qué desbloquea

Necesitas antes:

• Endogeneidad, variables instrumentales, ecuaciones simultáneas y elección discreta — tema 34
• Modelos univariantes ARIMA y metodología Box-Jenkins — tema 39

Te abre la puerta a:

Este tema cierra los 40 del plan. Con él quedan cubiertas las siete asignaturas: del repaso de logaritmos del tema 1 a la evaluación de predicciones multivariantes, pasando por la optimización, la inferencia y la econometría.

Los caminos naturales desde aquí son la macroeconometría (VAR estructurales, cointegración multivariante), los datos de panel —que combinan sección cruzada y series temporales— y los modelos de volatilidad de la familia ARCH/GARCH para series financieras.

8. Recursos externos

• Guía docente de Métodos Econométricos (UC3M). Es el mapa de validación de este tema: confirma que VAR y cointegración son el contenido esperado en la parte multivariante.
• eknowmetrics — curso de ARIMA. Su parte final trata la evaluación de predicciones con ejercicios de exámenes resueltos.
• Apuntes Box-Jenkins de De Arce y Mahía (UAM). Incluyen la fase de predicción y comparación de modelos.
• Wooldridge, capítulos de series temporales avanzadas, para causalidad de Granger y predicción.
• Gretl. Modelo → Series temporales multivariantes → VAR estima el sistema y ofrece directamente los contrastes de causalidad de Granger, las funciones impulso-respuesta y la descomposición de la varianza. Para evaluación fuera de muestra, la opción de reservar observaciones al final está en el propio cuadro de estimación.