Regresión múltiple, supuestos de Gauss-Markov, R² y contrastes

1. La pregunta

El tema 29 terminó con un problema: el coeficiente de la educación sobre el salario está contaminado por todo lo que va junto con estudiar. La solución obvia es medir esas otras cosas y meterlas en el modelo.

Pero eso plantea una pregunta nueva: cuando hay tres variables explicativas, ¿qué significa exactamente el coeficiente de una de ellas? La respuesta —«el efecto de esa variable manteniendo las demás constantes»— es la razón de ser de la regresión múltiple, y es lo que permite hablar de efectos parciales con datos que no vienen de un experimento.

2. Intuición

Ceteris paribus con datos observacionales. En un laboratorio se fija todo menos una variable. Con datos económicos no se puede: los años de estudio, la experiencia y el sector varían todos a la vez.

La regresión múltiple hace algo equivalente por cálculo. El coeficiente de la educación responde a: entre personas con la misma experiencia y el mismo sector, ¿cuánto más gana quien tiene un año más de estudios? Es una comparación entre iguales, construida estadísticamente.

Cómo lo consigue. Hay una interpretación muy útil: el coeficiente de $x_1$ en una regresión múltiple es el mismo que se obtendría en dos pasos —primero se «limpia» $x_1$ de lo que comparte con las demás variables, quedándose con sus residuos; luego se regresa $y$ sobre esa parte limpia—. El coeficiente usa solo la variación de $x_1$ que no comparte con nadie.

De ahí sale una consecuencia inmediata: si $x_1$ apenas tiene variación propia —si está muy correlacionada con las otras— queda poquísima información para estimar su efecto, y el coeficiente sale muy impreciso. Eso es la multicolinealidad, y tiene su propio tratamiento en el tema 33.

Y por qué hacen falta matrices. Con tres regresores las fórmulas de sumatorios se vuelven inmanejables. Con matrices, el estimador cabe en una línea y vale para cualquier número de variables. Es el momento en que el bloque 2 deja de ser un requisito formal y se vuelve indispensable.

3. Formalización

El modelo

$$y_i={\beta }_0+{\beta }_1{x}_{1i}+{\beta }_2{x}_{2i}+\cdots +{\beta }_k{x}_{ki}+u_i$$

con $n$ observaciones y $k$ regresores además de la constante.

Interpretación de ${\beta }_j$:

$${\beta }_j=\frac{\partial y}{\partial x_j}$$

el cambio esperado en $y$ ante un aumento unitario de $x_j$, manteniendo constantes las demás variables incluidas en el modelo.

La coletilla final es esencial: el «ceteris paribus» solo alcanza a lo que está en el modelo. Lo que se omite sigue variando libremente.

Forma matricial

Con la notación del tema 6:

$$\mathbf{y}=\mathbf{X}\mathbf{\beta }+\mathbf{u}$$

Objeto	Orden	Contenido
$\mathbf{y}$	$n\times 1$	observaciones de la dependiente
$\mathbf{X}$	$n\times (k+1)$	columna de unos + regresores
$\mathbf{\beta }$	$(k+1)\times 1$	parámetros
$\mathbf{u}$	$n\times 1$	perturbaciones

La primera columna de $\mathbf{X}$ es de unos, y es la que genera el término constante.

Estimador MCO

Se minimiza

$$SCR={\mathbf{u}}^{\prime }\mathbf{u}=(\mathbf{y}-\mathbf{X}\mathbf{\beta }{)}^{\prime }(\mathbf{y}-\mathbf{X}\mathbf{\beta })$$

Desarrollando y derivando respecto del vector $\mathbf{\beta }$ —con el gradiente del tema 11— se llega a las ecuaciones normales:

$${\mathbf{X}}^{\prime }\mathbf{X}\hat{\mathbf{\beta }}={\mathbf{X}}^{\prime }\mathbf{y}$$

y de ahí

$$\boxed{\hat{\mathbf{\beta }}=({\mathbf{X}}^{\prime }\mathbf{X}{)}^{-1}{\mathbf{X}}^{\prime }\mathbf{y}}$$

Existe si y solo si ${\mathbf{X}}^{\prime }\mathbf{X}$ es invertible, es decir, si $\mathbf{X}$ tiene rango completo por columnas (tema 7). Eso exige que ninguna columna sea combinación lineal de las otras: es el supuesto de no multicolinealidad perfecta.

Es exactamente el ejercicio 3 del tema 7: si una variable es «publicidad» y otra «publicidad en miles», el rango cae y el estimador no existe.

Los supuestos de Gauss-Markov

Nº	Supuesto	Formulación
1	Linealidad en parámetros	$\mathbf{y}=\mathbf{X}\mathbf{\beta }+\mathbf{u}$
2	Muestreo aleatorio	observaciones i.i.d.
3	No multicolinealidad perfecta	$\mathrm{rg}(\mathbf{X})=k+1$
4	Exogeneidad estricta	$E[\mathbf{u}\mid \mathbf{X}]=0$
5	Homocedasticidad y no autocorrelación	$\mathrm{Var}(\mathbf{u}\mid \mathbf{X})={\sigma }^2{\mathbf{I}}_n$
6	Normalidad (solo para inferencia exacta)	$\mathbf{u}\mid \mathbf{X}\sim N(0,{\sigma }^2\mathbf{I})$

El supuesto 5 en forma matricial dice dos cosas a la vez: la diagonal constante es homocedasticidad (tema 32), y los ceros fuera de la diagonal son ausencia de autocorrelación (tema 33).

Propiedades bajo los supuestos 1-4:

$$E[\hat{\mathbf{\beta }}]=\mathbf{\beta }\text{(insesgado)}$$

Añadiendo el 5:

$$\mathrm{Var}(\hat{\mathbf{\beta }})={\sigma }^2({\mathbf{X}}^{\prime }\mathbf{X}{)}^{-1}$$

Teorema de Gauss-Markov. Bajo los supuestos 1 a 5, MCO es ELIO: el estimador lineal insesgado de mínima varianza. Cualquier otro estimador lineal e insesgado tiene varianza mayor o igual.

Lo que el teorema NO dice, y conviene tener claro:

• No dice que MCO sea el mejor entre todos los estimadores, solo entre los lineales e insesgados. Un estimador sesgado puede tener menor ECM (tema 25).
• No dice nada si falla el supuesto 4: entonces MCO ni siquiera es insesgado.
• La normalidad no hace falta para Gauss-Markov, solo para que los contrastes $t$ y $F$ sean exactos con muestras pequeñas.

Estimación de la varianza de la perturbación:

$${\hat{\sigma }}^2=\frac{SCR}{n-k-1}$$

Los grados de libertad son $n-k-1$: se han estimado $k+1$ parámetros.

Bondad del ajuste

$$R^2=1-\frac{SCR}{SCT}$$

Problema: $R^2$ nunca baja al añadir variables, aunque sean irrelevantes. Añadiendo basura suficiente se llega a 1. Por eso se usa el $R^2$ ajustado:

$${\bar{R}}^2=1-\frac{SCR/(n-k-1)}{SCT/(n-1)}=1-(1-R^2)\frac{n-1}{n-k-1}$$

Penaliza por número de regresores y puede bajar al añadir una variable inútil. Puede incluso ser negativo.

Ninguno de los dos es criterio para elegir un modelo. Un modelo se elige por la teoría económica y por el cumplimiento de los supuestos, no maximizando el ajuste.

Contrastes

Individual ($t$). Para $H_0:{\beta }_j=0$:

$$t=\frac{{\hat{\beta }}_j}{\mathrm{ee}({\hat{\beta }}_j)}\sim t_{n-k-1}$$

Conjunto de significación global ($F$). Para $H_0:{\beta }_1={\beta }_2=\cdots ={\beta }_k=0$:

$$F=\frac{R^2/k}{(1-R^2)/(n-k-1)}\sim F_{k,n-k-1}$$

Contraste de restricciones lineales ($F$ general). Compara el modelo sin restringir con el restringido:

$$F=\frac{(SC{R}_R-SC{R}_{NR})/q}{SC{R}_{NR}/(n-k-1)}\sim F_{q,n-k-1}$$

donde $q$ es el número de restricciones. Sirve para contrastar «este grupo de variables no importa», «los dos coeficientes son iguales» o «suman uno» —esta última, la hipótesis de rendimientos constantes a escala en una Cobb-Douglas del tema 10—.

Una discrepancia frecuente. Puede ocurrir que ningún coeficiente sea individualmente significativo y el $F$ conjunto sí lo sea. No es contradicción: significa que las variables explican conjuntamente pero están tan correlacionadas entre sí que no se puede separar su contribución individual. Es la firma de la multicolinealidad.

4. Ejemplo económico resuelto

Problema. Se estima con 40 empresas el modelo

$$\ln (\text{ventas})={\beta }_0+{\beta }_1\ln (\text{empleo})+{\beta }_2\ln (\text{capital})+{\beta }_3\text{exportadora}+u$$

donde «exportadora» vale 1 si la empresa exporta y 0 si no. Los resultados son:

Variable	Coeficiente	Error estándar
Constante	1,842	0,631
$\ln (\text{empleo})$	0,612	0,118
$\ln (\text{capital})$	0,347	0,092
exportadora	0,213	0,081

$$R^2=0,783,SCR=4,126,SCT=19,015$$

1. Interpreta los coeficientes.
2. Contrasta la significación individual y global al 5 %.
3. Calcula el $R^2$ ajustado.
4. Contrasta si hay rendimientos constantes a escala, sabiendo que el modelo con esa restricción impuesta da $SC{R}_R=4,418$.

Paso 1. Interpretación. Al estar en logaritmos, los coeficientes son elasticidades (tema 4):

• ${\hat{\beta }}_1=0,612$: un 1 % más de empleo se asocia con un 0,61 % más de ventas, manteniendo constantes el capital y la condición de exportadora.
• ${\hat{\beta }}_2=0,347$: un 1 % más de capital, un 0,35 % más de ventas, con lo demás constante.
• ${\hat{\beta }}_3=0,213$: la variable es una dummy, no un logaritmo, así que se lee distinto. Aproximadamente, las empresas exportadoras venden un 21,3 % más que las comparables que no exportan. (La lectura exacta es $e^{0,213}-1=23,7\%$; la aproximación lineal se justifica en el tema 31.)

Paso 2. Contrastes individuales. Grados de libertad: $n-k-1=40-3-1=36$. $t_{36;0,025}=2,028$.

$$t_{\text{empleo}}=\frac{0,612}{0,118}=5,186⟹\text{significativa}$$ $$t_{\text{capital}}=\frac{0,347}{0,092}=3,772⟹\text{significativa}$$ $$t_{\text{exportadora}}=\frac{0,213}{0,081}=2,630⟹\text{significativa}$$ $$t_{\text{constante}}=\frac{1,842}{0,631}=2,919⟹\text{significativa}$$

Las tres variables son individualmente significativas al 5 %.

Contraste global.

$$F=\frac{R^2/k}{(1-R^2)/(n-k-1)}=\frac{0,783/3}{0,217/36}=\frac{0,261}{0,0060278}=43,30$$ $$F_{3,36;0,05}=2,866$$ $$43,30\gg 2,866⟹\text{se rechaza }{H}_0$$

El modelo es globalmente significativo con mucho margen.

Paso 3. $R^2$ ajustado.

$${\bar{R}}^2=1-(1-0,783)\frac{40-1}{40-3-1}=1-0,217\times \frac{39}{36}=1-0,217(1,0833)$$ $${\bar{R}}^2=1-0,2351=0,7649$$

Baja del 78,3 % al 76,5 %: la penalización por tres regresores es pequeña con 40 observaciones.

Paso 4. Rendimientos constantes a escala. La hipótesis es que las elasticidades de los factores suman uno:

$$H_0:{\beta }_1+{\beta }_2=1H_1:{\beta }_1+{\beta }_2\ne 1$$

Es una restricción, luego $q=1$.

$$F=\frac{(SC{R}_R-SC{R}_{NR})/q}{SC{R}_{NR}/(n-k-1)}=\frac{(4,418-4,126)/1}{4,126/36}$$ $$=\frac{0,292}{0,114611}=2,548$$ $$F_{1,36;0,05}=4,113$$ $$2,548<4,113⟹\text{NO se rechaza }{H}_0$$

Conclusión. Los datos son compatibles con rendimientos constantes a escala. La suma estimada es $0,612+0,347=0,959$, algo por debajo de 1, pero la diferencia no es significativa.

Comprobación por la vía del $t$. Con una sola restricción, el contraste $F$ es equivalente a un $t$ y debe cumplirse $F=t^2$:

$$t=\sqrt{2,548}=1,596$$

que en efecto es menor que $t_{36;0,025}=2,028$. Coherente.

Lectura económica. Que no se rechacen los rendimientos constantes tiene consecuencias: significa que duplicar empleo y capital duplicaría las ventas, y que no hay ventaja de escala en este sector. Es la propiedad que en el tema 13 marcaba la frontera entre tener un tamaño óptimo determinado y no tenerlo.

Y el aviso de siempre. Todo esto describe asociaciones. Para que ${\hat{\beta }}_3$ mida el efecto causal de exportar haría falta que la decisión de exportar no dependa de características no observadas que también afectan a las ventas. Y no es así: las empresas más productivas son precisamente las que deciden exportar. El coeficiente está probablemente sesgado al alza, y separarlo exige el tema 34.

5. Errores típicos

Interpretar un coeficiente sin la coletilla. «Un año más de estudios sube el salario un 8 %» está incompleto. Es «manteniendo constantes las demás variables del modelo».

Creer que controlar por observables elimina el sesgo. Solo elimina el de las variables incluidas. Lo no observado —capacidad, calidad de gestión, motivación— sigue en $u$.

Elegir el modelo maximizando $R^2$. Siempre sube al añadir variables. El ${\bar{R}}^2$ mitiga el problema pero tampoco es un criterio de especificación.

Confundir significación individual y conjunta. Que ningún coeficiente sea significativo por separado y el $F$ sí lo sea es información valiosa: señala multicolinealidad, no un error de cálculo.

Olvidar los grados de libertad correctos. Son $n-k-1$, con $k$ el número de regresores sin contar la constante.

Incluir variables perfectamente colineales. El modelo no se puede estimar: ${\mathbf{X}}^{\prime }\mathbf{X}$ es singular. Es lo que pasa con la trampa de las dummies del tema 31.

Aplicar el contraste $F$ de restricciones con los $SCR$ intercambiados. El restringido siempre tiene $SCR$ mayor o igual: restringir nunca mejora el ajuste. Si sale negativo, están cambiados.

Añadir controles sin criterio. Incluir una variable que está causada por el regresor de interés («mala control») introduce sesgo en lugar de quitarlo. Controlar por el sector cuando la educación determina el sector bloquea parte del efecto que se quiere medir.

6. Ejercicios

Ejercicio 1 · Interpretar coeficientes

básico

Se estima con 120 hogares:

$$\widehat{\text{gasto}}=320+0,42\text{renta}-85\text{miembros}+0,03\text{patrimonio}$$

(gasto, renta y patrimonio en euros mensuales; miembros, en personas).

Interpreta cada coeficiente.

Ver solución

• Constante (320 €): gasto de un hogar con renta cero, cero miembros y cero patrimonio. No tiene interpretación útil: un hogar de cero miembros no existe. La constante suele ser solo un ajuste de nivel.

• Renta (0,42): por cada euro adicional de renta mensual, el gasto sube 42 céntimos, manteniendo constantes el número de miembros y el patrimonio. Es la propensión marginal a consumir.

• Miembros ($-85$): un miembro más se asocia con 85 € menos de gasto, con la misma renta y patrimonio.

  El signo negativo es llamativo y hay que explicarlo: no dice que las familias grandes gasten menos en total, sino que con la misma renta, una familia más numerosa gasta menos. Tiene sentido: la renta se reparte entre más personas y hay economías de escala en el hogar (una vivienda, una calefacción). Sin controlar por renta, el coeficiente saldría positivo.

• Patrimonio (0,03): por cada euro adicional de patrimonio, 3 céntimos más de gasto mensual. Es el efecto riqueza: quien tiene más patrimonio ahorra menos de su renta corriente.

Lo que ilustra el caso de «miembros». El signo de un coeficiente en regresión múltiple puede ser el contrario que en regresión simple, y no es un error: son preguntas distintas. La simple pregunta «¿gastan más las familias grandes?»; la múltiple, «¿gastan más con la misma renta?».

Ejercicio 2 · Contraste conjunto

básico

Un modelo con 5 regresores y 60 observaciones da $R^2=0,34$.

1. Contrasta la significación global al 5 %.
2. Calcula el $R^2$ ajustado.

Ver solución

1.

$$F=\frac{R^2/k}{(1-R^2)/(n-k-1)}=\frac{0,34/5}{0,66/54}=\frac{0,068}{0,012222}=5,564$$$$F_{5,54;0,05}\approx 2,386$$$$5,564>2,386⟹\text{se rechaza }{H}_0$$

El conjunto de regresores explica significativamente la variable dependiente.

2.

$${\bar{R}}^2=1-(1-0,34)\frac{59}{54}=1-0,66(1,0926)=1-0,7211=0,2789$$

Baja del 34 % al 27,9 %: con cinco regresores y 60 observaciones la penalización ya es apreciable.

Nota. Un $R^2$ del 34 % es perfectamente normal en datos de sección cruzada de individuos o empresas, que son muy heterogéneos. No es un mal modelo por eso.

Ejercicio 3 · Contraste de restricciones

medio

Se estima con 50 observaciones

$$\ln (\text{salario})={\beta }_0+{\beta }_1\text{educ}+{\beta }_2\text{exper}+{\beta }_3{\text{exper}}^2+{\beta }_4\text{antig}+u$$

con $SC{R}_{NR}=8,42$. Al imponer $H_0:{\beta }_2={\beta }_3={\beta }_4=0$, el modelo restringido da $SC{R}_R=11,96$.

1. Contrasta la hipótesis al 5 %.
2. ¿Qué significa económicamente?

Ver solución

1. Son $q=3$ restricciones. Grados de libertad del modelo sin restringir: $n-k-1=50-4-1=45$.

$$F=\frac{(SC{R}_R-SC{R}_{NR})/q}{SC{R}_{NR}/(n-k-1)}=\frac{(11,96-8,42)/3}{8,42/45}$$$$=\frac{3,54/3}{0,187111}=\frac{1,18}{0,187111}=6,306$$$$F_{3,45;0,05}\approx 2,812$$$$6,306>2,812⟹\text{se rechaza }{H}_0$$

2. Interpretación. Se rechaza que la experiencia (en sus dos formas) y la antigüedad sean conjuntamente irrelevantes: al menos una de ellas explica el salario.

Lo que el contraste NO dice: cuál de las tres importa. Para eso hacen falta los contrastes individuales, y podría ocurrir perfectamente que ninguno de los tres $t$ fuera significativo por separado —experiencia, experiencia al cuadrado y antigüedad están muy correlacionadas entre sí— mientras el $F$ conjunto sí lo es.

Por qué está exper al cuadrado. Porque el efecto de la experiencia sobre el salario no es lineal: crece deprisa al principio y se aplana o incluso decrece al final de la carrera. El efecto marginal es

$$\frac{\partial \ln (\text{salario})}{\partial \text{exper}}={\beta }_2+2{\beta }_3\text{exper}$$

que depende del nivel de experiencia. Con ${\beta }_2>0$ y ${\beta }_3<0$, el máximo está en ${\text{exper}}^{\ast }=-{\beta }_2/(2{\beta }_3)$, que es una condición de primer orden del tema 5 aplicada dentro de un modelo econométrico.

Detalle importante: el modelo sigue siendo lineal en parámetros, que es lo que exige el supuesto 1. La no linealidad está en las variables, no en los coeficientes, y por eso MCO sigue siendo válido.

Ejercicio 4 · Cuándo controlar y cuándo no

avanzado

Un investigador quiere estimar el efecto de tener estudios universitarios sobre el salario. Dispone de datos sobre: sexo, edad, provincia, ocupación actual, sector, y una prueba de aptitud realizada a los 16 años.

1. ¿Qué variables debe incluir como controles y cuáles no? Justifica cada una.
2. ¿Qué sesgo queda tras incluir los controles adecuados?
3. Se observa que al añadir la ocupación el coeficiente de universidad cae de 0,32 a 0,11. ¿Qué significa?

Ver solución

1. Qué controlar.

Sí, sin duda:

• Sexo, edad, provincia. Son características anteriores a la decisión de estudiar (o invariantes) y afectan al salario. Controlarlas elimina sesgo sin bloquear nada.
• Prueba de aptitud a los 16 años. Es la variable de oro de este problema. La capacidad es la principal variable omitida del tema 29: sube el salario y está correlacionada con estudiar. Y como se midió antes de la universidad, no puede estar afectada por ella.

No, en absoluto:

• Ocupación actual. Es un canal a través del cual la universidad afecta al salario: estudiar permite acceder a ocupaciones mejor pagadas. Controlar por ella bloquea parte del efecto que se quiere medir. Es lo que se llama un mal control o variable post-tratamiento.
• Sector, por la misma razón, aunque de forma más discutible: la titulación influye en el sector al que se accede.

La regla general. Se controla por lo que está antes del tratamiento y afecta a ambas variables; no se controla por lo que está después y es consecuencia del tratamiento.

2. Qué sesgo queda. Aun con la prueba de aptitud, quedan variables no observadas que afectan tanto a estudiar como a ganar:

• Recursos y contactos familiares. Facilitan ir a la universidad y conseguir buenos empleos por su cuenta. Sesgo al alza.
• Motivación, ambición, disciplina. No las capta una prueba de aptitud. Sesgo al alza.
• Preferencias por el riesgo o el tipo de trabajo. Efecto ambiguo.

Conclusión honesta: incluso con los mejores controles observables, el coeficiente seguirá sobreestimando el efecto causal de la universidad. Es la razón de que la literatura recurra a variables instrumentales —distancia a la universidad más cercana, reformas de la edad de escolarización obligatoria— en el tema 34.

3. La caída de 0,32 a 0,11. Es exactamente lo que predice la teoría del mal control.

Qué significa. Entre personas que trabajan en la misma ocupación, tener carrera solo añade un 11 % de salario. Pero eso no es el efecto de la universidad: la mayor parte de su valor consiste precisamente en poder acceder a esa ocupación.

Descomponiendo:

$$\underset{\text{efecto total}}{\underbrace{0,32}}=\underset{\text{efecto dentro de la ocupacioˊn}}{\underbrace{0,11}}+\underset{\text{efecto vıˊa acceso a mejores ocupaciones}}{\underbrace{0,21}}$$

Cuál usar depende de la pregunta:

• «¿Cuánto le renta a una persona ir a la universidad?» $\to$ 0,32, el efecto total (con el sesgo al alza que sigue teniendo).
• «¿Pagan más a los universitarios haciendo el mismo trabajo?» $\to$ 0,11, que responde a una pregunta distinta y legítima, por ejemplo sobre discriminación salarial por titulación.

El error grave sería presentar el 0,11 como «el efecto causal de la universidad correctamente estimado, controlando por más variables». Más controles no es automáticamente mejor: cada control debe justificarse por lo que hace, no por cuánto sube el $R^2$ ni por cuánto «limpia» el coeficiente.

7. Qué desbloquea

Necesitas antes:

• Determinantes, rango e inversa — tema 7
• Contraste de hipótesis — tema 27
• Modelo estadístico, correlación frente a causalidad y regresión simple por MCO — tema 29

Te abre la puerta a:

• Variables dummy y formas funcionales (log-log, log-lin) — tema 31
• Heterocedasticidad, mínimos cuadrados generalizados y normalidad — tema 32
• Autocorrelación y multicolinealidad — tema 33
• Endogeneidad, variables instrumentales, ecuaciones simultáneas y elección discreta — tema 34

8. Recursos externos

• OCW UPV/EHU — «Análisis de Regresión con Gretl». El modelo lineal general en forma matricial, con toda la inferencia y los contrastes de restricciones lineales resueltos con Gretl.
• Curso de Econometría — Hugo Maul. Los vídeos de modelo lineal general y regresión múltiple.
• Wooldridge. El capítulo de regresión múltiple es la referencia para el sesgo por variable omitida y la discusión de qué controlar.
• Gretl. Al estimar por MCO, la salida da directamente coeficientes, errores estándar, $t$, valores p, $R^2$, ${\bar{R}}^2$ y el $F$ global. Los contrastes de restricciones están en Contrastes → Restricciones lineales, escribiendo por ejemplo b2 + b3 = 1.
• Exámenes de la UOC. Los que circulan preguntan por la normalidad en el MRLM y por contrastes conjuntos: los dos están en este tema y se desarrollan en el 32.