Contraste de hipótesis: errores tipo I y II, significación y potencia

1. La pregunta

Una empresa lanza una campaña publicitaria. Las ventas del mes siguiente suben un 4 %. ¿Funcionó la campaña, o es la fluctuación normal de un mes cualquiera?

Las ventas suben y bajan todos los meses sin que nadie haga nada. La pregunta no es si subieron —eso se ve— sino si subieron más de lo que el azar explicaría. Responderla es un contraste de hipótesis, y es la maquinaria que sostiene todas las decisiones basadas en datos: desde aprobar un medicamento hasta declarar significativo un coeficiente de regresión en el tema 30.

2. Intuición

Un contraste funciona como un juicio penal, y la analogía es exacta en cada pieza.

Presunción de inocencia. Se parte de que no hay efecto: la campaña no sirvió, el medicamento no cura, la variable no influye. Esa es la hipótesis nula, $H_0$. No se acepta porque se crea, sino porque es el punto de partida por defecto.

La carga de la prueba recae en la acusación. Para condenar hacen falta pruebas «más allá de toda duda razonable». Para rechazar $H_0$ hacen falta datos tan improbables bajo $H_0$ que sea más razonable pensar que $H_0$ es falsa.

Dos formas de equivocarse. Condenar a un inocente (error tipo I) o absolver a un culpable (error tipo II). Los sistemas judiciales se diseñan para minimizar el primero, aceptando más del segundo. La estadística clásica hace exactamente lo mismo: fija $\alpha$ pequeño y deja $\beta$ a lo que salga.

«No culpable» no es «inocente». Un veredicto absolutorio significa que no hubo pruebas suficientes, no que se haya demostrado la inocencia. Igual: no rechazar $H_0$ no la demuestra. Por eso nunca se dice «acepto $H_0$» sino «no hay evidencia para rechazarla».

Y la parte contraintuitiva. Con una muestra enorme se rechaza casi cualquier $H_0$, porque hasta una diferencia ridícula se vuelve detectable. Significativo estadísticamente no es lo mismo que importante económicamente. Es el error de interpretación que más daño hace en econometría aplicada.

3. Formalización

Las hipótesis

$$H_0:\theta ={\theta }_0\text{frente a}{H}_1:\theta \ne {\theta }_0$$

• $H_0$, la hipótesis nula, siempre contiene la igualdad. Es la que se somete a prueba.
• $H_1$, la alternativa, es lo que se sospecha o se quiere demostrar.

Contrastes bilaterales y unilaterales:

Alternativa	Tipo	Se rechaza si
$H_1:\theta \ne {\theta }_0$	bilateral	el estadístico es extremo por cualquier lado
$H_1:\theta >{\theta }_0$	unilateral derecho	el estadístico es grande
$H_1:\theta <{\theta }_0$	unilateral izquierdo	el estadístico es pequeño

La alternativa se decide ANTES de ver los datos. Elegirla después, para que salga significativo, invalida el contraste.

Los dos errores

	$H_0$ verdadera	$H_0$ falsa
Rechazar $H_0$	Error tipo I ($\alpha$)	Decisión correcta ($1-\beta$)
No rechazar $H_0$	Decisión correcta ($1-\alpha$)	Error tipo II ($\beta$)

$$\alpha =P(\text{rechazar }{H}_0\mid H_0\text{ cierta})$$ $$\beta =P(\text{no rechazar }{H}_0\mid H_0\text{ falsa})$$

$\alpha$ es el nivel de significación y se fija de antemano: 0,05, 0,01 o 0,10 según lo que cueste equivocarse.

$1-\beta$ es la potencia del contraste: la capacidad de detectar un efecto que realmente existe.

El conflicto. Con $n$ fijo, reducir $\alpha$ aumenta $\beta$: ser más exigente para condenar deja escapar a más culpables. La única forma de reducir los dos a la vez es aumentar la muestra.

Estadístico de contraste y regiones

Un estadístico de contraste mide la discrepancia entre lo observado y lo que $H_0$ predice, en unidades de error típico. Para la media:

$$t=\frac{\bar{x}-{\mu }_0}{s/\sqrt{n}}\sim t_{n-1}\text{bajo }{H}_0$$

La región crítica o de rechazo es el conjunto de valores del estadístico que llevan a rechazar. Para un bilateral al nivel $\alpha$:

$$|t|>t_{n-1;\alpha /2}$$

El valor p

El valor p es la probabilidad de obtener un resultado al menos tan extremo como el observado, suponiendo que $H_0$ es cierta.

$$\text{Se rechaza }{H}_0⟺p<\alpha$$

Lo que el valor p NO es, y aquí se concentran casi todos los errores:

• No es la probabilidad de que $H_0$ sea cierta. $H_0$ no tiene probabilidad en el enfoque clásico: es cierta o falsa.
• No es la probabilidad de haberse equivocado al rechazar.
• No mide el tamaño del efecto. Un $p=0,001$ con una muestra enorme puede corresponder a un efecto insignificante.

Lo que sí es: una medida de cuán sorprendentes son los datos si $H_0$ fuera cierta. Un $p=0,03$ dice «si no hubiera efecto, datos así de extremos aparecerían 3 veces de cada 100».

Contrastes más frecuentes

Media, $\sigma$ desconocida:

$$t=\frac{\bar{x}-{\mu }_0}{s/\sqrt{n}}\sim t_{n-1}$$

Proporción:

$$z=\frac{\hat{p}-p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}}\sim N(0,1)$$

Nótese que en el denominador va $p_0$, el valor de $H_0$, no $\hat{p}$: bajo $H_0$ se conoce la varianza. Es la diferencia con el intervalo de confianza del tema 26, donde no hay ningún $p_0$ que suponer.

Varianza (población normal):

$${\chi }^2=\frac{(n-1)s^2}{{\sigma }_0^2}\sim {\chi }_{n-1}^2$$

Cálculo de la potencia

Para calcular $\beta$ hay que fijar un valor concreto de la alternativa, ${\mu }_1$. En un contraste bilateral con $\sigma$ conocida:

$$\beta =P\left(\left|\frac{\bar{X}-{\mu }_0}{\sigma /\sqrt{n}}\right|\le z_{\alpha /2}|\mu ={\mu }_1\right)$$

La potencia crece con:

• el tamaño del efecto $|{\mu }_1-{\mu }_0|$: los efectos grandes son fáciles de detectar;
• el tamaño muestral $n$;
• el nivel $\alpha$: ser menos exigente aumenta la potencia, a costa de más falsos positivos;
• menor variabilidad $\sigma$.

Un contraste con poca potencia es peligroso: no rechazar $H_0$ no significa nada, porque el contraste no habría detectado ni un efecto grande.

Relación con los intervalos de confianza

$$\text{No se rechaza }{H}_0:\theta ={\theta }_0\text{ al nivel }\alpha ⟺{\theta }_0\text{ estaˊ en el }I{C}_{1-\alpha }$$

Son la misma inferencia presentada de dos formas. El intervalo es más informativo porque da todos los valores compatibles con los datos, no solo un sí/no sobre uno.

Significación estadística frente a relevancia económica

Un resultado significativo dice que el efecto existe; no dice que importe.

• Con $n$ enorme, cualquier diferencia distinta de cero acaba siendo significativa.
• Con $n$ pequeño, un efecto grande puede no serlo.

Siempre hay que informar del tamaño del efecto y de su intervalo de confianza, no solo del valor p. Un aumento de ventas del 0,3 % puede ser significativísimo y no pagar la campaña.

4. Ejemplo económico resuelto

Problema. Una cadena de tiendas tiene un ticket medio histórico de 48 €. Tras una campaña, una muestra de 64 tickets da $\bar{x}=51,20$ € con $s=12,80$ €.

1. Plantea y resuelve el contraste al 5 %.
2. Calcula el valor p.
3. Calcula la potencia del contraste si el efecto real fuera de 3 €.
4. La campaña costó 12 000 € y la cadena vende 8000 tickets al mes. ¿Compensó?

Paso 1. Plantear las hipótesis. La cadena quiere saber si la campaña subió el ticket, así que la alternativa es unilateral derecha:

$$H_0:\mu =48H_1:\mu >48$$

(Decidido antes de ver los datos: la campaña solo puede haber ayudado o no haber hecho nada.)

Paso 2. Estadístico de contraste.

$$\text{Error tıˊpico}=\frac{s}{\sqrt{n}}=\frac{12,80}{8}=1,60\text{ €}$$ $$t=\frac{51,20-48}{1,60}=\frac{3,20}{1,60}=2,00$$

Paso 3. Región crítica. Unilateral derecho al 5 % con 63 grados de libertad:

$$t_{63;0,05}=1,669$$ $$t=2,00>1,669⟹\text{se rechaza }{H}_0$$

Conclusión: hay evidencia, al nivel del 5 %, de que el ticket medio ha aumentado.

Paso 4. Valor p.

$$p=P(T_{63}>2,00)\approx 0,0249$$ $$p=0,025<0,05⟹\text{se rechaza}✓$$

Lectura correcta: «si la campaña no hubiera tenido ningún efecto, obtener un ticket medio de 51,20 € o más en una muestra de 64 tendría una probabilidad del 2,5 %».

Lectura incorrecta: «hay un 2,5 % de probabilidad de que la campaña no haya funcionado». Eso sería $P(H_0\mid \text{datos})$, que este marco no calcula.

Paso 5. Potencia si el efecto real fuera de 3 €. Es decir, ${\mu }_1=51$.

Se rechaza $H_0$ cuando $\bar{X}$ supera el valor crítico:

$${\bar{x}}_c=48+1,669(1,60)=48+2,67=50,67\text{ €}$$

Bajo ${\mu }_1=51$:

$$z=\frac{50,67-51}{1,60}=-0,206$$ $$\text{Potencia}=P(\bar{X}>50,67\mid \mu =51)=1-\Phi (-0,206)=\Phi (0,206)=0,582$$

La potencia es del 58 %, y por tanto $\beta =42\%$.

Qué significa. Si la campaña realmente sube el ticket 3 €, este contraste solo lo detectaría 58 veces de cada 100. Cuatro de cada diez estudios idénticos concluirían erróneamente que no hay efecto.

Es una potencia baja. Lo habitual es exigir un 80 %. Para alcanzarlo haría falta:

$$n\ge {\left(\frac{(z_{\alpha }+z_{\beta })\sigma }{\Delta }\right)}^2={\left(\frac{(1,645+0,842)(12,80)}{3}\right)}^2={\left(\frac{31,83}{3}\right)}^2=112,6$$

113 tickets en lugar de 64.

Paso 6. La pregunta económica, que es la que importa.

Intervalo de confianza al 95 % para la media (bilateral, $t_{63;0,025}=1,998$):

$$51,20\pm 1,998(1,60)=51,20\pm 3,20=(48,00;54,40)$$

El aumento estimado es de 3,20 € por ticket, pero con un intervalo que va de 0,00 a 6,40 €.

Beneficio de la campaña, suponiendo que el ticket es margen (simplificación):

$$\text{Efecto central: }3,20\times 8000=25600\text{ €/mes}$$ $$\text{Extremo inferior: }0,00\times 8000=0\text{ €/mes}$$ $$\text{Extremo superior: }6,40\times 8000=51200\text{ €/mes}$$

Conclusión matizada. La estimación central sugiere que la campaña, con un coste de 12 000 €, generó unos 25 600 € en un mes: rentable. Pero el intervalo llega hasta cero: los datos son compatibles con que no haya servido de nada.

Recomendación honesta: el resultado es prometedor pero no concluyente. Antes de comprometer presupuesto para repetirla conviene ampliar la muestra —113 tickets darían un 80 % de potencia— o dejarla correr otro mes y medir de nuevo. Declarar el éxito con $p=0,025$ y una potencia del 58 % sería precipitado.

Esta es la diferencia entre significación y relevancia. El contraste dijo «rechaza»; la decisión empresarial requiere mirar el intervalo y el coste, no el valor p.

5. Errores típicos

Decir «acepto $H_0$». Nunca se acepta: no se rechaza. La ausencia de evidencia no es evidencia de ausencia, sobre todo con poca potencia.

Interpretar el valor p como $P(H_0\mid \text{datos})$. Es al revés: es $P(\text{datos asıˊ de extremos}\mid H_0)$. Confundir una condicional con su inversa es la falacia del tema 21 reapareciendo.

Elegir la alternativa después de ver los datos. Convertir un bilateral en unilateral para que $p$ baje de 0,05 duplica en la práctica el nivel de significación real.

Confundir significativo con importante. Con $n=100000$, una diferencia de 0,01 € es significativa y económicamente irrelevante. Informar siempre del tamaño del efecto.

Ignorar la potencia. Un «no significativo» procedente de un contraste con potencia del 30 % no informa de nada. Antes de concluir que no hay efecto hay que comprobar que el estudio podría haberlo detectado.

Hacer muchos contrastes y quedarse con el que sale. Con 20 contrastes al 5 %, uno sale significativo por puro azar en promedio. Es el problema de las comparaciones múltiples, que reaparece en el ANOVA del tema 28.

Usar $\hat{p}$ en el denominador del contraste de proporciones. Bajo $H_0$ se supone $p=p_0$, así que la varianza es $p_0(1-p_0)/n$. En el intervalo de confianza sí va $\hat{p}$, porque allí no hay hipótesis que suponer.

Fijar $\alpha$ después de ver el valor p. El nivel se decide antes, en función del coste de los dos errores.

6. Ejercicios

Ejercicio 1 · Contraste bilateral para la media

básico

Una máquina debe envasar 500 g por paquete. Una muestra de 36 paquetes da $\bar{x}=494$ g con $s=15$ g. ¿Está descalibrada, al 5 %?

Ver solución

Hipótesis. Descalibrada significa desviarse en cualquier dirección: bilateral.

$$H_0:\mu =500H_1:\mu \ne 500$$

Estadístico.

$$\text{Error tıˊpico}=\frac{15}{\sqrt{36}}=2,5\text{ g}$$$$t=\frac{494-500}{2,5}=-2,40$$

Región crítica. $t_{35;0,025}=2,030$.

$$|-2,40|=2,40>2,030⟹\text{se rechaza }{H}_0$$

Valor p: $p=2\times P(T_{35}<-2,40)\approx 2(0,0110)=0,0220$.

Conclusión. Hay evidencia de que la máquina está descalibrada, envasando de media unos 6 g menos de lo debido.

Lectura práctica. El intervalo al 95 % es $494\pm 2,030(2,5)=(488,9;499,1)$: no contiene 500, coherente con el rechazo. Y el déficit es de entre 0,9 y 11,1 gramos por paquete, información mucho más útil para decidir si hay que parar la línea que el simple «significativo».

Ejercicio 2 · Contraste de proporción

básico

Un banco afirma que el 85 % de sus clientes está satisfecho. Una muestra de 200 clientes da 160 satisfechos. ¿Se puede rechazar la afirmación al 5 %?

Ver solución

Hipótesis. Se quiere comprobar si la satisfacción es menor de lo afirmado:

$$H_0:p=0,85H_1:p<0,85$$

Estadístico. $\hat{p}=160/200=0,80$. En el denominador va $p_0=0,85$:

$$z=\frac{0,80-0,85}{\sqrt{\frac{0,85\times 0,15}{200}}}=\frac{-0,05}{\sqrt{0,0006375}}=\frac{-0,05}{0,02525}=-1,980$$

Región crítica. Unilateral izquierdo al 5 %: $z_{0,05}=-1,645$.

$$-1,980<-1,645⟹\text{se rechaza }{H}_0$$

Valor p: $p=P(Z<-1,980)=0,0239$.

Conclusión. Hay evidencia, al 5 %, de que la satisfacción real es inferior al 85 % afirmado.

Matiz de relevancia. La estimación es del 80 %, cinco puntos por debajo. ¿Importa? Con un intervalo al 95 % de $0,80\pm 1,96\sqrt{0,80(0,20)/200}=0,80\pm 0,055=(0,745;0,855)$, la satisfacción real está entre el 74,5 % y el 85,5 %. La afirmación del banco queda justo en el borde. El rechazo es cierto pero ajustado, y con otra muestra podría no producirse.

Ejercicio 3 · Potencia y tamaño muestral

medio

Se quiere contrastar $H_0:\mu =100$ frente a $H_1:\mu >100$ al 5 %, con $\sigma =20$ conocida.

1. Con $n=25$, ¿cuál es la potencia si el valor real fuera $\mu =108$?
2. ¿Y si fuera $\mu =104$?
3. ¿Qué $n$ haría falta para detectar $\mu =104$ con una potencia del 90 %?

Ver solución

1. Con $n=25$ y $\mu =108$.

$${\sigma }_{\bar{X}}=\frac{20}{5}=4$$

Valor crítico: se rechaza si $\bar{X}>100+1,645(4)=106,58$.

Bajo $\mu =108$:

$$z=\frac{106,58-108}{4}=-0,355$$$$\text{Potencia}=1-\Phi (-0,355)=\Phi (0,355)=0,639$$

63,9 %.

2. Con $\mu =104$. El valor crítico no cambia (depende solo de $H_0$, $\alpha$ y $n$):

$$z=\frac{106,58-104}{4}=0,645$$$$\text{Potencia}=1-\Phi (0,645)=1-0,7405=0,260$$

Solo el 26 %.

Lo que muestra la comparación. El mismo contraste detecta un efecto de 8 unidades el 64 % de las veces, y uno de 4 unidades solo el 26 %. La potencia depende críticamente del tamaño del efecto, y los efectos pequeños son mucho más difíciles de detectar.

Con una potencia del 26 %, un resultado «no significativo» no informa prácticamente de nada: tres de cada cuatro veces se fallaría aunque el efecto existiera.

3. Tamaño necesario para potencia 0,90 con $\Delta =4$.

$$n\ge {\left(\frac{(z_{\alpha }+z_{\beta })\sigma }{\Delta }\right)}^2$$

Con $z_{0,05}=1,645$ y $z_{0,10}=1,282$:

$$n\ge {\left(\frac{(1,645+1,282)(20)}{4}\right)}^2={\left(\frac{58,54}{4}\right)}^2=(14,635{)}^2=214,2$$

215 observaciones.

Conclusión práctica. Pasar de detectar efectos de 8 a detectar efectos de 4 con buena potencia exige multiplicar la muestra casi por nueve (de 25 a 215). Detectar efectos pequeños es caro, y por eso conviene decidir de antemano qué tamaño de efecto merece la pena detectar antes de diseñar el estudio.

Ejercicio 4 · Significativo pero irrelevante

avanzado

Una plataforma de comercio electrónico prueba un cambio de diseño con 200 000 usuarios en cada grupo. La tasa de conversión pasa del 3,20 % al 3,28 %.

1. Contrasta si el cambio es significativo al 1 %.
2. Calcula el intervalo de confianza para la diferencia.
3. Si cada conversión deja 25 € de margen y rediseñar el sitio cuesta 400 000 €, ¿qué recomiendas?
4. ¿Qué habría pasado con 2000 usuarios por grupo?

Ver solución

1. Contraste de diferencia de proporciones.

$$H_0:p_1=p_2{H}_1:p_1\ne p_2$$

Proporción combinada bajo $H_0$:

$$\hat{p}=\frac{0,0320(200000)+0,0328(200000)}{400000}=\frac{6400+6560}{400000}=0,0324$$

Error típico de la diferencia:

$$\sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_1}+\frac{1}{n_2}\right)}=\sqrt{0,0324(0,9676)\left(\frac{2}{200000}\right)}$$$$=\sqrt{0,031351\times 0,00001}=\sqrt{3,1351\times 10^{-7}}=0,00055992$$$$z=\frac{0,0328-0,0320}{0,00055992}=\frac{0,0008}{0,00055992}=1,429$$

Región crítica al 1 %: $|z|>2,576$.

$$1,429<2,576⟹\text{NO se rechaza }{H}_0$$

Valor p: $p=2\times P(Z>1,429)=2(0,0765)=0,153$.

Al 1 % no es significativo; tampoco al 5 %.

2. Intervalo de confianza para la diferencia (al 95 %, usando las proporciones separadas en el error típico):

$$ET=\sqrt{\frac{0,032(0,968)}{200000}+\frac{0,0328(0,9672)}{200000}}=\sqrt{1,5488\times 10^{-7}+1,5862\times 10^{-7}}$$$$=\sqrt{3,135\times 10^{-7}}=0,00055991$$$$I{C}_{95\%}=0,0008\pm 1,96(0,00055991)=0,0008\pm 0,0010974$$$$=(-0,00030;+0,00190)$$

En puntos porcentuales: entre $-0,03$ y $+0,19$ puntos. El intervalo contiene el cero, coherente con el no rechazo.

3. Recomendación económica. Traducimos el intervalo a euros anuales. Con 400 000 usuarios (los dos grupos) y suponiendo ese volumen como base mensual:

$$\text{Efecto central: }0,0008\times 400000\times 25=8000\text{ €/mes}$$$$\text{Extremo inferior: }-0,0003\times 400000\times 25=-3000\text{ €/mes}$$$$\text{Extremo superior: }0,0019\times 400000\times 25=19000\text{ €/mes}$$

Con un coste de 400 000 €, el rediseño se amortizaría en 50 meses con el efecto central (4 años), en 21 meses en el mejor caso, y nunca en el peor.

Recomendación: no rediseñar todavía. No solo porque el resultado no sea significativo, sino porque incluso el escenario optimista da un plazo de recuperación de casi dos años para un cambio de diseño que quedará obsoleto antes. Si se quiere resolver la duda, hay que alargar el test para estrechar el intervalo.

4. Con 2000 usuarios por grupo. El error típico se multiplica por $\sqrt{100}=10$:

$$ET=0,0055992⟹z=\frac{0,0008}{0,0055992}=0,143$$

Aún más lejos de la significación. El intervalo sería $0,0008\pm 0,011=(-0,010;+0,012)$: de $-1$ a $+1,2$ puntos porcentuales, un rango que abarca desde un desastre hasta un éxito rotundo. Con esa muestra el experimento no informa de nada.

La lección doble de este ejercicio.

• Con muestras grandes, cuidado con lo contrario a lo que suele avisarse: aquí ni siquiera 200 000 usuarios por grupo bastan, porque el efecto es diminuto en términos relativos. La regla no es «con $n$ grande todo sale significativo», sino que la significación depende de la relación entre el tamaño del efecto y el error típico.
• Lo que decide no es el valor p sino el intervalo traducido a euros. Un resultado significativo con un efecto de 8000 €/mes tampoco justificaría un gasto de 400 000 €.

7. Qué desbloquea

Necesitas antes:

• Intervalos de confianza para distintos parámetros — tema 26

Te abre la puerta a:

• Comparación de medias y proporciones; chi-cuadrado; ANOVA — tema 28
• Regresión múltiple, supuestos de Gauss-Markov, R² y contrastes — tema 30
• Modelos univariantes ARIMA y metodología Box-Jenkins — tema 39

8. Recursos externos

• Sanabria, Comprendiendo la Estadística Inferencial (PDF libre). Explica con cuidado qué significa el nivel de significación, que es exactamente donde se acumulan los malentendidos.
• Inferencia Estadística — Luis Rincón (UNAM). Contrastes de hipótesis con el desarrollo formal de regiones críticas y potencia.
• Apuntes UGR — Estadística II, tema 4. Tabla de contrastes por parámetro, útil como referencia rápida.
• Gretl. La calculadora de contrastes devuelve el estadístico y el valor p para todos los casos de este tema. Y al estimar modelos en el bloque 7, cada coeficiente vendrá con su contraste $t$: será el mismo procedimiento aplicado a $H_0:{\beta }_k=0$.