Ajuste por mínimos cuadrados: Regresión Lineal

En general

El modelo de regresión lineal simple consiste en construir una recta de forma que para cada valor de la variable $X$ el valor de $Y$ en la recta se acerque lo más posible a la $y$ real. Para calcular los elementos de esta recta necesitas:

$\bar x$ e $\bar y$ : la media de cada variable.
$s_{x,y}$ : la desviación típica, se calcula $s_{xy}=\cfrac{\sum x_iy_i}{N}-(\bar x \cdot \bar y)$ .
$s_x^2$ y $s_y^2$ : la varianza de cada variable. Se calcula $s_x^2=\cfrac{\sum x_i^2}{N}-\bar x^2$ y $s_y^2=\cfrac{\sum y_i^2}{N}-\bar y^2$ .
$r$ : el coeficiente de correlación, se calcula $r=\cfrac{s_{xy}}{s_x\cdot s_y}$ .

Método de los mínimos cuadrados ordinarios

La recta de regresión del tipo $y=a+bx$ que minimiza el error cuadrático medio se define como:

$ECM=\cfrac{1}{n}\displaystyle\sum_{i=1}^n (y_1-a-bx_1)^2$

Donde $a=y-\cfrac{s_{xy}}{s_x^2}\overline x$ , $b=\cfrac{s_{xy}}{s_x^2}$ y $y=\overline y +\cfrac{s_{xy}}{s_x^2}(x-\overline x)$

Con esto se llega a la expresión

$ECM=s_y^2(1-\cfrac{s_{xy}^2}{s_y^2s_x^2})$

Varianza residual

El residuo es la diferencia entre el valor observado y el valor estimado. Cuanto más pequeño sea, más ajustados a la recta están los valores reales.

$ECM=\cfrac{1}{n}\displaystyle\sum_{i=1}^n (y_i-\^y_i)^2$

Ejemplo

Calcula la varianza residual de tres puntos que se alejan de la recta de regresión $2$ , $4$ y $5$ unidades.

La varianza residual es $\cfrac{1}{n}\displaystyle\sum_{i=1}^n (y_i-\^y_i)^2=\cfrac{2^2+3^2+5^2}{3}\approx\underline{12,67}$

Coeficiente de determinación

Para comparar el nivel de ajuste entre la recta y los valores reales, se usa el coeficiente de determinación $R^2$ . Mide la proporción de la variabilidad explicada por la recta de regresión. Es el cuadrado del coeficiente de correlación.

$R^2=\cfrac{s_{\^y}^2}{s_y^2}=\cfrac{s_{xy}^2}{s_x^2\cdot s_y^2}$

Ejemplo

Una tienda anota el número de paraguas que vende cada día y la precipitación en centímetros de lluvia durante una semana.

paraguas vendidos	$3$	$12$	$16$	$42$	$47$	$67$	$78$
lluvia	$0,2$	$0,5$	$1$	$2$	$2,5$	$3$	$4$

Traza una recta de regresión que estime la venta de paraguas según la precipitación del día. ¿Cuántos paraguas se estima que venderán cuando llueva $3,5\space cm$ ? Calcula el error cuadrático medio.

La media de paraguas vendidos es $\bar y=37,86$ y la media de lluvia es $\bar x=1,89$ . La desviación típica es $s_{xy}=33,74$ y la varianza de $x$ es $s_x=1,28$ y la de $y$ es $s_y=26,51$ . La recta de rgresión es:

$y-37,86=\cfrac{33,74}{1,28^2}(x-1,89)\implies y=20,59x-38,92+37,86\implies \underline{y=20,59x-1,06}$

$\underline{\rm Por \ lo\ tanto,\ un\ día\ que\ llueva\ {3,5\ cm}\ se \ espera\ que\ venda\ {y=20,59\cdot3,5-1,06\approx71}\ paraguas.}$

El error cuadrático medio es $ECM=s_y^2(1-\cfrac{s_{xy}^2}{s_y^2s_x^2})=\underline{7,96}$

La recta de regresión lineal se representa:

Matemáticas; Estadística bidimensional; 1. Bachillerato; Ajuste por mínimos cuadrados: Regresión Lineal