Regresión lineal

El modelo más simple que aprende

La regresión lineal predice un valor numérico continuo (precio, temperatura, tiempo de entrega) como una combinación lineal de las variables de entrada. En su versión más simple, con una sola variable $x$, el modelo es una recta:

$y = mx + b$

donde $m$ es la pendiente (cuánto cambia $y$ por cada unidad que cambia $x$) y $b$ es la ordenada al origen (el valor de $y$ cuando $x=0$). Entrenar el modelo significa encontrar los valores de $m$ y $b$ que mejor describen un conjunto de puntos observados $(x_i, y_i)$.

Medir el error: el error cuadrático medio

Para saber si una recta es "buena" necesitamos una forma de medir cuánto se equivoca. La métrica estándar es el error cuadrático medio (MSE, mean squared error): para cada punto, se calcula la diferencia entre el valor real $y_i$ y la predicción $\hat{y}_i = mx_i + b$, se eleva al cuadrado (para que los errores positivos y negativos no se cancelen y para penalizar más los errores grandes) y se promedia:

$\text{MSE} = \frac{1}{n}\sum_{i=1}^{n} (y_i - \hat{y}_i)^2$

Entrenar la regresión lineal es, literalmente, buscar los valores de $m$ y $b$ que minimizan el MSE. Esto se puede hacer con descenso de gradiente (lección 2) o, para este caso particular, con una fórmula cerrada llamada mínimos cuadrados, que calcula directamente la pendiente óptima a partir de las medias y varianzas de los datos:

$m = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n}(x_i - \bar{x})^2} \qquad b = \bar{y} - m\bar{x}$

donde $\bar{x}$ y $\bar{y}$ son las medias de $x$ e $y$. Experimenta ajustando la recta a una nube de puntos y observa cómo cambia el MSE:

Implementación en Python puro

El siguiente ejemplo calcula la pendiente y la ordenada al origen de la recta de mínimos cuadrados usando solo listas y el módulo estándar math — sin librerías externas como NumPy, para que puedas ejecutarlo tal cual en el sandbox del navegador: