Clasificación y regresión logística

De predecir un número a predecir una clase

La regresión lineal predice un valor continuo, pero muchos problemas piden otra cosa: decidir a qué categoría pertenece algo — ¿este correo es spam o no?, ¿esta transacción es fraudulenta o legítima?, ¿esta imagen contiene un gato o un perro? Este tipo de problema se llama clasificación, y cuando solo hay dos categorías posibles, clasificación binaria.

La idea más directa —usar directamente $y = mx+b$ y redondear— funciona mal: la recta no está acotada y no hay forma natural de interpretar el resultado como una probabilidad. La solución estándar es la regresión logística.

La función sigmoide

La regresión logística aplica una combinación lineal de las entradas, igual que la lineal, pero después la pasa por la función sigmoide, que aplasta cualquier número real al intervalo abierto $(0, 1)$ — un rango que sí se puede interpretar como una probabilidad:

$\sigma(z) = \frac{1}{1 + e^{-z}} \qquad z = \mathbf{w}\cdot\mathbf{x} + b$

Algunas propiedades clave de $\sigma$: cuando $z \to +\infty$, $\sigma(z) \to 1$; cuando $z \to -\infty$, $\sigma(z) \to 0$; y $\sigma(0) = 0.5$ exactamente. La salida $\sigma(z)$ se interpreta como "la probabilidad de que la entrada pertenezca a la clase positiva". Para decidir la clase final se aplica un umbral, típicamente $0.5$: si $\sigma(z) \geq 0.5$ se predice la clase positiva, y si no, la negativa.

La frontera de decisión

El punto donde $\sigma(z) = 0.5$ corresponde exactamente a $z = 0$, es decir, a $\mathbf{w}\cdot\mathbf{x} + b = 0$. Esa ecuación define la frontera de decisión: en dos dimensiones es una recta que separa el plano en la región donde el modelo predice la clase positiva y la región donde predice la negativa. Entrenar la regresión logística es, otra vez, ajustar $\mathbf{w}$ y $b$ con descenso de gradiente para minimizar un error (en este caso, la entropía cruzada en lugar del MSE), exactamente el mismo mecanismo de la lección 2.

Evalúa la sigmoide en Python puro, sin librerías externas:

Autocomprobación: