Por qué estas matemáticas
Casi todo modelo de IA moderno se reduce a lo mismo: representar la información como números, combinar esos números con parámetros ajustables, medir cuánto se equivoca el modelo, y mover los parámetros en la dirección que reduce el error. Para entender ese proceso bastan cuatro ideas: vectores, el producto punto, la derivada y el gradiente.
Vectores
Un vector es simplemente una lista ordenada de números. En IA se usan para representar casi cualquier cosa: los píxeles de una imagen, las características de una vivienda (metros cuadrados, número de habitaciones, antigüedad) o las palabras de un texto. Un vector de tres características de una vivienda podría escribirse:
x=(x1,x2,x3)=(85, 3, 12)
Dos vectores del mismo tamaño se pueden combinar con el producto punto (o producto escalar): se multiplican las componentes una a una y se suman los resultados.
w⋅x=∑i=1nwixi=w1x1+w2x2+⋯+wnxn
Esta operación es el corazón de casi cualquier modelo: un vector de pesos w (los parámetros que el modelo aprende) se combina con un vector de entradas x para producir una predicción. La regresión lineal de la lección 3 y cada neurona de la red de la lección 5 no son más que un producto punto seguido, a veces, de una función adicional.
La derivada: la pendiente instantánea
La derivada de una función f(x) mide cómo cambia f cuando x cambia una cantidad infinitesimal: es la pendiente de la recta tangente a la curva en un punto. Se escribe f′(x) o dxdf.
f′(x)=limh→0hf(x+h)−f(x)
Intuición: si f′(x)>0, la función está subiendo en ese punto; si f′(x)<0, está bajando; si f′(x)=0, el punto es (potencialmente) un mínimo o un máximo local. Un ejemplo que usaremos mucho: para f(x)=x2, la derivada es f′(x)=2x. Lejos de x=0 la pendiente es pronunciada; cerca de x=0 es casi plana, porque x=0 es justo el mínimo de la parábola.
El gradiente y el descenso de gradiente
Cuando una función depende de varias variables (por ejemplo, todos los pesos de un modelo), la generalización de la derivada es el gradiente: el vector formado por la derivada parcial respecto a cada variable. El gradiente apunta en la dirección en la que la función crece más rápido.
∇f(w)=(∂w1∂f,∂w2∂f,…,∂wn∂f)
Como queremos minimizar el error del modelo (no maximizarlo), el algoritmo de descenso de gradiente da pasos en la dirección contraria al gradiente:
w←w−η⋅∇f(w)
Aquí η (letra griega eta) es la tasa de aprendizaje (learning rate): controla el tamaño de cada paso. Si η es demasiado pequeña, el descenso converge muy lentamente; si es demasiado grande, el paso se pasa del mínimo y puede oscilar o incluso divergir. Este es exactamente el fenómeno que puedes explorar a continuación minimizando f(x)=x2 con distintos valores de learning rate y punto inicial:
Prueba primero una tasa de aprendizaje pequeña (por ejemplo 0.05): verás que el punto desciende poco a poco por la parábola hacia el mínimo en x=0. Luego prueba una tasa grande (cercana a 1.1): el punto empieza a rebotar de un lado a otro de la parábola, y si la tasa es demasiado alta, cada rebote es más grande que el anterior — el algoritmo diverge en lugar de converger. Este mismo mecanismo, aplicado a millones de pesos en lugar de a una sola variable x, es el que entrena la regresión lineal (lección 3), la regresión logística (lección 4) y la red neuronal (lección 5).