Antes de los transformers, los modelos de secuencia procesaban el texto palabra por palabra, en orden, arrastrando un resumen del pasado en un estado interno — un cuello de botella que hace difícil recordar información lejana en frases largas. El mecanismo de atención (attention) resuelve esto de otra forma: para generar cada palabra, el modelo puede "mirar" directamente todas las palabras de la entrada a la vez y decidir, con un peso distinto para cada una, cuáles son relevantes en ese momento.
La intuición: para cada palabra el modelo construye tres vectores a partir de su embedding — una consulta (query, "qué estoy buscando"), una clave (key, "qué ofrezco") y un valor (value, "qué información llevo"). La consulta de una palabra se compara (con un producto punto) contra la clave de todas las demás para obtener puntuaciones de relevancia; esas puntuaciones se normalizan con softmax hasta sumar 1, y se usan como pesos para combinar los valores de todas las palabras. El resultado es una nueva representación de cada palabra que ya incorpora el contexto relevante de toda la frase, sin importar cuán lejos esté.
La arquitectura Transformer
El artículo Attention Is All You Need (2017) propuso construir un modelo entero apilando bloques de auto-atención (self-attention, cuando la consulta, la clave y el valor vienen del mismo texto) seguidos de una pequeña red totalmente conectada, repetidos muchas veces en profundidad. Como la atención no procesa la secuencia en orden, se añade una codificación posicional (positional encoding) a cada embedding para que el modelo sepa en qué posición está cada token. Esta arquitectura es paralelizable de forma masiva en GPU (a diferencia del procesamiento estrictamente secuencial anterior), lo que permitió entrenar modelos mucho más grandes con mucho más texto.
De transformers a LLMs
Un modelo de lenguaje grande (LLM) es, en su forma más básica, un transformer entrenado con una tarea muy simple sobre cantidades enormes de texto: predecir el siguiente token dada la secuencia anterior. Repetir esa tarea sobre una fracción significativa del texto disponible en internet obliga al modelo a aprender, de forma implícita, gramática, hechos del mundo, razonamiento paso a paso y estilo — todo como subproducto de "adivinar la siguiente palabra". Tras ese preentrenamiento masivo, suele haber una fase de ajuste fino (fine-tuning) e incluso de aprendizaje por refuerzo con retroalimentación humana (RLHF) para que el modelo siga instrucciones y responda de forma útil y segura, en lugar de solo completar texto de la manera más probable.
El texto que le das a un LLM para obtener una respuesta se llama prompt, y la forma en que lo redactas —qué instrucciones incluyes, qué ejemplos das, cómo formulas la pregunta— afecta enormemente la calidad de la respuesta. De eso trata precisamente la lección 10.
Esta lección tiene disponible el Tutor IA: si algo de atención, transformers o LLMs no te queda claro, pregúntale directamente — es una forma excelente de poner en práctica ahora mismo lo que acabas de leer.
Esquema simplificado de un bloque de atención, de las entradas a la salida combinada: