IA generativa y modelos fundacionales

Un modelo de lenguaje no busca respuestas en una base de datos. Predice, pieza por pieza, qué texto es más probable que siga. Esa idea simple explica casi todo: por qué redacta tan bien, por qué a veces inventa, por qué la misma pregunta da respuestas distintas y por qué se cobra por pieza de texto.

Tokens, embeddings y atención

Primero el texto se corta en piezas llamadas tokens: palabras enteras, partes de palabras o signos. La tokenización (tokenization) es ese corte. «Desafortunadamente» puede ser tres o cuatro tokens; «sol», uno. En español suele haber más tokens por palabra que en inglés. Los tokens importan porque todo se mide en ellos: el límite de lo que el modelo puede leer, la velocidad y el precio.

Luego cada token se convierte en un embedding: una lista de cientos o miles de números, un vector. Piensa en coordenadas en un mapa del significado. «Perro» y «gato» quedan cerca; «perro» y «factura», lejos. Esa cercanía permite buscar por significado y no por palabra exacta, que es la base de RAG. El mapa tiene cientos de dimensiones, no dos: la analogía sirve para la intuición, no para dibujarlo.

La arquitectura que hizo posible todo esto es el transformer. Su pieza central es la atención (attention): para interpretar cada token, el modelo mira todos los demás del contexto y decide cuáles importan. En «el banco cerró porque el río creció», la atención conecta «banco» con «río» y entiende que es una orilla, no una entidad financiera. Como la atención se calcula en paralelo, los transformers se entrenan bien en GPU con cantidades enormes de texto.

Modelos fundacionales, LLM, multimodales y de difusión

La ventana de contexto y la ingeniería de contexto

La ventana de contexto (context window) es cuánto texto puede considerar el modelo en una sola llamada, medido en tokens: tus instrucciones, el historial de la conversación, los documentos que adjuntas y la respuesta que genera. Es la mesa de trabajo del lector: lo que no está sobre la mesa, no existe para él. El modelo no recuerda conversaciones anteriores; la aplicación reenvía el historial en cada llamada.

Una ventana más grande no resuelve todo. Más tokens significan más costo y más latencia, y en contextos muy largos los modelos pueden pasar por alto información del medio. La ingeniería de contexto (context engineering) es decidir qué entra en la mesa: instrucciones claras, solo los fragmentos relevantes recuperados, un resumen del historial en vez del historial completo, y las definiciones de herramientas que hacen falta.

Qué hace bien y en qué falla

El ciclo de vida de un modelo fundacional

1. 1

   Datos

   Se reúnen y filtran enormes volúmenes de texto, código e imágenes. La calidad y la licencia de estos datos marcan el modelo para siempre.
2. 2

   Preentrenamiento

   El modelo aprende a predecir el siguiente token con datos sin etiquetar (aprendizaje autosupervisado). Es la etapa más cara: semanas en miles de GPU.
3. 3

   Ajuste

   Fine-tuning con instrucciones y ejemplos, y alineación con preferencias humanas (RLHF) para que sea útil y seguro. Tú también puedes ajustar: lo ves en personalizar modelos.
4. 4

   Evaluación

   Pruebas con benchmarks, casos propios y evaluación humana antes de lanzar.
5. 5

   Despliegue

   Se publica para inferencia, por ejemplo en Amazon Bedrock.
6. 6

   Retroalimentación

   El uso real revela fallas y sesgos que alimentan la siguiente versión.

Cómo elegir un modelo

No existe el mejor modelo, sino el adecuado para tu caso. Recorre estos criterios en orden:

Intuición de precios: en la mayoría de los modelos pagas por token de entrada y por token de salida, y los de salida suelen costar más. Un prompt con un documento de 50 páginas cuesta más que una pregunta corta, aunque la respuesta sea igual de breve. Por eso recortar contexto innecesario ahorra dinero. Los números y las opciones de compra están en costos de la IA.

Abiertos o propietarios. Un modelo de pesos abiertos (open-weight) publica sus parámetros: puedes descargarlo, ajustarlo a fondo y servirlo donde quieras, pero tú operas la infraestructura y revisas la licencia. Uno propietario se usa por API: menos control, cero operación y, a menudo, capacidades de punta. Bedrock ofrece ambos tipos con la misma API.

Amazon Nova

Nova es la familia de modelos fundacionales de Amazon, disponible en Bedrock. Algunos ejemplos:

• 

  Nova Micro

  Solo texto. El más rápido y barato de la familia: resumir, traducir, clasificar.
• 

  Nova Lite y Nova 2 Lite

  Multimodales de bajo costo: entran texto, imágenes y video; sale texto. Procesamiento de documentos y soporte.
• 

  Nova Pro

  Multimodal con equilibrio entre precisión, velocidad y costo.
• 

  Nova Sonic

  Voz a voz en tiempo real para asistentes conversacionales.
• 

  Nova Reel

  Genera videos cortos a partir de texto e imágenes.
• 

  Nova Multimodal Embeddings

  Convierte texto, imágenes y video en vectores para búsqueda y recuperación.