Personalizar modelos: fine-tuning, destilación y entrenamiento

Cuando un modelo no rinde en tu caso, la tentación es entrenarlo. Casi siempre conviene empezar por lo barato: un mejor prompt, ejemplos, o darle tus documentos con RAG. Ajustar los pesos del modelo es potente, pero cuesta datos, dinero y mantenimiento. La pregunta clave es qué le falta al modelo: ¿conocimiento, formato, estilo o habilidad?

El espectro de opciones

1. 1

   Ingeniería de prompts

   Instrucciones, rol, formato y restricciones. Cero datos, resultados en minutos.
2. 2

   Aprendizaje en contexto (in-context learning)

   Ejemplos dentro del prompt (few-shot). El modelo imita el patrón sin cambiar sus pesos.
3. 3

   RAG

   Recuperar tus documentos y ponerlos en el contexto en el momento de la pregunta. Ideal para conocimiento que cambia. Lo ves a fondo en RAG.
4. 4

   Fine-tuning

   Ajustar los pesos con ejemplos etiquetados de entrada y salida. Enseña formato, tono, tareas específicas.
5. 5

   Preentrenamiento continuo (continued pre-training)

   Seguir entrenando con mucho texto sin etiquetar de tu dominio para que aprenda su vocabulario.
6. 6

   Destilación (distillation)

   Un modelo grande (maestro) genera respuestas con las que se ajusta uno pequeño (estudiante), más rápido y barato.
7. 7

   Entrenar desde cero

   Crear un modelo nuevo con tus propios datos masivos. Reservado para muy pocas organizaciones.

Fine-tuning a fondo

• Ajuste por instrucciones (instruction tuning): pares de instrucción y respuesta deseada. Así un modelo base aprende a seguir órdenes, y así tú le enseñas tu formato.
• Adaptación al dominio (domain adaptation): ejemplos de un campo concreto, como informes médicos o contratos, para que use su vocabulario y convenciones.
• Aprendizaje por transferencia (transfer learning): la idea de fondo. Reutilizas lo que el modelo ya aprendió y solo ajustas lo necesario, con muchos menos datos que entrenar desde cero.
• Métodos eficientes en parámetros (PEFT): en vez de modificar todos los pesos, se entrenan piezas pequeñas añadidas. LoRA (low-rank adaptation) agrega matrices pequeñas junto a las originales; los adaptadores (adapters) insertan capas livianas. Cuestan menos, entrenan más rápido y reducen el olvido porque el modelo original queda intacto.
• Fine-tuning por refuerzo (reinforcement fine-tuning): en vez de respuestas correctas, defines una función que puntúa la calidad de cada respuesta y el modelo aprende a maximizar ese puntaje.

El olvido catastrófico (catastrophic forgetting) ocurre cuando el ajuste borra habilidades que el modelo tenía: tras ajustarlo con contratos, redacta contratos impecables pero ya no resume un correo. Se mitiga con PEFT, menos épocas de entrenamiento, una tasa de aprendizaje baja y mezclando ejemplos generales con los del dominio. Por eso, después de ajustar, evalúas también tareas generales, no solo la nueva.

Preparar los datos

1. 1

   Curar

   Calidad antes que cantidad. Elimina duplicados, ejemplos contradictorios y respuestas que no quisieras que el modelo imite.
2. 2

   Etiquetar

   Define criterios escritos para que varias personas etiqueten igual. Amazon SageMaker Ground Truth organiza el trabajo con equipos propios o externos.
3. 3

   Asegurar representatividad

   Los ejemplos deben cubrir los casos reales: idiomas, regiones, tipos de cliente, casos raros. Un sesgo en los datos se vuelve un sesgo en el modelo.
4. 4

   Gobernar

   Elimina o enmascara datos personales, confirma que tienes derecho a usar los datos y registra su origen y versión. Guárdalos cifrados en S3 con acceso restringido.
5. 5

   Separar para evaluar

   Aparta un conjunto de validación y prueba que el modelo no verá al entrenar.

En Bedrock, los datos de fine-tuning van en archivos JSON Lines (.jsonl) en S3: una línea por ejemplo, con el prompt y la respuesta esperada en el formato que pide cada modelo.

El RLHF (aprendizaje por refuerzo con retroalimentación humana) es la técnica con la que los proveedores alinean sus modelos: personas comparan pares de respuestas, se entrena un modelo que aprende esas preferencias y luego se usa como recompensa para ajustar el modelo principal. Por eso los modelos actuales son útiles y corteses. Variantes como DPO aprenden directamente de las preferencias, sin el modelo de recompensa intermedio.

Dónde personalizar: Bedrock o SageMaker AI

• 

  Bedrock: personalización de modelos

  Administrado: subes datos a S3, eliges el modelo base y lanzas un trabajo. Métodos actuales: fine-tuning supervisado, fine-tuning por refuerzo y destilación. Admite fine-tuning en modelos como Amazon Nova y algunos de Meta Llama y Anthropic. El modelo resultante se usa con despliegue bajo demanda o con Provisioned Throughput.
• 

  Bedrock: Custom Model Import

  Traes pesos que ajustaste en otro lugar (formato de Hugging Face, en S3) de arquitecturas compatibles como Llama, Mistral, Qwen o GPT-OSS, y los usas con la API de Bedrock, sin administrar servidores.
• 

  SageMaker AI: JumpStart y training jobs

  Control total: eliges modelo abierto en JumpStart, técnica (LoRA, ajuste completo, preentrenamiento continuo, DPO), instancias y scripts. Para entrenamientos grandes y largos, SageMaker HyperPod. Tú operas más.

Criterio	Amazon Bedrock	Amazon SageMaker AI
Para quién	Equipos de aplicación que quieren ajustar sin operar infraestructura	Equipos de ML que necesitan control fino del entrenamiento
Modelos	Los del catálogo que admiten personalización	Cualquier modelo abierto o propio
Técnicas	Fine-tuning supervisado, por refuerzo, destilación	Todas, incluidas LoRA a medida, preentrenamiento continuo y entrenamiento desde cero
Operación	Mínima: servicio administrado	Eliges instancias, contenedores, hiperparámetros y despliegue
Inferencia después	En Bedrock, con la misma API	Endpoints de SageMaker AI, o importar el modelo a Bedrock

La destilación en Bedrock puede usar tus propios prompts o los registros de invocación del modelo maestro que ya tienes en producción. Es la opción natural cuando un modelo grande da la calidad que quieres, pero es lento o caro para tu volumen. El ciclo completo de entrenamiento y despliegue de modelos propios está en SageMaker AI y MLOps.

Evaluar después de personalizar

Un modelo ajustado no es mejor hasta que lo demuestras. Compara contra el modelo base con el mismo conjunto de prueba: la tarea nueva (¿mejoró?), las tareas generales (¿olvidó algo?), la seguridad (¿sigue rechazando lo que debe?) y el costo por respuesta. Si la mejora no supera a un buen prompt con RAG, no vale la pena mantener un modelo propio. Las métricas y herramientas están en evaluar modelos e IA generativa.