¿Qué es fine-tuning de un LLM?

Fine-tuning es el proceso de tomar un LLM pre-entrenado (Qwen, Llama) y entrenarlo adicionalmente sobre un dataset específico del dominio para especializarlo en un tono, vocabulario o tarea. NexoSmart fine-tunea Qwen sobre datos del cliente (chats históricos, manuales, transcripciones) usando LoRA, lo que reduce costos de GPU 10x vs entrenamiento full y se incluye en el fee inicial de USD 2.000.

¿Qué métodos de fine-tuning existen?

Tres principales: full fine-tuning (entrena todos los pesos, caro y poderoso), LoRA (Low-Rank Adaptation, entrena adaptadores chicos sobre el modelo congelado, 10x más barato) y QLoRA (LoRA cuantizado, corre en GPUs consumer). NexoSmart usa LoRA por default.

¿Qué datos necesita fine-tuning?

Pares de pregunta-respuesta etiquetados, transcripciones de chats reales, manuales de procedimientos. Mínimo 500 pares para mover el tono, 5.000+ para tareas específicas. NexoSmart sintetiza datos cuando el cliente no tiene volumen suficiente.

• •Pares Q&A del dominio
• •Transcripciones de soporte real
• •Manuales y procedimientos internos
• •Ejemplos de tono de marca

¿Cuánto tarda y cuánto cuesta?

Con LoRA sobre Qwen 7B: 4-8 horas en una GPU A100. Costo de cómputo: USD 50-200 según tamaño de dataset. Para el cliente: incluido en el fee inicial fijo de USD 2.000 de NexoSmart.

¿Cuándo NO conviene fine-tunear?

Cuando podés resolver con prompt engineering + method indexing. Cuando los datos cambian semanalmente (mejor RAG selectivo). Cuando el volumen es bajo (menos de 1.000 interacciones/mes). Probá prompt primero, fine-tune si la performance no alcanza.

Temas relacionados