Durante años, el plan para crear modelos de lenguajes grandes (LLM) se ha centrado en un único objetivo: optimizar los costos de capacitación. Sin embargo, a medida que la IA pasa de los laboratorios de investigación a las aplicaciones del mundo real, ha surgido un nuevo problema. El costo de usar estos modelos (la etapa de inferencia) a menudo se ignora durante la fase de diseño, lo que genera enormes ineficiencias cuando los modelos se implementan a escala.
Investigadores de la Universidad de Wisconsin-Madison y la Universidad de Stanford están desafiando este status quo. Han introducido un nuevo marco llamado leyes de escalamiento de tren a prueba (T2), que sugiere que para construir la IA más efectiva, deberíamos dejar de considerar el entrenamiento y la inferencia como presupuestos separados y comenzar a tratarlos como uno solo.
El conflicto: entrenamiento versus inferencia
Para entender por qué esto es importante, debemos observar las dos formas diferentes en que funciona actualmente el “escalado”:
- Escalado previo al entrenamiento (la regla de Chinchilla): Tradicionalmente, los desarrolladores siguen la “regla de Chinchilla”, que sugiere una proporción específica de datos de entrenamiento con respecto al tamaño del modelo (aproximadamente 20 tokens por parámetro). Esto optimiza cuánto cuesta crear el modelo.
- Escalado en tiempo de prueba (razonamiento en tiempo de inferencia): Esta es la práctica de dejar que un modelo “piense más” durante la implementación. En lugar de tomar la primera respuesta que da un modelo, los desarrolladores generan múltiples muestras de razonamiento (muestreando $k$ veces) para encontrar el resultado más preciso. Esto es común en tareas complejas como codificación o matemáticas.
El problema: Estos dos procesos están actualmente desconectados. Si crea un modelo masivo “óptimo para Chinchilla”, cada consulta se vuelve extremadamente costosa. Si luego intenta utilizar el “escalado en el tiempo de prueba” (pedirle al modelo que lo intente varias veces para garantizar la precisión), sus costos operativos se disparan.
La solución T2: modelos más pequeños, más datos, más muestras
El marco T2 proporciona una fórmula matemática que optimiza conjuntamente tres variables:
* $N$ : Tamaño del modelo (parámetros)
* $D$ : Volumen de datos de entrenamiento (tokens)
* $k$ : Número de muestras de razonamiento en la inferencia
La investigación demuestra una estrategia contraria a la intuición: Para maximizar el rendimiento con un presupuesto fijo, es mejor entrenar un modelo mucho más pequeño con una cantidad masiva de datos que entrenar un modelo grande siguiendo reglas tradicionales.
Al “sobreentrenar” un modelo compacto, los desarrolladores ahorran suficiente sobrecarga computacional para permitirse ejecutar el mismo modelo varias veces durante la inferencia. Básicamente, se cambia el alto costo de un modelo “pesado” por la alta frecuencia de un modelo “ligero”.
Rendimiento y compensaciones en el mundo real
Para validar esto, los investigadores probaron más de 100 modelos y entrenaron 21 nuevos desde cero. Los resultados fueron claros: los modelos pequeños altamente sobreentrenados superaron consistentemente a los modelos más grandes, tradicionalmente optimizados en tareas que implicaban aritmética, razonamiento espacial y recuperación de conocimientos.
Sin embargo, esta estrategia no es una “solución milagrosa” universal. Los investigadores observaron varias consideraciones clave:
- Especificidad de la tarea: T2 está hecho a medida para aplicaciones con mucho razonamiento (como codificación o lógica). Ofrece menos beneficios para tareas con mucho conocimiento, como modelos de chat simples donde el objetivo es simplemente recuperar información.
- El muro de datos: Existe un límite físico en cuanto a cuánto puedes sobreentrenar a un modelo. Si lleva esta estrategia demasiado lejos, es posible que se quede sin datos de entrenamiento de alta calidad disponibles en Internet.
- Obstáculos para el ajuste fino: Los modelos extremadamente sobreentrenados a veces pueden ser “obstinados” y más difíciles de ajustar para tareas específicas, aunque los investigadores encontraron que esto no anulaba las ganancias generales de eficiencia.
Por qué esto es importante para la industria de la IA
Este cambio representa una oportunidad importante para los desarrolladores empresariales. Actualmente, el alto costo de los “modelos de frontera” (los modelos masivos y costosos como GPT-4) actúa como una barrera para escalar los flujos de trabajo “agentes”: agentes de IA que necesitan razonar, recorrer y verificar su propio trabajo.
El marco T2 proporciona un modelo para democratizar el razonamiento de alto nivel. Demuestra que no se necesita el modelo más grande del mundo para lograr un rendimiento de élite; sólo necesita una asignación más inteligente de su presupuesto informático total.
Conclusión: Al cambiar el enfoque de “¿qué tan grande podemos construirlo?” hasta “¿con qué eficiencia podemos usarlo?”, las leyes de escala T2 permiten a los desarrolladores lograr capacidades de razonamiento superiores utilizando modelos más pequeños y rentables.
