¿El fin de la era de los LLM gigantes? La «destilación de escala» desafía el dominio de Silicon Valley
La carrera por la inteligencia artificial (IA) podría estar tomando un giro inesperado. Lejos de la lógica de «cuanto más grande, mejor», una nueva corriente propone un enfoque más eficiente y accesible, capaz de democratizar la tecnología y desafiar el reinado de las grandes empresas de Silicon Valley.
En esencia, la idea es que la IA no necesita ser sinónimo de modelos enormes y costosos. La llamada «ley de destilación de escala» plantea que el progreso se basa en mejorar el rendimiento y la eficiencia de modelos de tamaño similar, en lugar de construir creaciones cada vez más colosales. Como señala el think tank europeo Bruegel, se trata de sustituir la ley de la escala por la destilación, un cambio de paradigma que podría tener profundas implicaciones.
El caso DeepSeek: un «chico» que le hace sombra a los gigantes
Un ejemplo concreto de este nuevo enfoque es DeepSeek, un modelo que ha demostrado ser sorprendentemente eficiente a pesar de su tamaño relativamente modesto. En resumen, hasta 2024, el rendimiento de los LLM solo mejoraría aumentando los datos y la potencia de cálculo, siguiendo la ley de la escala pero a costos crecientes y con rendimientos decrecientes. La llegada de DeepSeek (y de los modelos de razonamiento) desplazó la atención hacia el ajuste fino, es decir, el perfeccionamiento de los modelos existentes. Este enfoque redujo los costos y eliminó la dependencia del costoso preentrenamiento.
La clave, según los expertos, reside en la llamada «destilación» de modelos. En pocas palabras (como se explica en un artículo reciente), las dimensiones de los dos modelos no deben ser ni demasiado similares ni demasiado disímiles. En el primer caso, sería como dejar que un alumno de primaria hiciera de profesor de sus compañeros, con resultados obviamente malos. En el segundo, sería como convertir a un profesor universitario en maestro de primaria, con lo que la diferencia sería demasiado grande.
Silicon Valley contra las cuerdas: ¿una amenaza para el modelo de negocio?
El auge de la «destilación de escala» no es visto con buenos ojos por las grandes tecnológicas de Silicon Valley. El Director General de Anthropic y teórico de la ley de la escala, Dario Amodei, rechazó esta interpretación, afirmando que el rendimiento de DeepSeek sigue siendo «dos factores» inferior al de los principales modelos estadounidenses, a pesar de haber reducido los costos «ocho veces». Sin embargo, los propios (vagos) cálculos de Amodei muestran cómo la eficiencia de DeepSeek puede considerarse cuatro veces superior a la de los modelos de vanguardia, sin excluir que posiblemente mejore aún más.
La razón de esta resistencia es sencilla: la verdadera ventaja competitiva de estas empresas reside en su poderío económico. Si desarrollar inteligencia artificial se vuelve cada vez más barato (ya hay modelos desarrollados en pocas horas y por unos cientos de dólares), será cada vez más difícil para OpenAI, Google, Microsoft o Anthropic mantener su dominio en un mercado ya de por sí muy complejo.
El futuro de la IA: ¿eficiencia o gigantismo?
La discusión sobre la «destilación de escala» plantea un interrogante fundamental sobre el futuro de la IA. ¿Seguiremos apostando por modelos cada vez más grandes y costosos, o buscaremos alternativas más eficientes y accesibles? Más allá de los tecnicismos, el argumento es sencillo: ¿por qué, en lugar de centrarnos en modelos cada vez más grandes para aumentar el rendimiento, no intentamos en cambio que los modelos existentes (o los destilados a partir de ellos con técnicas cada vez más sofisticadas) sean cada vez más eficientes? Un enfoque que también parece tener sentido a la luz de la «hambruna de datos » que se avecina rápidamente: según algunas estimaciones, hacia 2030 todos los datos de la web habrán sido explotados para el entrenamiento, sin que el crecimiento de la web pueda compensar el hambre de los LLM.
El tiempo dirá si la «destilación de escala» se consolida como la nueva norma en el mundo de la IA, o si los gigantes de Silicon Valley logran mantener su hegemonía a base de músculo financiero. Lo que está claro es que la competencia se intensifica y el futuro de la inteligencia artificial está lejos de estar escrito.
