Un desarrollador consigue el primer puesto del ranking de IA abierta duplicando capas de una red neuronal

Un hallazgo inusual en el campo del aprendizaje automático ha revolucionado la clasificación de modelos de lenguaje abiertos de HuggingFace. Un investigador independiente logró posicionar su modelo modificado en el primer lugar del prestigioso ranking sin alterar los pesos originales del modelo base, simplemente duplicando un bloque específico de siete capas intermedias del modelo Qwen2-72B. El descubrimiento sugiere que los modelos de lenguaje grandes contienen "circuitos funcionales" discretos durante su entrenamiento inicial, estructuras de capas que solo funcionan de manera óptima cuando se preservan en su totalidad. Este hallazgo desafía la comprensión convencional sobre cómo operan internamente estos sistemas de inteligencia artificial. Lo más sorprendente del experimento es su especificidad: la duplicación de una única capa no produce mejora alguna, al igual que un número insuficiente de capas. Por el contrario, añadir demasiadas capas genera un deterioro en el rendimiento. Solo bloques de aproximadamente siete capas logran este efecto de mejora consistente en todos los benchmarks del ranking abierto. El desarrollo se realizó en condiciones modestas desde el punto de vista de recursos computacionales. El investigador utilizó únicamente dos GPUs RTX 4090 de consumidor disponibles en su hogar para conseguir estos resultados que hoy ocupan las primeras posiciones del leaderboard. Esta es una información relevante en un contexto donde muchos laboratorios de investigación dedican recursos masivos en centros de datos especializados. La importancia de este descubrimiento trasciende el mero logro de posicionamiento en un ranking. Sugiere que la interpretabilidad de redes neuronales profundas tiene dimensiones que aún no comprendemos completamente. Si efectivamente existen circuitos funcionales específicos durante el entrenamiento, esto abre nuevas líneas de investigación sobre cómo optimizar y entender el comportamiento de modelos de lenguaje cada vez más grandes. Según información disponible, cuatro de los cinco primeros modelos en el ranking actual son descendientes directos de este experimento inicial. El impacto ha sido suficientemente significativo como para transformar la competición científica en este ámbito durante varios años consecutivos. El investigador ha indicado que proporcionará el código y nuevos modelos basados en estos principios en breve. Esto permitirá que otros equipos de investigación verifiquen y construyan sobre estos hallazgos, potencialmente democratizando el acceso a técnicas de optimización que actualmente solo están disponibles a través de laboratorios bien financiados.