Un investigador logra reproducir el videoclip 'Bad Apple' mediante los mapas de atención de GPT-2 XL sin entrenar la red neuronal

Un proyecto experimental ha demostrado una capacidad poco convencional de las redes neuronales de lenguaje: la posibilidad de visualizar contenido visual complejo a través de sus mecanismos internos de atención, sin que el modelo haya sido expuesto nunca a imágenes durante su entrenamiento. El investigador TheLatentExplorer ha logrado que los mapas de atención de GPT-2 XL, uno de los modelos de lenguaje más establecidos, reproduzcan fotograma a fotograma el famoso videoclip "Bad Apple!!" del grupo de música virtual Touhou. Para conseguirlo, empleó una estrategia ingeniosa basada en la optimización de tensores de embeddings de entrada manteniendo completamente congelada la arquitectura del modelo. La metodología empleada resulta técnicamente sofisticada. El investigador optimizó un tensor de embeddings de 256x1600 píxeles para cada fotograma, enfocándose únicamente en una cabeza de atención específica —concretamente la cabeza 0 en la capa 0— y calculando exclusivamente las proyecciones de consulta (Q) y clave (K). La innovación principal consistió en aplicar la función de pérdida MSE directamente en el espacio logit, anterior a la aplicación de softmax, lo que proporcionó gradientes aproximadamente 250 veces más intensos que los obtenidos mediante el cálculo de pérdida en los pesos de atención normalizados. El proceso de optimización empleó una estrategia de múltiples inicializaciones: el algoritmo ejecutó tres optimizaciones con diferentes semillas aleatorias, seleccionó el mejor resultado y posteriormente lo refinó. El post-procesamiento incluyó normalización Z por filas, desenfoque gaussiano y aplicación de la paleta de colores magma para mejorar la visualización final. El conjunto de trabajo comprendió 3.286 fotogramas, requiriendo aproximadamente 12 minutos de cálculo en una GPU RTX 5070 Ti con un consumo máximo de 4,5 GB de memoria VRAM. Este proyecto, aunque reconocidamente lúdico en su propósito, revela aspectos fundamentales sobre cómo operan internamente los transformers modernos. Los mapas de atención representan uno de los mecanismos más estudiados de estas arquitecturas, permitiendo investigadores comprender qué aspectos del contexto resultan más relevantes para las predicciones del modelo. La capacidad de dirigir deliberadamente estos mecanismos hacia objetivos visuales específicos mediante optimización de embeddings abre interrogantes sobre la naturaleza de la representación en redes neuronales profundas. La investigación se inserta en una tradición creciente de proyectos experimentales que buscan visualizar y comprender los procesos internos de los grandes modelos de lenguaje. La comunidad de investigadores en IA local ha demostrado progresivamente interés en estos análisis de caja gris, particularmente en plataformas como Reddit y HackerNews, donde se comparten descubrimientos que, aunque especulativos, contribuyen a la comprensión colectiva de estas tecnologías. El autor proporcionó acceso completo a su trabajo incluyendo un análisis matemático detallado, el código fuente en repositorio público y una demostración en vídeo, facilitando así la reproducción y el análisis crítico de sus resultados. Este nivel de transparencia resulta particularmente valorado en la comunidad de investigación en inteligencia artificial de código abierto.