Un experimento fallido revela los límites actuales de los asistentes de IA en refactorización de código

Un desarrollador ha documentado los resultados de un ambicioso experimento diseñado para optimizar cómo Claude realiza tareas de refactorización de software, con resultados que desafían las expectativas iniciales y ponen de manifiesto las complejidades ocultas en la interacción entre modelos de lenguaje y herramientas especializadas. El proyecto partía de una observación práctica: Claude tiende a reescribir código desde cero durante los procesos de refactorización, lo que genera alucinaciones sobre la funcionalidad real del código y consume un número excesivo de tokens, incrementando los costos operativos y prolongando los ciclos de corrección. Para resolver este problema, el desarrollador construyó una herramienta denominada "boarder", una extensión MCP (Model Context Protocol) que proporciona operaciones de corte y pegado precisas para manipular código existente, trabajando con referencias en lugar de reescrituras completas. La infraestructura creada es sustancial: el proyecto incluye más de 14.000 líneas de código Rust distribuidas entre la herramienta principal y un banco de pruebas especialmente diseñado para ejecutar Claude Code en contenedores aislados con ejecución paralela. El experimento se diseñó meticulosamente, con múltiples iteraciones para garantizar fiabilidad estadística. El benchmark sometió al modelo a una tarea desafiante: dividir un monolito Express.js de 700 líneas en 11 archivos modulares. Los resultados fueron contra-intuitivos. Mientras que la hipótesis esperaba una reducción de tokens, la realidad mostró un aumento del 14% en el consumo de tokens y un incremento del 10% en los costos económicos. El tiempo de ejecución también se incrementó marginalmente, de 5 minutos y 58 segundos a 6 minutos y 7 segundos. Los datos revelaron patrones problemáticos: en una de las cinco ejecuciones, el modelo ignoró completamente la herramienta MCP disponible. En otras ocasiones, la utilizó de manera esporádica e ineficiente. El análisis post-mortem identificó tres problemas fundamentales: el MCP añade aproximadamente 8.500 tokens de contexto adicional simplemente por existir, una sobrecarga que no se compensa con las mejoras esperadas. Además, los 700 líneas de código pueden ser insuficientes para justificar la complejidad de nuevas abstracciones. Finalmente, existe un desajuste conceptual entre cómo el desarrollador piensa en términos de números de línea y cómo el modelo conceptualiza el código a nivel de bloques funcionales. Este hallazgo ilustra un problema más amplio en la inteligencia artificial aplicada: aunque las herramientas pueden parecer lógicas desde una perspectiva ingenieril, los modelos de lenguaje no siempre las aprovechan de la manera prevista. La efectividad de una extensión depende no solo de su funcionalidad técnica, sino de cómo el modelo puede integrarla en su proceso de razonamiento. El autor ha planificado un conjunto de mejoras: probar la herramienta con bases de código significativamente más grandes donde el costo inicial de contexto se amortice mejor, minimizar la sobrecarga del MCP mediante un diseño más eficiente, y repensar el nivel de abstracción, pasando de operaciones a nivel de línea a operaciones a nivel de función o bloque lógico. Este experimento contribuye a un debate más amplio en la comunidad de desarrolladores sobre los límites actuales de los asistentes de IA. Mientras que herramientas como Claude Code han demostrado ser efectivas en numerosos escenarios, los casos de uso especializados revelan que la integración de nuevas capacidades no es trivial y requiere una comprensión profunda tanto de las capacidades del modelo como de la naturaleza del problema a resolver.