Tokf: la herramienta que reduce un 90% del desperdicio de tokens en Claude mediante filtrado inteligente de comandos

Un desarrollador ha creado tokf, una herramienta de línea de comandos que aborda uno de los problemas más desapercibidos pero críticos en el uso de modelos de lenguaje grandes: el ruido generado por la salida de comandos del terminal. El origen del proyecto surge de una observación pragmática. Cuando Claude Code ejecuta comandos Bash, no es la lógica del código la que consume la mayor parte del contexto, sino los mensajes superfluos generados por herramientas estándar del desarrollo. Un simple git push genera entre 8 y 15 líneas de barras de progreso. Cargo test expulsa más de 60 líneas de chatter de compilación. Docker build es aún peor. Todo ese ruido se introduce en la ventana de contexto del modelo, desperdiciando tokens valiosos sin aportar información relevante. Tokf funciona como un intermediario transparente que intercepta la salida de comandos Bash y la comprime antes de que llegue al modelo. Se trata de una herramienta dirigida específicamente a quienes utilizan Claude Code, aunque su lógica tiene aplicaciones más amplias en cualquier integración de IA con herramientas de desarrollo. La arquitectura de tokf se basa en un enfoque modular y flexible. Los filtros se configuran mediante archivos TOML que pueden almacenarse en repositorios de código, lo que permite personalización sin modificar flujos de trabajo existentes. Para casos complejos, incluye un escape hatch en Lua que permite lógica personalizada avanzada. Su instalación es minimalista: un único comando instala un hook PreToolUse que funciona de forma transparente para todos los comandos que ejecuta Claude. Los resultados cuantitativos son significativos. Tras más de 3.000 ejecuciones en entornos reales, tokf ha conseguido reducir 985.000 tokens de entrada a apenas 98.000 tokens de salida, lo que representa una compresión del 90%. Esta optimización tiene implicaciones directas en el coste, la velocidad de respuesta y la calidad de las interacciones con modelos de lenguaje. Durante el desarrollo, el creador identificó patrones interesantes en cómo Claude Code utiliza el terminal de manera diferente a los humanos. El modelo ejecuta comandos con rutas completas, intercala flags de forma no estándar, y tiende a canalizar salida a grep de manera sistemática. Tokf maneja estos casos con matching basado en basename e intercepción transparente de flags, además de detectar automáticamente qué ejecutor de pruebas se está utilizando (Vitest, Jest o Mocha) para aplicar filtros especializados. La herramienta está escrita en Rust, distribuida bajo licencia MIT, y funciona de manera completamente local sin dependencias en la nube. Su desarrollo fue inspirado por investigaciones previas del equipo RTK que demostraron que reducciones del 60-90% en consumo de contexto son viables, aunque tokf implementa un enfoque distinto y más granular. Este proyecto refleja una tendencia creciente en el ecosistema de IA: la optimización no está únicamente en los modelos grandes, sino en cómo preparamos y filtramos los datos que les enviamos. A medida que los costes de API basados en tokens continúan siendo un factor económico importante, herramientas como tokf representan una oportunidad práctica para mejorar la eficiencia sin comprometer funcionalidad.