General Instinct logra comprimir modelos de IA de frontera para dispositivos periféricos sin perder rendimiento

Una startup surgida del programa de aceleración de Y Combinator ha presentado una solución que podría transformar la forma en que se despliegan modelos de inteligencia artificial en dispositivos con recursos limitados. General Instinct, fundada por Guanming y Bill tras años trabajando en robótica, ha desarrollado técnicas que permiten ejecutar modelos de IA de última generación en hardware periférico convencional, resolviendo un problema recurrente en la industria: la brecha entre las capacidades de los modelos más avanzados y las restricciones reales del hardware disponible. El núcleo del desafío radica en que los modelos más potentes actuales están optimizados para entornos de centros de datos con GPUs de alta gama, abundante ancho de banda y conectividad confiable. Sin embargo, la mayoría de sistemas físicos—robots, dispositivos industriales, sistemas embarcados—operan bajo restricciones opuestas: memoria limitada, procesamiento modesto y, frecuentemente, sin acceso consistente a la red. Esta incompatibilidad ha obligado a comprometer la calidad de los modelos para que funcionen en la práctica. Para abordar este problema, General Instinct ha desarrollado InstinctRazor, una herramienta que han puesto a disposición de la comunidad de código abierto. Su logro más destacado es la compresión de Qwen3.5-122B-A10B, un modelo de mezcla de expertos que originalmente ocupaba 245 GB en formato BF16, reduciéndolo a apenas 48 GB en formato GGUF. Lo notable es que este modelo comprimido no solo es considerablemente más pequeño que Gemma-4-26B-A4B, sino que además lo supera en rendimiento en benchmarks estándar como MMLU-Pro y GPQA-D. La técnica detrás de este logro preserva selectivamente los componentes críticos del modelo—el enrutador, capas de normalización, componentes de procesamiento visual y capas de redes neuronales recurrentes—mientras aplica cuantización agresiva a los expertos enrutados, reduciendo drásticamente el tamaño del modelo. Posteriormente, utiliza destilación on-policy para recuperar las capacidades perdidas durante el proceso de compresión. Esta aproximación permite que el modelo mantenga su sofisticación en áreas clave mientras sacrifica precisión en componentes menos críticos. La configuración propuesta también es flexible. En un escenario con GPU modesta, los expertos pueden transmitirse desde la memoria del sistema, permitiendo ejecutar el modelo con una ventana de contexto de 8.000 tokens utilizando entre 7,6 y 8 GB de memoria de video. Esta capacidad abre posibilidades para desplegar modelos avanzados en infraestructuras mucho más modestas de lo que tradicionalmente se consideraba viable. La relevancia de esta aproximación trasciende la roboticidad. En un panorama donde la inteligencia artificial se está integrando progresivamente en dispositivos periféricos—desde smartphones hasta maquinaria industrial—la capacidad de ejecutar modelos sofisticados localmente sin depender de conexión a servidores remotos ofrece ventajas significativas en privacidad, latencia y disponibilidad. Los fundadores solicitan activamente retroalimentación de profesionales en robótica e IoT sobre los modelos que intentan ejecutar actualmente y los principales obstáculos que enfrentan en producción, señalando que esta es una solución en evolución dirigida por las necesidades reales del mercado.