Un aficionado demuestra el potencial real de las configuraciones GPU duales para ejecutar modelos de IA locales de última generación

Un entusiasta de la inteligencia artificial ha realizado un exhaustivo análisis de rendimiento que revela el potencial transformador de las configuraciones de múltiples procesadores gráficos para ejecutar modelos de lenguaje grandes en equipos domésticos. Los resultados, obtenidos mediante una arquitectura de dos tarjetas gráficas NVIDIA (RTX 4070 y RTX 3060), demuestran velocidades de generación de tokens que alcanzan los 79 tokens por segundo, cifras que hasta hace poco eran exclusivas de centros de datos profesionales. La configuración utilizada combina un procesador AMD Ryzen 7700X con 32 GB de memoria DDR5 y un sistema operativo Windows 11 equipado con los últimos controladores NVIDIA. El investigador probó cuatro modelos prominentes en la comunidad de IA de código abierto: Qwen3.5 (versión 35B), Qwopus 3.5 (27B), y dos variantes de Gemma4 (26B y 31B). Todos los modelos fueron configurados con optimizaciones como attention flash y descarga completa en GPU. Los hallazgos más relevantes indican que el modelo Qwen3.5 35B supera significativamente a Gemma4 26B en velocidad de generación de tokens, con una ventaja del 20-29 por ciento dependiendo de la longitud de salida. Mientras que Gemma4 procesaba prompts ligeramente más rápido (15.6 por ciento más veloz), la arquitectura Qwen3.5 demostró consistencia superior en tareas de generación prolongada, alcanzando 79 tokens por segundo frente a los 65 de su competidor directo. Quizás más relevante es el impacto mensurable de la segunda GPU. La adición de la RTX 3060 aceleró el procesamiento de prompts en un 50 por ciento en comparación con la configuración anterior de una sola GPU con descarga en RAM. Para la generación sostenida de tokens en contextos extensos (4.096 tokens), la mejora alcanzó el 44 por ciento. Este incremento es especialmente significativo considerando que la segunda tarjeta opera a través de un bus PCI Express 4.0 x2, una limitación arquitectónica del chipset de la placa base MSI B650. La distribución de memoria entre ambos procesadores reveló patrones interesantes: la GPU secundaria asumió consistentemente una proporción ligeramente mayor de la carga de trabajo (entre 300-400 MB adicionales), sugiriendo que el algoritmo de distribución de carga de LMStudio (el software utilizado) no necesariamente prioriza la GPU designada como principal. Los porcentajes de utilización oscilaron entre el 40-45 por ciento en la RTX 4070 y el 50-60 por ciento en la RTX 3060. Esta investigación adquiere relevancia en un momento en que la computación local de modelos de IA se populariza entre profesionales y aficionados. El coste combinado de ambas tarjetas gráficas resulta significativamente inferior al de una única GPU de gama alta, mientras que el rendimiento agregado se aproxima al de soluciones profesionales. Los usuarios interesados en tareas de codificación, análisis de código o procesamiento de contextos amplios encontrarían en esta configuración un punto de equilibrio entre presupuesto y capacidad de procesamiento. La comunidad de IA local continúa refinando estrategias de optimización, y este tipo de análisis empíricos contribuye a desmitificar las limitaciones técnicas que históricamente han restringido el acceso a capacidades de procesamiento significativas. El hecho de que un aficionado documenting sus benchmarks mediante herramientas de monitoreo básicas (el propio Task Manager de Windows) logre resultados equiparables a configuraciones profesionales subraya la accesibilidad creciente de la tecnología de IA avanzada.