Has decidido dar el salto a la IA local. Has leído sobre Ollama, has trasteado con interfaces como Onyx o Open WebUI, y ahora tienes una pregunta que no te deja dormir: ¿mi GPU puede con esto? La respuesta corta es casi siempre «sí, pero…». Elegir los modelos LLM según hardware no es opcional: es la diferencia entre una experiencia fluida y una tarde de frustración viendo cómo tu ordenador se ahoga.
La regla de oro: la VRAM manda
Cuando se trata de correr un LLM en local, un factor eclipsa a todos los demás: la VRAM de tu GPU. No importa si tienes 64 GB de RAM del sistema; si tu tarjeta no tiene suficiente VRAM, vas a tener problemas. Como explica la guía de LLMs locales de Donweb, la inferencia es memory-bandwidth-bound: el hardware que genera tokens más rápido es el que lee los pesos desde la memoria más rápido. Por eso una RTX 4090 a 1.008 GB/s es más rápida que una RTX 3060 Ti: no es solo capacidad, es ancho de banda. Si ya tienes una GPU y quieres sacarle más jugo antes de gastar dinero, mi tutorial de undervolting y overclocking de GPU puede ayudarte a reducir temperaturas y mejorar el rendimiento.
Modelos LLM según hardware: cuánta memoria necesitas de verdad
El panorama ha cambiado radicalmente en 2026. Seis familias importan ahora: Llama, Qwen, Mistral, DeepSeek, Gemma y Phi. Y dentro de cada una hay variantes MoE que cambian las reglas: un modelo de 26B parámetros totales puede activar solo 4B por token, corriendo como un modelo pequeño pero razonando como uno grande.
Al seleccionar modelos LLM según hardware, el primer dato que necesitas es cuánta VRAM consume cada uno. Desglose con cuantización Q4_K_M:
- Phi-4-mini (3.8B): ~2,5-3 GB. Cabe hasta en GPUs integradas de 4 GB.
- Qwen3 4B / Gemma 4 E4B: ~3-4,5 GB. Para laptops básicos con 8 GB de RAM. E4B soporta texto, imagen y audio nativamente.
- Qwen3 8B / Llama 3.3 8B / Mistral Small 3 7B: ~5,5-6 GB. El punto dulce para una GPU de 8 GB.
- Gemma 4 12B Unified: ~7-8 GB. Modelo denso de 12B con texto, imagen, audio, contexto de 256K y MTP integrado. La guía de Gemma 4 de Cristian Tala confirma que corre en cualquier laptop con 16 GB de RAM.
- Qwen3 14B / Phi-4 14B / DeepSeek R1 Distill 14B: ~8,5-10 GB. Necesitas una GPU de 12 GB.
- Gemma 4 26B A4B (MoE): ~16-18 GB. Solo activa 4B por token. Calidad de modelo grande a velocidad de modelo pequeño.
- Qwen3-Coder 30B-A3B (MoE) / DeepSeek R1 Distill 32B: ~18-20 GB. El primero para código con 262K de contexto; el segundo para razonamiento step-by-step.
- Llama 3.3 70B / Qwen3 72B: ~40-42 GB. Terreno de Mac Studio con 128 GB unificados o estaciones multi-GPU.
¿Y si solo tienes CPU? Los modelos de 1B a 3B funcionan a velocidades aceptables. A partir de 7B, la cosa se pone lenta: 5-6 tokens por segundo. Apple Silicon tiene ventaja única: un MacBook con 16 GB puede correr un 7B sin VRAM dedicada, y un Mac Studio M4 Max con 128 GB carga un Llama 3.3 70B completo.
Gemma 4 12B: el peso medio que lo cambia todo
Google lanzó Gemma 4 12B en junio para llenar el hueco entre los modelos móviles y los serios. Y lo hizo con una arquitectura que rompe moldes: es encoder-free. Elimina los encoders dedicados de visión y audio, usando proyecciones directas al espacio de tokens. Menos latencia, menos memoria. Es el primer Gemma 4 con Multi-Token Prediction (MTP) activado de fábrica, que acelera la inferencia 1,4-2,2x sin perder calidad.
Los benchmarks hablan claro: 77,2% en MMLU Pro, 77,5% en AIME 2026 y 72,0% en LiveCodeBench v6, muy cerca del modelo de 26B (82,6%, 88,3% y 77,1%) pero ocupando la mitad de memoria. Con licencia Apache 2.0, 140+ idiomas y 256K de contexto, es el modelo más versátil del panorama local. La guía de configuración de Gemma 4 en RTX cubre CUDA y Ollama paso a paso.
Cuantización GGUF: adelgazar modelos sin perder la cabeza
La cuantización comprime los pesos del modelo para que ocupen menos memoria, sacrificando calidad mínima. Piensa en JPEG vs RAW: menos peso, diferencia imperceptible para la mayoría. Q4_K_M es el estándar: un 7B que sin cuantizar necesita ~14 GB cabe en ~6 GB, con solo 1-3 puntos de pérdida en benchmarks. Q5_K_M mejora marginalmente la calidad con 15-20% más de memoria. Q8_0 preserva casi la calidad original a 1,5x el coste.
Regla de oro: dentro del mismo presupuesto de memoria, un modelo más grande en Q4 suele superar a uno más pequeño en Q8. La cuantización es clave al elegir modelos LLM según hardware. Y si buscas máxima eficiencia, Google ha publicado variantes QAT de Gemma 4 que reducen la memoria 3 veces. La comparativa de Javadex también recomienda INT4 cuando la VRAM es limitada.
Tres niveles de hardware, tres realidades
Nivel 1: lo que ya tienes (0 €)
Con 8 GB de RAM y una GPU de 6-8 GB (como una RTX 3060 Ti), ya puedes correr 7B-8B en Q4_K_M. Qwen3 8B logra 76% en HumanEval y 72,8% en MMLU. Mistral Small 3 7B es el más rápido: ~50 tok/s en hardware mid-range. Con solo 4 GB de VRAM, Phi-4-mini sorprende con 68,5% en MMLU. La guía de modelos para RTX 3060 ofrece recomendaciones específicas.
Nivel 2: la mejora inteligente (~800 €)
Con una GPU de 12-16 GB brilla Gemma 4 12B: multimodal, 256K de contexto y MTP en 7-8 GB de VRAM. Para código, Codestral 22B alcanza 88,4% en HumanEval y 94,1% en FIM, ideal para autocompletado en IDE (revisa su licencia). Qwen3 14B logra 83% MMLU y 85% HumanEval. Y DeepSeek R1 Distill 14B supera a o1-mini en matemáticas con su cadena de pensamiento visible.
Nivel 3: sin compromisos (~2.000 €+)
En territorio RTX 4090/5090 brillan los MoE. Gemma 4 26B A4B activa solo 4B por token: 82,6% MMLU Pro, 88,3% AIME 2026. Si buscas máxima calidad, Gemma 4 31B denso logra 85,2% MMLU Pro y 2.150 ELO en Codeforces, cabiendo en una RTX 4090. Qwen3-Coder 30B-A3B hace ~100 tok/s con 262K de contexto. Y DeepSeek R1 Distill 32B bate al o1-mini en AIME (72,6% vs 63,6%), como recoge la guía de daily.dev.
¿Qué modelo le sienta bien a tu caso de uso?
Esta lista de modelos LLM según hardware te ayuda a decidir según tu caso de uso:
- Autocompletado en IDE: Codestral 22B (~12 GB). HumanEval 88,4%, FIM 94,1%.
- Código con contexto largo: Qwen3-Coder 30B-A3B (~20 GB). 262K contexto, ~100 tok/s.
- Chat general: Llama 3.3 8B (~6 GB). Mejor equilibrio, ecosistema más amplio.
- Todo en uno (laptop): Gemma 4 12B (~7-8 GB). Texto, imagen, audio, 256K contexto, MTP, Apache 2.0.
- Todo en uno (calidad máx.): Gemma 4 26B A4B (~16-18 GB). MoE, texto+imagen, 256K contexto.
- Razonamiento y matemáticas: DeepSeek R1 Distill 32B (~20 GB). Bate a o1-mini.
- Resumen de documentos: Qwen3 14B (~8,5 GB). 83% MMLU, 85% HumanEval.
- Multilingüe: Qwen3 8B (~7 GB, 100+ idiomas) o Gemma 4 12B (~7-8 GB, 140+ idiomas).
- Recursos mínimos: Phi-4-mini (~3 GB). 68,5% MMLU. Licencia MIT.
Para chat interactivo necesitas 15+ tok/s; para IDE, 30+. Los MoE ofrecen velocidad de modelo pequeño con calidad de modelo grande. Y con MTP, Gemma 4 12B acelera 1,4-2,2x sin perder precisión.
Errores comunes que te harán perder el tiempo
Tres trampas: primero, el contexto que desaparece. Ollama usa 2048 tokens por defecto; si lo excedes, elimina los más antiguos sin avisar. Configura num_ctx siempre, especialmente con Qwen3-Coder (262K) o Gemma 4 12B (256K). La guía de Ollama de Pasquale Pillitteri insiste en esto. Segundo, el swapping: si el modelo no cabe en VRAM y hace swap al disco, la velocidad se desploma; el KV cache también consume VRAM extra. Tercero, la licencia: Qwen3, Gemma 4 y Mistral usan Apache 2.0; Phi-4 y DeepSeek R1 usan MIT; pero Llama 3.3 tiene restricciones y Codestral 22B es no comercial. Revisa siempre la model card en Hugging Face.
El veredicto
La IA local en 2026 no se parece a la de hace dos años. Gemma 4 12B demuestra que un modelo medio puede ofrecer multimodalidad completa, razonamiento complejo y MTP en menos de 8 GB de VRAM. Los MoE como Gemma 4 26B A4B y Qwen3-Coder 30B-A3B han cambiado las reglas: calidad de modelo grande a velocidad de modelo pequeño. DeepSeek R1 trae razonamiento tipo o1 a tu GPU. Y Phi-4-mini demuestra que con menos de 3 GB ya se puede hacer IA útil. Elegir modelos LLM según hardware sigue siendo la clave, pero las opciones son mejores y más accesibles que nunca. Tu GPU probablemente puede más de lo que crees.
