Preparar un modelo en el navegador y reconocer los límites de WebGPU.
WebLLM ejecuta un modelo dentro del navegador usando WebGPU. La inferencia no necesita una API remota, pero la primera preparación descarga el runtime y los pesos. Las herramientas web o MCP pueden seguir comunicándose con servicios externos.
La ejecución sin conexión depende de que estén disponibles todos los recursos de la aplicación y del modelo en caché. No se garantiza con solo haber abierto una vez la página. Consulta la guía de WebLLM.
Necesitas un navegador con WebGPU operativo, un adaptador gráfico compatible y memoria suficiente. El catálogo muestra una estimación de memoria por modelo; el contexto y el procesamiento del prompt añaden consumo.
Empieza con un modelo pequeño y una ventana moderada. Tener WebGPU disponible no garantiza que un modelo concreto quepa en la GPU o funcione con sus controladores.
Usa una versión actualizada, revisa la aceleración gráfica en los ajustes del navegador y comprueba el estado de WebGPU en su página de diagnóstico, por ejemplo chrome://gpu.
No es necesario activar flags experimentales como paso habitual. Forzar opciones que omiten comprobaciones del controlador puede introducir fallos y no soluciona la falta de memoria o de soporte del dispositivo.
La disponibilidad depende de la versión, sistema operativo, GPU y controladores. Revisa about:support y comprueba si ZeroChat detecta WebGPU.
No cambies preferencias avanzadas ni ignores bloqueos de controladores como requisito general. Si el entorno no ofrece WebGPU utilizable, utiliza otro entorno compatible o un perfil con servidor de inferencia.
La preparación inicial puede tardar y ocupar varios gigabytes. La caché pertenece al navegador y origen usados; otro navegador puede necesitar descargarlo de nuevo.
WebLLM no ofrece llamadas a herramientas nativas para la mayoría de modelos. ZeroChat describe las herramientas activas en el prompt de sistema y el modelo las solicita escribiendo un bloque <tool_call>{"name": ..., "arguments": {...}}</tool_call>. ZeroChat oculta ese bloque, ejecuta la herramienta y devuelve el resultado en <tool_response>.
El catálogo marca como Recomendado para herramientas los modelos entrenados con este formato y con tamaño suficiente para encadenar pasos: Qwen3 4B/8B, Qwen3.5 4B/9B, Hermes 3 (Llama 3.1 8B) y Hermes 2 Pro. Los modelos menores pueden intentarlo, pero suelen equivocarse en los argumentos o no concluir. Las definiciones de herramientas ocupan contexto: activa solo las necesarias.
Bajo el modelo, el perfil WebLLM muestra siempre los selectores de context_window_size (ventana de contexto) y prefill_chunk_size (bloque de procesamiento del prompt).
La ventana de contexto admite 4K, 8K, 16K, 32K, 64K y 128K. Por defecto se usa 4K en móviles y 16K en el resto de dispositivos, porque el catálogo de WebLLM calcula la memoria de cada modelo con 4K. Los perfiles ya guardados conservan su valor. En el prefill, Por defecto del modelo conserva su configuración. Aumentar el contexto consume más memoria. Cambiar el prefill puede afectar velocidad y memoria, sin asegurar una mejora. Si falla la preparación, vuelve a los valores predeterminados o prueba un modelo menor.
Si modificaste un flag, restablece esa opción a Default y reinicia. Evita restablecer todas las opciones del navegador si solo cambiaste una.
Si modificaste una preferencia de WebGPU, usa su control de restablecimiento en about:config. El valor predeterminado depende de la versión: no lo sustituyas por un valor fijo tomado de una guía antigua.
Utiliza la acción de eliminación del catálogo para borrar un modelo. Para reiniciar todo el almacenamiento, Configuración → Borrar todo elimina datos del origen actual, incluidos conversaciones, perfiles, RAG, adjuntos y modelos. Exporta lo que quieras conservar y cierra las otras pestañas antes de confirmar.
El borrado no elimina archivos descargados al disco, cookies HttpOnly ni la caché HTTP interna del navegador. Si has usado varios orígenes, sus datos son independientes.
mapAsync abortado en el móvil), ZeroChat descarta el motor y lo vuelve a preparar en el siguiente mensaje.La compatibilidad debe comprobarse en el dispositivo concreto. Un modelo puede conversar y aun así no admitir visión ni los ajustes de razonamiento de otro proveedor, o usar mal las herramientas.