Local vs nube: así es utilizar IA en un ordenador sin conexión a internet

Ruano lo tiene claro: «El futuro del PC pasa por la IA. No solo por asistentes inteligentes, sino por capacidades que permitan trabajar en local, sin enviar datos a servidores». Y eso es justo lo que hemos estado probando.

La experiencia nos ha sorprendido. Usando aplicaciones como AnythingLLM, pudimos ejecutar modelos de lenguaje de forma completamente local, incluso integrando nuestras propias bases de datos mediante funciones de RAG. Para quienes manejan información sensible, como periodistas o abogados, esta capacidad cambia las reglas del juego: el modelo no necesita enviar nada a la nube, todo se queda en el dispositivo. La privacidad es total. Es increíble que, con modelos locales, podamos llegar al nivel de respuesta de ChatGPT-4o, que llevemos buena parte del compendio de conocimiento humano instalado en nuestro ordenador y una inteligencia artificial prácticamente capaz de responder cualquier pregunta.

En nuestras pruebas, los modelos que realmente brillaron fueron LLaMA 3.1 8B Chat, con contexto de 8.000 tokens (que equivalen a 6.000 o 7.000 palabras que podemos incluir en el prompt), y Phi 3.5 Mini Instruct, con 4.000 tokens de contexto (es decir, unas 3.000 palabras). Ambos están optimizados específicamente para ejecutarse sobre la NPU del Snapdragon X Elite y se integran directamente en AnythingLLM. En este caso, al ser modelos adaptados por Qualcomm para su NPU, el rendimiento fue excelente: tiempos de respuesta rápidos y una sensación de inmediatez que rivaliza con cualquier experiencia en la nube.

El uso de la NPU no solo mejora la velocidad de inferencia, sino que reduce significativamente el consumo de batería y libera al procesador principal para otras tareas. De esta manera, aunque estemos constantemente jugando con nuestro ChatGPT particular, podemos seguir disfrutando de una autonomía casi de día completo, que es justo lo que busca un usuario: una larga autonomía. Y lo explica Ruano: «El objetivo es llegar a una autonomía de hasta 25 horas en ciertos modelos, sin aumentar significativamente el peso del dispositivo».

También hemos probado a ejecutar modelos que no están optimizados para la NPU, como el nuevo Qwen 3 con 8.000 millones de parámetros o Deepseek r11B de última generación. Aquí la experiencia cambia: funcionar, funcionan, pero no con la misma agilidad, ya que lo hacen sobre la CPU. En el caso de otros modelos, ni siquiera conseguimos que cargaran correctamente por las limitaciones de memoria; en otros, el rendimiento era muy bajo, aunque funcional, algo muy común sin una GPU de altas prestaciones.

Esta prueba deja claro que, aunque el hardware de Qualcomm es prometedor, la clave está en tener modelos bien adaptados al ecosistema, es decir, a su NPU.

La visión de Lenovo va más allá del hardware. «Queremos que los ordenadores sean más que una herramienta de trabajo; deben ser parte de un ecosistema conectado, adaptable a cualquier entorno», nos explicaba Ruano. Y eso implica dispositivos capaces de entender, procesar y ayudarte en tiempo real, sin necesidad de estar conectados constantemente a internet. El chip de Qualcomm y herramientas como AnythingLLM nos acercan un paso más hacia una IA más privada, más eficiente y más personal.