Ejecuta tu propia IA con Ollama: qué esperar en una CPU

Ollama es una herramienta que ejecuta modelos de IA abiertos en tu propio servidor. Los servidores de Seturack no tienen tarjeta gráfica (GPU), así que los modelos se ejecutan en la CPU. Eso significa que los modelos pequeños (de 1 a 4 mil millones de parámetros) son útiles para chatear y para tareas cortas, los de 7 u 8 mil millones funcionan pero despacio, y los más grandes no son prácticos. El tamaño del archivo de un modelo es el límite inferior de la RAM que debes reservarle.

Los comentarios sobre velocidad de este artículo proceden de la experiencia general, no de mediciones en servidores de Seturack. Los tamaños de los modelos proceden de la propia biblioteca de Ollama.

El modelo tiene que caber en la RAM

El tamaño del archivo se acerca a la parte del modelo que se carga en memoria. A eso se suman la memoria de contexto, que depende de la longitud de la conversación, la sobrecarga de Ollama y el sistema operativo. Por eso una RAM igual al tamaño del archivo no basta y conviene dejar margen. No hay un multiplicador exacto, pero medirlo es fácil: ejecuta free -h cuando el modelo ya esté cargado. La biblioteca se actualiza constantemente, así que consulta la biblioteca de modelos de Ollama para ver la lista actual.

¿Qué tamaño de servidor?

Esta tabla es una regla práctica que resulta de añadir margen a los tamaños de archivo de arriba. No es una recomendación oficial. Si se agota la RAM, el sistema empieza a usar el disco como memoria (swap) y la velocidad cae en picado, o el proceso se termina. Antes de probar un modelo grande, es más seguro ampliar primero el servidor.

Qué esperar en una CPU

• La generación de texto está limitada en gran parte por el ancho de banda de la memoria. Cuanto más grande es el modelo, más lenta llega la respuesta.
• Comparada con una tarjeta gráfica, una CPU es notablemente más lenta. La respuesta puede aparecer más despacio de lo que lees.
• Procesar un texto largo alarga la espera de la primera respuesta. En la primera solicitud el modelo se carga del disco a la memoria, así que la respuesta llega aún más tarde.
• Si varios usuarios lo usan a la vez, la velocidad se reparte entre ellos.

Lo que funciona bien: resúmenes cortos, clasificación, borradores de correo, un asistente personal, experimentos y desarrollo, pequeñas automatizaciones. Lo que cuesta: un servicio en directo para muchos usuarios, modelos grandes, respuestas en tiempo real, generación intensiva de código.

Instalación (Ubuntu)

1. Ejecuta el script de instalación oficial de una línea: curl -fsSL https://ollama.com/install.sh | sh Es buena práctica descargar y leer el script antes.
2. Empieza con un modelo pequeño: ollama run llama3.2:3b
3. Mira dónde se está ejecutando el modelo: ollama ps Si la columna Processor dice solo CPU, el modelo está entero en la memoria del sistema.
4. Vigila el espacio en disco. En Linux los modelos están en /usr/share/ollama/.ollama/models y cada uno ocupa gigabytes. Usa ollama list para listarlos y ollama rm para borrar uno.

Si prefieres Docker, el comando oficial es docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama. Te sugerimos enlazar el puerto solo a la dirección local: -p 127.0.0.1:11434:11434.

¿Qué modelo elegir?

Empieza con un modelo de 3 mil millones de parámetros y pruébalo con tu propio trabajo. Los modelos pequeños suelen ser más débiles en turco que en inglés, así que pruébalos con tus propios textos. Si las respuestas se quedan cortas, sube un tamaño y comprueba con free -h que la RAM basta.

Los tamaños de la tabla corresponden a las etiquetas predeterminadas de la biblioteca. Los modelos suelen venir comprimidos (cuantizados) a unos 4 bits. Con precisión de 16 bits, 8 mil millones de parámetros ocupan unos 16 GB, y la compresión lo reduce a unos 5 GB, como en la tabla. A cambio se pierde un poco de calidad.

Usarlo desde aplicaciones

Ollama expone una API local. Desde dentro del servidor puedes probarla así:

curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.2:3b","prompt":"Hello, introduce yourself.","stream":false}'

La respuesta llega en JSON. Las herramientas de automatización y tus propias aplicaciones pueden conectarse a la misma API.

Gestionar la memoria

• De forma predeterminada, Ollama mantiene un modelo en memoria durante 5 minutos después de la última solicitud. Es normal que la RAM parezca llena durante ese tiempo. ollama stop MODEL_NAME descarga el modelo de inmediato.
• OLLAMA_MAX_LOADED_MODELS limita cuántos modelos pueden permanecer cargados a la vez. El valor predeterminado en una CPU es 3. Si la RAM es justa, ponlo en 1; si no, al llamar a modelos distintos uno tras otro todos se quedan en memoria.
• OLLAMA_NUM_PARALLEL es el número de solicitudes en paralelo por modelo y por defecto vale 1. Cuanto más lo subas, más RAM necesita.

Seguridad

• De forma predeterminada, Ollama escucha solo en el puerto 11434 de 127.0.0.1. Si lo abres con OLLAMA_HOST, cualquiera que conozca la dirección puede usar tu modelo, porque la API no tiene un paso de autenticación por defecto. No la expongas.
• Un túnel SSH basta para el uso remoto: ssh -L 11434:127.0.0.1:11434 user@SERVER_IP
• Docker se salta las reglas de ufw en los puertos que publica. Por eso enlazas el puerto solo a la dirección local, como arriba.
• Para chatear desde un navegador puedes instalar una interfaz como Open WebUI. Ejecútala detrás de HTTPS y protégela con cuentas de usuario.

Datos y licencias

Cuando ejecutas un modelo en tu propio servidor, tus conversaciones se quedan en tu servidor. Ollama también ofrece modelos que se ejecutan en la nube. Esos no se ejecutan en tu servidor y quedan fuera del alcance de este artículo. Cada modelo tiene su propia licencia, así que lee la licencia en la página del modelo antes de un uso comercial.

Ampliar el servidor

Las necesidades de RAM cambian al cambiar de modelo. Si empiezas con un modelo de 3 mil millones de parámetros y pasas a uno de 8 mil millones, amplías el servidor en el panel. Ampliar no borra el servidor, y tu dirección IP y tus datos siguen igual. Cuando reduces, el disco no se encoge, y como los modelos pueden llenar un disco, ten también en cuenta el disco.

Puedes calcular tu precio en la página de precios.

Listo para usar en Seturack: Ollama, AnythingLLM, Qdrant.