Faire tourner votre propre IA avec Ollama : à quoi s'attendre sur CPU

Ollama est un outil qui fait tourner des modèles d'IA ouverts sur votre propre serveur. Les serveurs Seturack n'ont pas de carte graphique (GPU) : les modèles tournent donc sur le CPU. Concrètement, les petits modèles (1 à 4 milliards de paramètres) sont utilisables pour le chat et les tâches courtes, les modèles de 7 à 8 milliards de paramètres fonctionnent mais lentement, et les plus gros ne sont pas praticables. La taille de fichier d'un modèle est la limite basse de la RAM à lui réserver.

Les remarques sur la vitesse dans cet article viennent de l'expérience générale, pas de mesures sur des serveurs Seturack. Les tailles de modèles proviennent de la bibliothèque d'Ollama.

Le modèle doit tenir en RAM

La taille du fichier est proche de la partie du modèle chargée en mémoire. S'y ajoutent la mémoire de contexte, qui dépend de la longueur de la conversation, la charge propre à Ollama et le système d'exploitation. Une RAM égale à la taille du fichier ne suffit donc pas, et il faut garder de la marge. Il n'existe pas de multiplicateur exact, mais mesurer est facile : exécutez free -h une fois le modèle chargé. La bibliothèque est mise à jour en permanence : consultez la bibliothèque de modèles d'Ollama pour la liste actuelle.

Quelle taille de serveur ?

Ce tableau est une règle empirique obtenue en ajoutant de la marge aux tailles de fichiers ci-dessus. Ce n'est pas une recommandation officielle. Si la RAM manque, le système se met à utiliser le disque comme mémoire (swap) et la vitesse chute fortement, ou le processus est tué. Avant d'essayer un gros modèle, il est plus prudent d'augmenter d'abord la taille du serveur.

À quoi s'attendre sur un CPU

• La génération de texte est limitée en grande partie par la bande passante mémoire. Plus le modèle est gros, plus la réponse s'affiche lentement.
• Par rapport à une carte graphique, un CPU est nettement plus lent. La réponse peut s'afficher plus lentement que vous ne lisez.
• Traiter un long texte allonge l'attente avant la première réponse. À la première requête, le modèle est chargé du disque vers la mémoire : la réponse arrive donc encore plus tard.
• Plusieurs utilisateurs en même temps se partagent la vitesse.

Ce qui marche bien : résumés courts, classification, brouillons d'e-mails, assistant personnel, expériences et développement, petites automatisations. Ce qui peine : un service en direct pour de nombreux utilisateurs, les gros modèles, les réponses en temps réel, la génération de code intensive.

Installation (Ubuntu)

1. Exécutez le script d'installation officiel en une ligne : curl -fsSL https://ollama.com/install.sh | sh Il est de bon usage de télécharger et lire le script d'abord.
2. Commencez avec un petit modèle : ollama run llama3.2:3b
3. Voyez où le modèle tourne : ollama ps Si la colonne Processor n'indique que CPU, le modèle se trouve entièrement dans la mémoire système.
4. Surveillez l'espace disque. Sous Linux, les modèles se trouvent dans /usr/share/ollama/.ollama/models et chacun occupe plusieurs gigaoctets. Utilisez ollama list pour les lister et ollama rm pour en supprimer un.

Si vous préférez Docker, la commande officielle est docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama. Nous suggérons de lier le port à l'adresse locale uniquement : -p 127.0.0.1:11434:11434.

Quel modèle choisir ?

Commencez avec un modèle de 3 milliards de paramètres et essayez-le sur votre propre travail. Les petits modèles sont généralement plus faibles en turc qu'en anglais : testez-les donc avec vos propres textes. Si les réponses sont insuffisantes, passez à la taille supérieure et vérifiez avec free -h que la RAM suffit.

Les tailles du tableau correspondent aux tags par défaut de la bibliothèque. Les modèles sont généralement compressés (quantifiés) à environ 4 bits. En précision 16 bits, 8 milliards de paramètres occupent environ 16 Go, et la compression ramène cela à environ 5 Go, comme dans le tableau. En contrepartie, on renonce à un peu de qualité.

L'utiliser depuis des applications

Ollama expose une API locale. Depuis l'intérieur du serveur, vous pouvez l'essayer ainsi :

curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.2:3b","prompt":"Hello, introduce yourself.","stream":false}'

La réponse revient en JSON. Les outils d'automatisation et vos propres applications peuvent se connecter à la même API.

Gérer la mémoire

• Par défaut, Ollama garde un modèle en mémoire pendant 5 minutes après la dernière requête. Il est normal que la RAM paraisse pleine pendant ce temps. ollama stop MODEL_NAME décharge le modèle immédiatement.
• OLLAMA_MAX_LOADED_MODELS limite le nombre de modèles pouvant rester chargés en même temps. La valeur par défaut sur CPU est 3. Si la RAM est juste, mettez 1, sinon appeler différents modèles l'un après l'autre les laisse tous en mémoire.
• OLLAMA_NUM_PARALLEL est le nombre de requêtes parallèles par modèle et vaut 1 par défaut. Plus vous l'augmentez, plus il faut de RAM.

Sécurité

• Par défaut, Ollama n'écoute que sur le port 11434 de 127.0.0.1. Si vous l'ouvrez avec OLLAMA_HOST, toute personne connaissant l'adresse peut utiliser votre modèle, car l'API n'a pas d'étape d'authentification par défaut. Ne l'exposez pas.
• Un tunnel SSH suffit pour un usage à distance : ssh -L 11434:127.0.0.1:11434 user@SERVER_IP
• Docker contourne les règles ufw pour les ports qu'il publie. C'est pourquoi vous liez le port à l'adresse locale uniquement, comme ci-dessus.
• Pour discuter depuis un navigateur, vous pouvez installer une interface comme Open WebUI. Servez-la derrière HTTPS et protégez-la avec des comptes utilisateurs.

Données et licences

Quand vous faites tourner un modèle sur votre propre serveur, vos conversations restent sur votre serveur. Ollama propose aussi des modèles qui tournent dans le cloud. Ils ne tournent pas sur votre serveur et sortent du cadre de cet article. Chaque modèle a sa propre licence : lisez-la sur la page du modèle avant un usage commercial.

Augmenter la taille du serveur

Les besoins en RAM changent avec les modèles. Si vous commencez avec un modèle de 3 milliards de paramètres et passez à un modèle de 8 milliards, vous augmentez la taille du serveur dans le panneau. Augmenter la taille ne supprime pas le serveur, et votre adresse IP et vos données restent les mêmes. Quand vous réduisez la taille, le disque ne rétrécit pas, et comme les modèles peuvent remplir un disque, tenez compte aussi du disque.

Vous pouvez calculer votre prix sur la page des tarifs.

Prêt à l'emploi chez Seturack : Ollama, AnythingLLM, Qdrant.