Eigene KI mit Ollama betreiben: was Sie auf der CPU erwarten können

Ollama ist ein Werkzeug, das offene KI-Modelle auf Ihrem eigenen Server ausführt. Seturack-Server haben keine Grafikkarte (GPU), Modelle laufen also auf der CPU. Das heißt: Kleine Modelle (1 bis 4 Milliarden Parameter) sind für Chat und kurze Aufgaben brauchbar, Modelle mit 7 bis 8 Milliarden Parametern laufen, aber langsam, und größere sind nicht praktikabel. Die Dateigröße eines Modells ist die Untergrenze für den RAM, den Sie dafür einplanen sollten.

Die Aussagen zur Geschwindigkeit in diesem Artikel stammen aus allgemeiner Erfahrung, nicht aus Messungen auf Seturack-Servern. Die Modellgrößen stammen aus der eigenen Bibliothek von Ollama.

Das Modell muss in den RAM passen

Die Dateigröße entspricht in etwa dem Teil des Modells, der in den Speicher geladen wird. Dazu kommen der Kontextspeicher, der von der Länge des Gesprächs abhängt, der eigene Overhead von Ollama und das Betriebssystem. RAM in Höhe der Dateigröße reicht also nicht, und Sie sollten Reserve einplanen. Einen genauen Faktor gibt es nicht, aber Messen ist einfach: Führen Sie free -h aus, nachdem das Modell geladen ist. Die Bibliothek wird ständig aktualisiert, die aktuelle Liste finden Sie in der Modellbibliothek von Ollama.

Welche Servergröße?

Diese Tabelle ist eine Faustregel, die entsteht, wenn man auf die obigen Dateigrößen Reserve aufschlägt. Sie ist keine offizielle Empfehlung. Wenn der RAM ausgeht, beginnt das System, die Festplatte als Speicher (Swap) zu nutzen, und die Geschwindigkeit bricht stark ein, oder der Prozess wird beendet. Bevor Sie ein großes Modell ausprobieren, vergrößern Sie den Server besser zuerst.

Was Sie auf einer CPU erwarten können

• Die Textgenerierung wird weitgehend durch die Speicherbandbreite begrenzt. Je größer das Modell, desto langsamer läuft die Antwort ein.
• Im Vergleich zu einer Grafikkarte ist eine CPU deutlich langsamer. Die Antwort kann langsamer einlaufen, als Sie lesen.
• Die Verarbeitung eines langen Textes verlängert die Wartezeit auf die erste Antwort. Bei der ersten Anfrage wird das Modell von der Festplatte in den Speicher geladen, die Antwort kommt dann noch später.
• Mehrere Nutzer gleichzeitig teilen sich die Geschwindigkeit.

Was gut funktioniert: kurze Zusammenfassungen, Klassifizierung, E-Mail-Entwürfe, ein persönlicher Assistent, Experimente und Entwicklung, kleine Automatisierungen. Womit es sich schwertut: ein Live-Dienst für viele Nutzer, große Modelle, Antworten in Echtzeit, umfangreiche Code-Generierung.

Einrichtung (Ubuntu)

1. Führen Sie das offizielle Ein-Zeilen-Installationsskript aus: curl -fsSL https://ollama.com/install.sh | sh Es ist gute Praxis, das Skript vorher herunterzuladen und zu lesen.
2. Beginnen Sie mit einem kleinen Modell: ollama run llama3.2:3b
3. So sehen Sie, wo das Modell läuft: ollama ps Steht in der Spalte „Processor“ nur CPU, liegt das Modell vollständig im Systemspeicher.
4. Achten Sie auf den Speicherplatz. Unter Linux liegen die Modelle in /usr/share/ollama/.ollama/models, und jedes braucht Gigabytes. Mit ollama list listen Sie sie auf und mit ollama rm löschen Sie eines.

Wenn Sie Docker bevorzugen, lautet der offizielle Befehl docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama. Wir empfehlen, den Port nur an die lokale Adresse zu binden: -p 127.0.0.1:11434:11434.

Welches Modell sollten Sie wählen?

Beginnen Sie mit einem Modell mit 3 Milliarden Parametern und probieren Sie es an Ihrer eigenen Arbeit aus. Kleine Modelle sind auf Türkisch meist schwächer als auf Englisch, testen Sie sie also mit Ihren eigenen Texten. Wenn die Antworten nicht genügen, gehen Sie eine Größe höher und prüfen Sie mit free -h, dass der RAM reicht.

Die Größen in der Tabelle gelten für die Standard-Tags der Bibliothek. Modelle sind meist auf rund 4 Bit komprimiert (quantisiert). Bei 16 Bit Genauigkeit brauchen 8 Milliarden Parameter etwa 16 GB, und die Kompression bringt das wie in der Tabelle auf rund 5 GB. Dafür wird ein kleiner Teil der Qualität geopfert.

Nutzung aus Anwendungen

Ollama stellt eine lokale API bereit. Von innerhalb des Servers können Sie sie so ausprobieren:

curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.2:3b","prompt":"Hello, introduce yourself.","stream":false}'

Die Antwort kommt als JSON zurück. Automatisierungswerkzeuge und Ihre eigenen Anwendungen können sich mit derselben API verbinden.

Speicher verwalten

• Ollama hält ein Modell standardmäßig 5 Minuten nach der letzten Anfrage im Speicher. Es ist normal, dass der RAM in dieser Zeit voll aussieht. ollama stop MODEL_NAME entlädt das Modell sofort.
• OLLAMA_MAX_LOADED_MODELS begrenzt, wie viele Modelle gleichzeitig geladen bleiben können. Auf einer CPU liegt der Standard bei 3. Wenn der RAM knapp ist, setzen Sie den Wert auf 1, sonst bleiben beim Aufrufen verschiedener Modelle nacheinander alle im Speicher.
• OLLAMA_NUM_PARALLEL ist die Zahl paralleler Anfragen pro Modell und steht standardmäßig auf 1. Je höher Sie sie setzen, desto mehr RAM braucht es.

Sicherheit

• Standardmäßig lauscht Ollama nur auf Port 11434 von 127.0.0.1. Wenn Sie es mit OLLAMA_HOST öffnen, kann jeder, der die Adresse kennt, Ihr Modell nutzen, denn die API hat standardmäßig keine Authentifizierung. Machen Sie sie nicht öffentlich zugänglich.
• Für den Fernzugriff genügt ein SSH-Tunnel: ssh -L 11434:127.0.0.1:11434 user@SERVER_IP
• Docker umgeht die ufw-Regeln für die Ports, die es veröffentlicht. Deshalb binden Sie den Port wie oben nur an die lokale Adresse.
• Um aus dem Browser zu chatten, können Sie eine Oberfläche wie Open WebUI installieren. Betreiben Sie sie hinter HTTPS und schützen Sie sie mit Benutzerkonten.

Daten und Lizenzen

Wenn Sie ein Modell auf Ihrem eigenen Server betreiben, bleiben Ihre Gespräche auf Ihrem Server. Ollama bietet auch Modelle an, die in der Cloud laufen. Sie laufen nicht auf Ihrem Server und liegen außerhalb dieses Artikels. Jedes Modell hat eine eigene Lizenz, lesen Sie also vor einer kommerziellen Nutzung die Lizenz auf der Modellseite.

Den Server vergrößern

Der RAM-Bedarf ändert sich, wenn Sie die Modelle wechseln. Wenn Sie mit einem Modell mit 3 Milliarden Parametern beginnen und auf eines mit 8 Milliarden umsteigen, vergrößern Sie den Server im Panel. Beim Vergrößern wird der Server nicht gelöscht, und Ihre IP-Adresse und Ihre Daten bleiben dieselben. Beim Verkleinern schrumpft die Festplatte nicht, und da Modelle eine Festplatte füllen können, rechnen Sie auch die Festplatte mit ein.

Ihren Preis können Sie auf der Preisseite berechnen.

Fertig eingerichtet bei Seturack: Ollama, AnythingLLM, Qdrant.