Was ist auf Ihrem Ollama-Server installiert?
- Ollama 0.40, das die Modelle herunterlädt und ausführt
- Open WebUI 0.12 für den Chat im Browser und den Gesprächsverlauf
- Das Modell gemma3:1b, bei der Installation heruntergeladen und mit einem echten Prompt getestet
- Speichereinstellungen: ein Modell und eine Anfrage gleichzeitig, nach der letzten Anfrage 30 Minuten im Speicher gehalten
- Ein einsatzbereites Admin-Konto, bei geschlossener Registrierung
- HTTPS über Caddy auf einer sslip.io-Adresse, die auf Ihrer IP basiert
- Firewall mit offenen Ports 22, 80 und 443; der Ollama-Port 11434 bleibt nach außen geschlossen
Welche Größe brauchen Sie für Ollama?
Ollama lädt das Modell in den Arbeitsspeicher, seine Dateigröße ist also die Untergrenze für Ihren RAM, dazu kommt ein Puffer. Als Faustregel beginnen Sie mit 4 GB für Modelle mit 1 bis 3 Milliarden Parametern, 8 GB für 7 bis 8 Milliarden und 16 GB für 12 bis 14 Milliarden. Das sind keine offiziellen Werte. Planen Sie auch Festplattenplatz ein: In der Bibliothek von Ollama ist gemma3:1b 806 MB groß, gemma3:4b 3,4 GB und gemma3:12b 8,2 GB. Wenn Sie zu einem größeren Modell wechseln, erhöhen Sie den RAM auf der Registerkarte Größe Ihres Panels. Der Server startet einmal neu, und Ihre Daten und Ihre IP bleiben gleich.
| Einsatz | Größe | Preis | Wählen |
|---|---|---|---|
| Einstieg | 4 GB RAM · 2 vCore · 60 GB NVMe | $6.89/Monat | |
| Mittel | 8 GB RAM · 4 vCore · 120 GB NVMe | $13.62/Monat | |
| Leistungsstark | 16 GB RAM · 8 vCore · 200 GB NVMe | $25.15/Monat |
Für wen ist es gedacht?
- Alle, die ihre Chats auf dem eigenen Server behalten möchten
- Kurze Zusammenfassungen, Klassifizierung und E-Mail-Entwürfe, erledigt von einem Modell, das Sie kontrollieren
- Entwickler, die offene Modelle ausprobieren oder in kleine Automatisierungen einbinden
- Ein persönlicher Assistent für Sie und vielleicht ein paar weitere Personen
Was passiert nach der Bestellung?
- Stellen Sie die Größe ein und schließen Sie Ihre Zahlung ab.
- Ihr Server startet, dann werden Ollama und Open WebUI installiert. Auch ein Modell wird heruntergeladen, das dauert daher etwas länger.
- Öffnen Sie Ihren Server im Panel unter Meine Server. Warten Sie auf dem Reiter Übersicht, bis die Zeile App meldet, dass sie bereit ist, und klicken Sie dann auf App öffnen.
- Melden Sie sich mit den Angaben aus den Zeilen E-Mail und Passwort an. Einen Einrichtungsbildschirm gibt es nicht, und gemma3:1b ist im Chat bereits ausgewählt.
- Für ein größeres Modell vergrößern Sie zuerst den RAM, geben dann den Namen des Modells in die Modellauswahl ein und laden es herunter.
Bei jedem Server
- Tägliche Sicherung im Preis inbegriffen
- Unbegrenzter Datenverkehr
- Voller Root-Zugriff
- RAM und CPU später vergrößern oder verkleinern, die Festplatte erweitern
- Standort: Istanbul · IST-1.
Gut zu wissen
- Der Server hat keine Grafikkarte. Die erste Anfrage lädt das Modell von der Festplatte, lange Prompts verzögern die erste Antwort, Antworten können langsamer eintreffen, als Sie lesen, und mehrere Nutzer gleichzeitig teilen sich die Geschwindigkeit.
- Es eignet sich nicht für Live-Dienste mit mehreren Nutzern, Antworten in Echtzeit, aufwendige Codegenerierung oder große Modelle. Ein Modell mit 32 Milliarden Parametern ist auf einer CPU sehr langsam.
- Kleine Modelle schreiben Türkisch tendenziell schlechter als Englisch. Testen Sie daher mit Ihrem eigenen Text, bevor Sie sich entscheiden.
- Jedes Modell hat seine eigene Lizenz, und gemma3 steht unter den Gemma Terms of Use. Lesen Sie vor der kommerziellen Nutzung die Lizenz auf der Modellseite.
- Ohne Enterprise-Lizenz erlauben die Bedingungen von Open WebUI nicht, Name und Logo zu entfernen, sobald ein Deployment innerhalb von 30 Tagen mehr als 50 Nutzer erreicht.
- Ollama, Open WebUI und Ihre Modelle zu aktualisieren, liegt bei Ihnen. Die Adresse in der Zeile E-Mail dient nur zur Anmeldung und empfängt keine E-Mails.
Fragen und Antworten zu Ollama
Wie viel RAM braucht Ollama?
Die Dateigröße eines Modells ist das Minimum, dazu kommen der Gesprächsspeicher und das Betriebssystem. Als Faustregel beginnen Sie mit 4 GB für 1 bis 3 Milliarden Parameter, 8 GB für 7 bis 8 Milliarden und 16 GB für 12 bis 14 Milliarden. Führen Sie nach dem Laden des Modells free -h aus, um zu sehen, was es wirklich braucht.
Funktioniert Ollama ohne GPU?
Ja. Ohne GPU lädt Ollama das Modell in den Systemspeicher und führt es auf der CPU aus, und ollama ps zeigt 100% CPU an. Seturack-Server haben keine Grafikkarte. Kleine Modelle sind für kurze Aufgaben brauchbar, große laufen zwar, bleiben aber sehr langsam.
Mit welchem Modell fange ich auf einem Ollama VPS an?
Probieren Sie die Oberfläche mit dem installierten gemma3:1b aus, wechseln Sie dann zu einem Modell mit 3 Milliarden Parametern und testen Sie es mit Ihrer eigenen Arbeit. Reichen die Antworten nicht, gehen Sie eine Größe höher und prüfen mit free -h, ob der RAM genügt. Die Bibliothek von Ollama nennt die Dateigröße jedes Modells, bevor Sie es herunterladen.
Wie lade ich in Ollama ein neues Modell herunter?
Geben Sie den Namen des Modells in die Modellauswahl auf dem Chat-Bildschirm ein, dann bietet Open WebUI den Download an. Sie können sich auch per SSH verbinden und in /opt/seturack/ollama docker compose exec ollama ollama pull model-name ausführen. Prüfen Sie vorher Ihren freien Festplattenplatz.
Kann sich meine App mit der Ollama-API verbinden?
Ja, allerdings ist Port 11434 standardmäßig aus dem Internet geschlossen, weil die Ollama-API von Haus aus keine Authentifizierung hat. Mit Root-Zugriff können Sie den Port in der Compose-Datei auf der lokalen Adresse veröffentlichen und sich über einen SSH-Tunnel verbinden oder Ihre App auf demselben Server betreiben.
Verlassen meine KI-Chats den Server?
Das Modell läuft auf Ihrem Server, Ihre Chats und Modelle bleiben also dort. Laut der Dokumentation von Ollama sieht Ollama Ihre Prompts oder Daten nicht, wenn Sie lokal arbeiten. In dieser Installation sind die Verbindung von Open WebUI zu gehosteten Anbietern und seine Nutzungsberichte beide ausgeschaltet.