Wat is er geïnstalleerd op je Ollama-server?
- Ollama 0.40, dat de modellen downloadt en uitvoert
- Open WebUI 0.12 voor chat in de browser en gespreksgeschiedenis
- Het model gemma3:1b, tijdens de installatie gedownload en getest met een echte prompt
- Geheugeninstellingen: één model en één verzoek tegelijk, na het laatste verzoek 30 minuten in het geheugen gehouden
- Een beheerdersaccount dat klaarstaat, met registratie gesloten
- HTTPS via Caddy op een sslip.io-adres op basis van je IP
- Firewall met de poorten 22, 80 en 443 open; poort 11434 van Ollama blijft naar buiten gesloten
Welke grootte heb je nodig voor Ollama?
Ollama laadt het model in het geheugen, dus de bestandsgrootte is de ondergrens voor je RAM, plus wat marge. Als vuistregel begin je met 4 GB voor modellen van 1 tot 3 miljard parameters, 8 GB voor 7 tot 8 miljard en 16 GB voor 12 tot 14 miljard. Dit zijn geen officiële cijfers. Reken ook schijfruimte mee: in de bibliotheek van Ollama is gemma3:1b 806 MB, gemma3:4b 3,4 GB en gemma3:12b 8,2 GB. Stap je over op een groter model, verhoog dan het RAM op het tabblad Grootte van je paneel. De server herstart één keer, en je gegevens en IP blijven hetzelfde.
| Gebruik | Grootte | Prijs | Kiezen |
|---|---|---|---|
| Starter | 4 GB RAM · 2 vCore · 60 GB NVMe | $6.89/mnd | |
| Gemiddeld | 8 GB RAM · 4 vCore · 120 GB NVMe | $13.62/mnd | |
| Krachtig | 16 GB RAM · 8 vCore · 200 GB NVMe | $25.15/mnd |
Voor wie is het?
- Mensen die hun chats op een eigen server willen houden
- Korte samenvattingen, classificatie en e-mailconcepten, afgehandeld door een model dat je zelf in de hand hebt
- Ontwikkelaars die open modellen uitproberen of in kleine automatiseringen koppelen
- Een persoonlijke assistent voor jou en misschien een paar anderen
Wat gebeurt er na je bestelling?
- Stel de grootte in en rond je betaling af.
- Je server start op, daarna worden Ollama en Open WebUI geïnstalleerd. Er wordt ook een model gedownload, dus dit duurt iets langer.
- Open je server via Mijn servers in het paneel. Wacht op het tabblad Overzicht tot de rij App zegt dat het klaar is en klik dan op App openen.
- Log in met de gegevens uit de rijen E-mail en Wachtwoord. Er is geen installatiescherm, en gemma3:1b is in de chat al geselecteerd.
- Schaal voor een groter model eerst het RAM op, typ daarna de naam van het model in de modelkiezer en download het.
Bij elke server
- Dagelijkse back-up inbegrepen in de prijs
- Onbeperkt verkeer
- Volledige rootrechten
- Schaal RAM en CPU later op of af, en laat de schijf groeien
- Locatie: Istanbul · IST-1.
Goed om te weten
- De server heeft geen grafische kaart. Het eerste verzoek laadt het model vanaf schijf, lange prompts vertragen het eerste antwoord, antwoorden kunnen trager binnenkomen dan je leest, en meerdere gebruikers tegelijk delen de snelheid.
- Het is niet geschikt voor live diensten met meerdere gebruikers, antwoorden in realtime, zware codegeneratie of grote modellen. Een model van 32 miljard parameters is op een CPU erg traag.
- Kleine modellen schrijven Turks doorgaans slechter dan Engels, dus test met je eigen tekst voordat je beslist.
- Elk model heeft zijn eigen licentie, en gemma3 valt onder de Gemma Terms of Use. Lees de licentie op de modelpagina voordat je het commercieel gebruikt.
- Zonder enterprise-licentie staan de voorwaarden van Open WebUI niet toe dat je de naam en het logo verwijdert zodra een installatie in 30 dagen meer dan 50 gebruikers heeft.
- Ollama, Open WebUI en je modellen bijwerken is aan jou. Het adres in de rij E-mail is alleen een login en ontvangt geen post.
Vragen en antwoorden over Ollama
Hoeveel RAM heeft Ollama nodig?
De bestandsgrootte van een model is het minimum, en gespreksgeheugen en het besturingssysteem komen daar nog bovenop. Als vuistregel begin je met 4 GB voor 1 tot 3 miljard parameters, 8 GB voor 7 tot 8 miljard en 16 GB voor 12 tot 14 miljard. Voer free -h uit zodra het model is geladen om te zien wat het echt gebruikt.
Werkt Ollama zonder GPU?
Ja. Zonder GPU laadt Ollama het model in het systeemgeheugen en draait het op de CPU, en ollama ps toont 100% CPU. Servers van Seturack hebben geen grafische kaart. Kleine modellen zijn bruikbaar voor korte taken, terwijl grote wel draaien maar erg traag blijven.
Met welk model begin ik op een Ollama VPS?
Probeer de interface met het geïnstalleerde gemma3:1b, stap daarna over op een model van 3 miljard parameters en test het met je eigen werk. Schieten de antwoorden tekort, ga dan een maat omhoog en controleer met free -h of het RAM genoeg is. In de bibliotheek van Ollama staat de bestandsgrootte van elk model voordat je het downloadt.
Hoe download ik een nieuw model in Ollama?
Typ de naam van het model in de modelkiezer op het chatscherm en Open WebUI biedt aan het te downloaden. Je kunt ook via SSH verbinden en in /opt/seturack/ollama docker compose exec ollama ollama pull model-name uitvoeren. Controleer eerst je vrije schijfruimte.
Kan mijn app verbinden met de Ollama-API?
Ja, al is poort 11434 standaard gesloten naar het internet, omdat de Ollama-API van zichzelf geen authenticatie heeft. Met root-toegang kun je de poort in het compose-bestand op het lokale adres publiceren en via een SSH-tunnel verbinden, of je app op dezelfde server draaien.
Verlaten mijn AI-chats de server?
Het model draait op je server, dus je chats en modellen blijven daar. In de documentatie van Ollama staat dat het je prompts of gegevens niet ziet wanneer je lokaal draait. In deze installatie zijn de verbinding van Open WebUI met gehoste aanbieders en de gebruiksrapportage allebei uitgeschakeld.