Τι είναι εγκατεστημένο στον server Ollama;
- Ollama 0.40, που κατεβάζει και τρέχει τα μοντέλα
- Open WebUI 0.12 για συνομιλία στο πρόγραμμα περιήγησης και ιστορικό συζητήσεων
- Το μοντέλο gemma3:1b, που κατεβαίνει κατά την εγκατάσταση και δοκιμάζεται με πραγματικό prompt
- Ρυθμίσεις μνήμης: ένα μοντέλο και ένα αίτημα τη φορά, με παραμονή του μοντέλου στη μνήμη για 30 λεπτά μετά το τελευταίο αίτημα
- Έτοιμος λογαριασμός διαχειριστή, με κλειστή την εγγραφή
- HTTPS μέσω Caddy σε διεύθυνση sslip.io με βάση την IP σας
- Firewall με ανοιχτές τις θύρες 22, 80 και 443· η θύρα 11434 του Ollama μένει κλειστή προς τα έξω
Τι μέγεθος χρειάζεστε για το Ollama;
Το Ollama φορτώνει το μοντέλο στη μνήμη, οπότε το μέγεθος του αρχείου του είναι το κατώτατο όριο για τη RAM σας, συν περιθώριο. Ως εμπειρικός κανόνας, ξεκινήστε με 4 GB για μοντέλα 1 έως 3 δισεκατομμυρίων παραμέτρων, 8 GB για 7 έως 8 δισεκατομμύρια και 16 GB για 12 έως 14 δισεκατομμύρια. Αυτά δεν είναι επίσημα στοιχεία. Προγραμματίστε και τον χώρο δίσκου: στη βιβλιοθήκη του Ollama, το gemma3:1b είναι 806 MB, το gemma3:4b 3,4 GB και το gemma3:12b 8,2 GB. Όταν περάσετε σε μεγαλύτερο μοντέλο, αυξήστε τη RAM στην καρτέλα Μέγεθος του πάνελ σας. Ο server επανεκκινεί μία φορά και τα δεδομένα και η IP σας μένουν ίδια.
| Χρήση | Μέγεθος | Τιμή | Επιλογή |
|---|---|---|---|
| Εισαγωγικό | 4 GB RAM · 2 vCore · 60 GB NVMe | $6.89/μήνα | |
| Μεσαίο | 8 GB RAM · 4 vCore · 120 GB NVMe | $13.62/μήνα | |
| Ισχυρό | 16 GB RAM · 8 vCore · 200 GB NVMe | $25.15/μήνα |
Για ποιον είναι;
- Όσοι θέλουν οι συνομιλίες τους να μένουν στον δικό τους server
- Σύντομες περιλήψεις, ταξινόμηση και πρόχειρα email από μοντέλο που ελέγχετε εσείς
- Προγραμματιστές που δοκιμάζουν ανοιχτά μοντέλα ή τα ενσωματώνουν σε μικρούς αυτοματισμούς
- Ένας προσωπικός βοηθός για εσάς και ίσως λίγα ακόμη άτομα
Τι γίνεται μετά την παραγγελία;
- Ορίστε το μέγεθος και ολοκληρώστε την πληρωμή.
- Ο server σας ξεκινά και μετά εγκαθίστανται το Ollama και το Open WebUI. Κατεβαίνει και ένα μοντέλο, οπότε αυτό παίρνει λίγο περισσότερο χρόνο.
- Ανοίξτε τον server σας από το Οι servers μου στο πάνελ. Στην καρτέλα Επισκόπηση περιμένετε μέχρι η γραμμή Εφαρμογή να δείξει ότι είναι έτοιμο και μετά πατήστε Άνοιγμα εφαρμογής.
- Συνδεθείτε με τα στοιχεία από τις γραμμές Email και Κωδικός. Δεν υπάρχει οθόνη αρχικής ρύθμισης και το gemma3:1b είναι ήδη επιλεγμένο στη συνομιλία.
- Για μεγαλύτερο μοντέλο, αυξήστε πρώτα τη RAM, μετά γράψτε το όνομα του μοντέλου στον επιλογέα μοντέλων και κατεβάστε το.
Με κάθε server
- Ημερήσιο αντίγραφο ασφαλείας στην τιμή
- Απεριόριστη κίνηση
- Πλήρης πρόσβαση root
- Αναβαθμίστε ή μειώστε RAM και CPU αργότερα και μεγαλώστε τον δίσκο
- Τοποθεσία: Istanbul · IST-1.
Καλό είναι να ξέρετε
- Ο server δεν έχει κάρτα γραφικών. Το πρώτο αίτημα φορτώνει το μοντέλο από τον δίσκο, τα μεγάλα prompts καθυστερούν την πρώτη απάντηση, οι απαντήσεις μπορεί να έρχονται πιο αργά απ' όσο διαβάζετε και πολλοί χρήστες ταυτόχρονα μοιράζονται την ταχύτητα.
- Δεν ταιριάζει σε ζωντανές υπηρεσίες με πολλούς χρήστες, σε απαντήσεις πραγματικού χρόνου, σε βαριά παραγωγή κώδικα ή σε μεγάλα μοντέλα. Ένα μοντέλο 32 δισεκατομμυρίων παραμέτρων είναι πολύ αργό σε CPU.
- Τα μικρά μοντέλα συνήθως γράφουν τουρκικά χειρότερα από αγγλικά, γι' αυτό δοκιμάστε με δικά σας κείμενα πριν αποφασίσετε.
- Κάθε μοντέλο έχει τη δική του άδεια και το gemma3 υπάγεται στους Gemma Terms of Use. Διαβάστε την άδεια στη σελίδα του μοντέλου πριν από εμπορική χρήση.
- Χωρίς εταιρική άδεια, οι όροι του Open WebUI δεν επιτρέπουν να αφαιρέσετε το όνομα και το λογότυπό του όταν μια εγκατάσταση ξεπεράσει τους 50 χρήστες σε 30 ημέρες.
- Η ενημέρωση του Ollama, του Open WebUI και των μοντέλων σας είναι δική σας δουλειά. Η διεύθυνση στη γραμμή Email είναι μόνο όνομα σύνδεσης και δεν λαμβάνει αλληλογραφία.
Ερωτήσεις και απαντήσεις για το Ollama
Πόση RAM χρειάζεται το Ollama;
Το μέγεθος αρχείου ενός μοντέλου είναι το ελάχιστο, και η μνήμη της συνομιλίας και το λειτουργικό σύστημα προστίθενται από πάνω. Ως εμπειρικός κανόνας, ξεκινήστε με 4 GB για 1 έως 3 δισεκατομμύρια παραμέτρους, 8 GB για 7 έως 8 δισεκατομμύρια και 16 GB για 12 έως 14 δισεκατομμύρια. Εκτελέστε free -h μόλις φορτωθεί το μοντέλο για να δείτε τι χρησιμοποιεί πραγματικά.
Δουλεύει το Ollama χωρίς GPU;
Ναι. Χωρίς GPU, το Ollama φορτώνει το μοντέλο στη μνήμη του συστήματος και το τρέχει στη CPU, και το ollama ps δείχνει 100% CPU. Οι servers της Seturack δεν έχουν κάρτα γραφικών. Τα μικρά μοντέλα είναι χρήσιμα για σύντομες εργασίες, ενώ τα μεγάλα τρέχουν αλλά μένουν πολύ αργά.
Με ποιο μοντέλο να ξεκινήσω σε VPS Ollama;
Δοκιμάστε το περιβάλλον με το εγκατεστημένο gemma3:1b και μετά περάστε σε μοντέλο 3 δισεκατομμυρίων παραμέτρων και δοκιμάστε το στη δική σας δουλειά. Αν οι απαντήσεις δεν αρκούν, ανεβείτε ένα μέγεθος και ελέγξτε με free -h ότι η RAM φτάνει. Η βιβλιοθήκη του Ollama δείχνει το μέγεθος αρχείου κάθε μοντέλου πριν το κατεβάσετε.
Πώς κατεβάζω νέο μοντέλο στο Ollama;
Γράψτε το όνομα του μοντέλου στον επιλογέα μοντέλων στην οθόνη συνομιλίας και το Open WebUI προσφέρεται να το κατεβάσει. Μπορείτε επίσης να συνδεθείτε μέσω SSH και να εκτελέσετε docker compose exec ollama ollama pull model-name στο /opt/seturack/ollama. Ελέγξτε πρώτα τον ελεύθερο χώρο του δίσκου.
Μπορεί η εφαρμογή μου να συνδεθεί στο API του Ollama;
Ναι, αν και η θύρα 11434 είναι από προεπιλογή κλειστή προς το διαδίκτυο, γιατί το API του Ollama δεν έχει ταυτοποίηση από μόνο του. Με πρόσβαση root μπορείτε να δημοσιεύσετε τη θύρα στην τοπική διεύθυνση μέσα στο αρχείο compose και να συνδεθείτε μέσω SSH tunnel, ή να τρέξετε την εφαρμογή σας στον ίδιο server.
Φεύγουν οι συνομιλίες AI μου από τον server;
Το μοντέλο τρέχει στον server σας, οπότε οι συνομιλίες και τα μοντέλα σας μένουν εκεί. Η τεκμηρίωση του Ollama λέει ότι δεν βλέπει τα prompts ή τα δεδομένα σας όταν τρέχετε τοπικά. Σε αυτή την εγκατάσταση, η σύνδεση του Open WebUI με φιλοξενούμενους παρόχους και η αναφορά χρήσης του είναι και οι δύο απενεργοποιημένες.