Τρέξτε τη δική σας AI με Ollama: τι να περιμένετε σε CPU

Το Ollama είναι ένα εργαλείο που τρέχει ανοιχτά μοντέλα AI στον δικό σας server. Οι servers του Seturack δεν έχουν κάρτα γραφικών (GPU), οπότε τα μοντέλα τρέχουν στην CPU. Αυτό σημαίνει ότι τα μικρά μοντέλα (1-4 δισ. παράμετροι) είναι χρήσιμα για συνομιλία και σύντομες εργασίες, τα μοντέλα 7-8 δισ. παραμέτρων τρέχουν αλλά αργά και τα μεγαλύτερα δεν είναι πρακτικά. Το μέγεθος αρχείου ενός μοντέλου είναι το κατώτατο όριο της RAM που πρέπει να του αφιερώσετε.

Τα σχόλια για την ταχύτητα σε αυτό το άρθρο προέρχονται από γενική εμπειρία και όχι από μετρήσεις σε servers του Seturack. Τα μεγέθη των μοντέλων προέρχονται από τη δική βιβλιοθήκη του Ollama.

Το μοντέλο πρέπει να χωράει στη RAM

Το μέγεθος του αρχείου είναι κοντά στο τμήμα του μοντέλου που φορτώνεται στη μνήμη. Επιπλέον προστίθενται η μνήμη του context, που εξαρτάται από το μήκος της συζήτησης, το δικό του overhead του Ollama και το λειτουργικό σύστημα. Άρα RAM ίση με το μέγεθος του αρχείου δεν αρκεί και πρέπει να αφήνετε περιθώριο. Δεν υπάρχει ακριβής πολλαπλασιαστής, αλλά η μέτρηση είναι εύκολη: εκτελέστε free -h αφού φορτωθεί το μοντέλο. Η βιβλιοθήκη ενημερώνεται συνεχώς, οπότε δείτε τη βιβλιοθήκη μοντέλων του Ollama για την τρέχουσα λίστα.

Τι μέγεθος server;

Αυτός ο πίνακας είναι εμπειρικός κανόνας που προκύπτει προσθέτοντας περιθώριο στα παραπάνω μεγέθη αρχείων. Δεν είναι επίσημη σύσταση. Αν εξαντληθεί η RAM, το σύστημα αρχίζει να χρησιμοποιεί τον δίσκο ως μνήμη (swap) και η ταχύτητα πέφτει απότομα, ή η διεργασία τερματίζεται. Πριν δοκιμάσετε ένα μεγάλο μοντέλο, είναι ασφαλέστερο να αναβαθμίσετε πρώτα τον server.

Τι να περιμένετε σε CPU

• Η παραγωγή κειμένου περιορίζεται σε μεγάλο βαθμό από το εύρος ζώνης της μνήμης. Όσο μεγαλύτερο το μοντέλο, τόσο πιο αργά ρέει η απάντηση.
• Σε σύγκριση με μια κάρτα γραφικών, μια CPU είναι αισθητά πιο αργή. Η απάντηση μπορεί να ρέει πιο αργά απ' ό,τι διαβάζετε.
• Η επεξεργασία ενός μεγάλου κειμένου μεγαλώνει την αναμονή για την πρώτη απάντηση. Στο πρώτο αίτημα το μοντέλο φορτώνεται από τον δίσκο στη μνήμη, οπότε η απάντηση έρχεται ακόμη πιο αργά.
• Αρκετοί χρήστες ταυτόχρονα μοιράζονται την ταχύτητα μεταξύ τους.

Τι δουλεύει καλά: σύντομες περιλήψεις, ταξινόμηση, πρόχειρα email, προσωπικός βοηθός, πειράματα και ανάπτυξη, μικρές αυτοματοποιήσεις. Τι δυσκολεύεται: ζωντανή υπηρεσία για πολλούς χρήστες, μεγάλα μοντέλα, απαντήσεις σε πραγματικό χρόνο, βαριά παραγωγή κώδικα.

Εγκατάσταση (Ubuntu)

1. Εκτελέστε το επίσημο script εγκατάστασης μίας γραμμής: curl -fsSL https://ollama.com/install.sh | sh Είναι καλή πρακτική να κατεβάσετε και να διαβάσετε πρώτα το script.
2. Ξεκινήστε με ένα μικρό μοντέλο: ollama run llama3.2:3b
3. Δείτε πού τρέχει το μοντέλο: ollama ps Αν η στήλη Processor γράφει μόνο CPU, το μοντέλο βρίσκεται εξ ολοκλήρου στη μνήμη του συστήματος.
4. Προσέξτε τον χώρο στον δίσκο. Στο Linux τα μοντέλα βρίσκονται στο /usr/share/ollama/.ollama/models και το καθένα πιάνει gigabytes. Με το ollama list τα βλέπετε σε λίστα και με το ollama rm διαγράφετε ένα.

Αν προτιμάτε Docker, η επίσημη εντολή είναι docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama. Προτείνουμε να δεσμεύσετε τη θύρα μόνο στην τοπική διεύθυνση: -p 127.0.0.1:11434:11434.

Ποιο μοντέλο να διαλέξετε;

Ξεκινήστε με ένα μοντέλο 3 δισ. παραμέτρων και δοκιμάστε το στη δική σας δουλειά. Τα μικρά μοντέλα είναι συνήθως πιο αδύναμα στα τουρκικά απ' ό,τι στα αγγλικά, γι' αυτό δοκιμάστε τα με τα δικά σας κείμενα. Αν οι απαντήσεις υστερούν, ανεβείτε ένα μέγεθος και ελέγξτε με free -h ότι η RAM αρκεί.

Τα μεγέθη του πίνακα αφορούν τις προεπιλεγμένες ετικέτες της βιβλιοθήκης. Τα μοντέλα έρχονται συνήθως συμπιεσμένα (quantized) στα 4 bit περίπου. Με ακρίβεια 16 bit, 8 δισ. παράμετροι πιάνουν περίπου 16 GB και η συμπίεση τα κατεβάζει γύρω στα 5 GB, όπως στον πίνακα. Σε αντάλλαγμα, θυσιάζεται μια μικρή ποσότητα ποιότητας.

Χρήση από εφαρμογές

Το Ollama εκθέτει ένα τοπικό API. Μέσα από τον server μπορείτε να το δοκιμάσετε έτσι:

curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.2:3b","prompt":"Hello, introduce yourself.","stream":false}'

Η απάντηση επιστρέφει ως JSON. Εργαλεία αυτοματοποίησης και οι δικές σας εφαρμογές μπορούν να συνδεθούν στο ίδιο API.

Διαχείριση μνήμης

• Από προεπιλογή, το Ollama κρατά ένα μοντέλο στη μνήμη για 5 λεπτά μετά το τελευταίο αίτημα. Είναι φυσιολογικό να φαίνεται γεμάτη η RAM σε αυτό το διάστημα. Το ollama stop MODEL_NAME ξεφορτώνει το μοντέλο αμέσως.
• Το OLLAMA_MAX_LOADED_MODELS περιορίζει πόσα μοντέλα μπορούν να μένουν φορτωμένα ταυτόχρονα. Η προεπιλογή σε CPU είναι 3. Αν η RAM είναι στενή, ορίστε το σε 1, αλλιώς, αν καλείτε διαφορετικά μοντέλα το ένα μετά το άλλο, μένουν όλα στη μνήμη.
• Το OLLAMA_NUM_PARALLEL είναι ο αριθμός των παράλληλων αιτημάτων ανά μοντέλο και είναι από προεπιλογή 1. Όσο το αυξάνετε, τόσο περισσότερη RAM χρειάζεται.

Ασφάλεια

• Από προεπιλογή το Ollama ακούει μόνο στη θύρα 11434 του 127.0.0.1. Αν το ανοίξετε με το OLLAMA_HOST, όποιος γνωρίζει τη διεύθυνση μπορεί να χρησιμοποιήσει το μοντέλο σας, επειδή το API δεν έχει από προεπιλογή βήμα ταυτοποίησης. Μην το εκθέτετε.
• Για απομακρυσμένη χρήση αρκεί ένα τούνελ SSH: ssh -L 11434:127.0.0.1:11434 user@SERVER_IP
• Το Docker παρακάμπτει τους κανόνες του ufw για τις θύρες που δημοσιεύει. Γι' αυτό δεσμεύετε τη θύρα μόνο στην τοπική διεύθυνση, όπως παραπάνω.
• Για να συνομιλείτε από browser, μπορείτε να εγκαταστήσετε μια διεπαφή όπως το Open WebUI. Τρέξτε την πίσω από HTTPS και προστατέψτε την με λογαριασμούς χρηστών.

Δεδομένα και άδειες χρήσης

Όταν τρέχετε ένα μοντέλο στον δικό σας server, οι συνομιλίες σας μένουν στον server σας. Το Ollama προσφέρει επίσης μοντέλα που τρέχουν στο cloud. Αυτά δεν τρέχουν στον server σας και είναι εκτός του αντικειμένου αυτού του άρθρου. Κάθε μοντέλο έχει τη δική του άδεια χρήσης, οπότε διαβάστε την άδεια στη σελίδα του μοντέλου πριν από εμπορική χρήση.

Αναβάθμιση του server

Οι ανάγκες σε RAM αλλάζουν όταν αλλάζετε μοντέλα. Αν ξεκινήσετε με μοντέλο 3 δισ. παραμέτρων και περάσετε σε ένα των 8 δισ., αναβαθμίζετε τον server από το πάνελ. Η αναβάθμιση δεν διαγράφει τον server και η διεύθυνση IP και τα δεδομένα σας μένουν ίδια. Όταν κάνετε μείωση, ο δίσκος δεν συρρικνώνεται, και επειδή τα μοντέλα μπορούν να γεμίσουν έναν δίσκο, υπολογίστε και τον δίσκο.

Μπορείτε να υπολογίσετε την τιμή σας στη σελίδα τιμών.

Έτοιμο στη Seturack: Ollama, AnythingLLM, Qdrant.