شغّل ذكاءك الاصطناعي بنفسك مع Ollama: ماذا تتوقع على CPU
Ollama أداة تشغّل نماذج الذكاء الاصطناعي المفتوحة على خادمك. ليس في خوادم Seturack بطاقة رسوميات (GPU)، فتعمل النماذج على CPU. وهذا يعني أن النماذج الصغيرة (من 1 إلى 4 مليارات معامل) صالحة للمحادثة والمهام القصيرة، وأن نماذج 7-8 مليارات معامل تعمل لكن ببطء، وأن الأكبر منها غير عملي. وحجم ملف النموذج هو الحد الأدنى من RAM الذي ينبغي أن تخصصه له.
الملاحظات عن السرعة في هذه المقالة مصدرها الخبرة العامة، لا قياسات على خوادم Seturack. أما أحجام النماذج فمأخوذة من مكتبة Ollama نفسها.
يجب أن يتسع النموذج في RAM
| النموذج | المعاملات | حجم الملف |
|---|---|---|
llama3.2:1b | 1 مليار | 1.3 GB |
llama3.2:3b | 3 مليارات | 2.0 GB |
gemma3:4b | 4 مليارات | 3.4 GB |
qwen2.5:7b | 7 مليارات | 4.7 GB |
llama3.1:8b | 8 مليارات | 4.9 GB |
gemma3:12b | 12 مليارًا | 8.2 GB |
qwen2.5:14b | 14 مليارًا | 9.0 GB |
qwen2.5:32b | 32 مليارًا | 20 GB |
حجم الملف قريب من الجزء الذي يُحمَّل من النموذج في الذاكرة. ويُضاف إليه ذاكرة السياق التي تتوقف على طول المحادثة، وحمل Ollama نفسه، ونظام التشغيل. لذا لا تكفي RAM بقدر حجم الملف، وينبغي أن تترك هامشًا. لا يوجد معامل ضرب دقيق، لكن القياس سهل: نفّذ free -h بعد تحميل النموذج. والمكتبة تُحدَّث باستمرار، فراجع مكتبة نماذج Ollama للاطلاع على القائمة الحالية.
أي حجم خادم تحتاج؟
| مجموعة النماذج | RAM معقولة للبدء |
|---|---|
| من 1 إلى 3 مليارات معامل | 4 GB |
| 7-8 مليارات معامل | 8 GB |
| 12-14 مليار معامل | 16 GB |
| 32 مليار معامل | 24-32 GB، ويبقى بطيئًا جدًا على CPU |
هذا الجدول قاعدة تقريبية وُضعت بإضافة هامش إلى أحجام الملفات أعلاه، وليس توصية رسمية. إذا نفدت RAM بدأ النظام يستخدم القرص كذاكرة (swap) فتنخفض السرعة بشدة، أو تُنهى العملية. وقبل تجربة نموذج كبير، الأسلم أن ترفع حجم الخادم أولًا.
ماذا تتوقع على CPU
- تتحدد سرعة توليد النص في معظمها بعرض نطاق الذاكرة. وكلما كبر النموذج، بطؤ تدفق الإجابة.
- مقارنةً ببطاقة الرسوميات، يكون CPU أبطأ بوضوح. وقد تتدفق الإجابة أبطأ من سرعة قراءتك.
- معالجة نص طويل تطيل الانتظار قبل أول إجابة. وفي أول طلب يُحمَّل النموذج من القرص إلى الذاكرة، فتتأخر الإجابة أكثر.
- وإذا استخدم عدة مستخدمين النموذج في وقت واحد تتقاسم السرعة بينهم.
ما يعمل جيدًا: الملخصات القصيرة والتصنيف ومسودات البريد ومساعد شخصي والتجارب والتطوير والأتمتة الصغيرة. ما يتعثر: خدمة حية لمستخدمين كثيرين والنماذج الكبيرة والردود الفورية وتوليد الشيفرة الكثيف.
الإعداد (Ubuntu)
- نفّذ سكربت التثبيت الرسمي بسطر واحد:
curl -fsSL https://ollama.com/install.sh | shومن الممارسات الجيدة أن تنزّل السكربت وتقرأه أولًا. - ابدأ بنموذج صغير:
ollama run llama3.2:3b - اعرف أين يعمل النموذج:
ollama psإذا كان عمود Processor يقول CPU فقط، فالنموذج كله في ذاكرة النظام. - راقب مساحة القرص. على Linux توجد النماذج تحت
/usr/share/ollama/.ollama/modelsويشغل كل منها غيغابايتات. استخدمollama listلسردها وollama rmلحذف أحدها.
إذا كنت تفضّل Docker فالأمر الرسمي هو docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama. ونقترح ربط المنفذ بالعنوان المحلي فقط: -p 127.0.0.1:11434:11434.
أي نموذج تختار؟
ابدأ بنموذج 3 مليارات معامل وجرّبه على عملك. النماذج الصغيرة أضعف عادةً في التركية منها في الإنجليزية، فاختبرها بنصوصك. وإذا قصّرت الإجابات فاصعد حجمًا واحدًا وتحقق بالأمر free -h أن RAM كافية.
الأحجام في الجدول للوسوم الافتراضية في المكتبة. وتأتي النماذج عادةً مضغوطة (مكمّمة) إلى نحو 4 بت. وبدقة 16 بت يشغل 8 مليارات معامل نحو 16 GB، ويخفضها الضغط إلى نحو 5 GB كما في الجدول. وفي المقابل يُتنازل عن قدر يسير من الجودة.
الاستخدام من التطبيقات
يوفّر Ollama واجهة API محلية. ومن داخل الخادم يمكنك تجربتها هكذا:
curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.2:3b","prompt":"Hello, introduce yourself.","stream":false}'
تعود الإجابة بصيغة JSON. ويمكن لأدوات الأتمتة وتطبيقاتك الاتصال بواجهة API نفسها.
إدارة الذاكرة
- يُبقي Ollama النموذج في الذاكرة 5 دقائق بعد آخر طلب افتراضيًا. ومن الطبيعي أن تبدو RAM ممتلئة خلال هذه المدة. ويفرّغ
ollama stop MODEL_NAMEالنموذج فورًا. - يحدّ
OLLAMA_MAX_LOADED_MODELSمن عدد النماذج التي يمكن أن تبقى محمّلة في وقت واحد. والقيمة الافتراضية على CPU هي 3. وإذا كانت RAM ضيقة فاضبطه على 1، وإلا فاستدعاء نماذج مختلفة تباعًا يترك كلها في الذاكرة. OLLAMA_NUM_PARALLELهو عدد الطلبات المتوازية لكل نموذج وقيمته الافتراضية 1. وكلما رفعته احتاج إلى مزيد من RAM.
الأمان
- يستمع Ollama افتراضيًا على المنفذ 11434 من
127.0.0.1فقط. وإذا فتحته بـOLLAMA_HOSTفبإمكان كل من يعرف العنوان استخدام نموذجك، لأن واجهة API ليس فيها خطوة مصادقة افتراضيًا. لا تعرّضه. - يكفي نفق SSH للاستخدام عن بُعد:
ssh -L 11434:127.0.0.1:11434 user@SERVER_IP - يتجاوز Docker قواعد ufw للمنافذ التي ينشرها. ولهذا تربط المنفذ بالعنوان المحلي فقط كما سبق.
- وللمحادثة من المتصفح يمكنك تثبيت واجهة مثل Open WebUI. شغّلها خلف HTTPS واحمها بحسابات مستخدمين.
البيانات والتراخيص
حين تشغّل نموذجًا على خادمك تبقى محادثاتك على خادمك. ويقدّم Ollama أيضًا نماذج تعمل في السحابة. وهي لا تعمل على خادمك وخارج نطاق هذه المقالة. ولكل نموذج ترخيصه، فاقرأ الترخيص في صفحة النموذج قبل الاستخدام التجاري.
رفع حجم الخادم
تتغير احتياجات RAM بتغيّر النماذج. فإذا بدأت بنموذج 3 مليارات معامل ثم انتقلت إلى نموذج 8 مليارات، فارفع حجم الخادم من اللوحة. رفع الحجم لا يحذف الخادم، ويبقى عنوان IP وبياناتك كما هي. وعند خفض الحجم لا يتقلص القرص، ولما كانت النماذج قد تملأ القرص فضع القرص في حسابك أيضًا.
يمكنك حساب سعرك في صفحة الأسعار.
جاهز على Seturack: Ollama, AnythingLLM, Qdrant.
التعليقات0
لا توجد تعليقات بعد
كن أول من يشارك رأيه.
يرجى تسجيل الدخول أو إنشاء حساب لترك تعليق.