Свой ИИ на Ollama: чего ждать от CPU

Ollama — это инструмент, который запускает открытые модели ИИ на вашем сервере. У серверов Seturack нет видеокарты (GPU), поэтому модели работают на CPU. Это значит, что небольшие модели (1–4 миллиарда параметров) пригодны для чата и коротких задач, модели на 7–8 миллиардов параметров работают, но медленно, а более крупные непрактичны. Размер файла модели — нижняя граница RAM, которую стоит под неё выделить.

Замечания о скорости в этой статье основаны на общем опыте, а не на замерах на серверах Seturack. Размеры моделей взяты из собственной библиотеки Ollama.

Модель должна поместиться в RAM

Размер файла близок к той части модели, которая загружается в память. Сверху добавляются память контекста, зависящая от длины разговора, собственные накладные расходы Ollama и операционная система. Поэтому RAM, равной размеру файла, недостаточно, нужен запас. Точного множителя нет, но замерить легко: выполните free -h после загрузки модели. Библиотека постоянно обновляется, поэтому актуальный список смотрите в библиотеке моделей Ollama.

Какого размера сервер нужен?

Эта таблица — практическое правило: к размерам файлов выше добавлен запас. Это не официальная рекомендация. Если RAM закончится, система начнёт использовать диск как память (подкачка), и скорость резко упадёт, либо процесс будет завершён. Прежде чем пробовать крупную модель, надёжнее сначала увеличить сервер.

Чего ждать от CPU

• Генерация текста в основном упирается в пропускную способность памяти. Чем больше модель, тем медленнее выводится ответ.
• По сравнению с видеокартой процессор заметно медленнее. Ответ может выводиться медленнее, чем вы читаете.
• Обработка длинного текста увеличивает ожидание первого ответа. При первом запросе модель загружается с диска в память, поэтому ответ приходит ещё позже.
• Если пользователей одновременно несколько, скорость делится между ними.

Что работает хорошо: короткие сводки, классификация, черновики писем, личный помощник, эксперименты и разработка, небольшая автоматизация. С чем трудно: живой сервис для многих пользователей, крупные модели, ответы в реальном времени, интенсивная генерация кода.

Установка (Ubuntu)

1. Запустите официальный установочный скрипт одной строкой: curl -fsSL https://ollama.com/install.sh | sh Хорошая практика — сначала скачать скрипт и прочитать его.
2. Начните с небольшой модели: ollama run llama3.2:3b
3. Посмотрите, где работает модель: ollama ps Если в столбце Processor написано только CPU, модель целиком находится в системной памяти.
4. Следите за местом на диске. В Linux модели лежат в /usr/share/ollama/.ollama/models, и каждая занимает гигабайты. Командой ollama list выводится список, а ollama rm удаляет модель.

Если вы предпочитаете Docker, официальная команда — docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama. Мы советуем привязать порт только к локальному адресу: -p 127.0.0.1:11434:11434.

Какую модель выбрать?

Начните с модели на 3 миллиарда параметров и попробуйте её на своих задачах. Небольшие модели обычно слабее на турецком, чем на английском, поэтому проверяйте их на своих текстах. Если ответы слабоваты, перейдите на размер выше и проверьте командой free -h, что RAM хватает.

Размеры в таблице — для тегов по умолчанию в библиотеке. Модели обычно поставляются сжатыми (квантованными) примерно до 4 бит. При 16-битной точности 8 миллиардов параметров занимают около 16 ГБ, а сжатие уменьшает это примерно до 5 ГБ, как в таблице. Взамен немного теряется в качестве.

Использование из приложений

Ollama открывает локальный API. Изнутри сервера его можно попробовать так:

curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.2:3b","prompt":"Hello, introduce yourself.","stream":false}'

Ответ приходит в формате JSON. К тому же API могут подключаться средства автоматизации и ваши собственные приложения.

Управление памятью

• По умолчанию Ollama держит модель в памяти 5 минут после последнего запроса. Если за это время RAM выглядит заполненной, это нормально. Команда ollama stop MODEL_NAME выгружает модель сразу.
• OLLAMA_MAX_LOADED_MODELS ограничивает, сколько моделей может быть загружено одновременно. На CPU по умолчанию это 3. Если RAM в обрез, поставьте 1, иначе при обращении к разным моделям по очереди все они останутся в памяти.
• OLLAMA_NUM_PARALLEL — число параллельных запросов на модель, по умолчанию 1. Чем оно больше, тем больше нужно RAM.

Безопасность

• По умолчанию Ollama слушает только порт 11434 на 127.0.0.1. Если открыть его через OLLAMA_HOST, любой, кто знает адрес, сможет пользоваться вашей моделью, потому что у API по умолчанию нет аутентификации. Не выставляйте его наружу.
• Для удалённой работы достаточно SSH-туннеля: ssh -L 11434:127.0.0.1:11434 user@SERVER_IP
• Docker обходит правила ufw для публикуемых портов. Поэтому порт привязывают только к локальному адресу, как показано выше.
• Чтобы общаться из браузера, можно установить интерфейс вроде Open WebUI. Запускайте его за HTTPS и защитите учётными записями пользователей.

Данные и лицензии

Когда вы запускаете модель на своём сервере, ваши разговоры остаются на вашем сервере. Ollama предлагает также модели, которые работают в облаке. Они не работают на вашем сервере и выходят за рамки этой статьи. У каждой модели своя лицензия, поэтому перед коммерческим использованием прочитайте лицензию на странице модели.

Масштабирование сервера

Потребность в RAM меняется вместе с моделями. Если вы начали с модели на 3 миллиарда параметров и переходите на 8 миллиардов, увеличьте сервер в панели. При увеличении сервер не удаляется, а IP-адрес и данные остаются прежними. При уменьшении диск не сжимается, а модели могут заполнить диск, поэтому учитывайте и диск.

Свою цену можно посчитать на странице цен.

Готовое решение на Seturack: Ollama, AnythingLLM, Qdrant.