Що встановлено на вашому сервері Ollama?
- Ollama 0.40, що завантажує й запускає моделі
- Open WebUI 0.12 для чату в браузері та історії розмов
- Модель gemma3:1b, завантажена під час встановлення й перевірена справжнім запитом
- Налаштування пам’яті: одна модель і один запит за раз, утримання в пам’яті 30 хвилин після останнього запиту
- Готовий до роботи обліковий запис адміністратора, реєстрацію закрито
- HTTPS через Caddy на адресі sslip.io, створеній на основі вашої IP-адреси
- Брандмауер, де відкриті порти 22, 80 і 443; порт Ollama 11434 закритий ззовні
Який розмір потрібен для Ollama?
Ollama завантажує модель у пам’ять, тож розмір її файла — нижня межа для RAM, плюс запас. Для орієнтиру починайте з 4 ГБ для моделей з 1–3 мільярдами параметрів, з 8 ГБ для 7–8 мільярдів і з 16 ГБ для 12–14 мільярдів. Це не офіційні дані. Плануйте й місце на диску: у бібліотеці Ollama gemma3:1b займає 806 МБ, gemma3:4b — 3,4 ГБ, а gemma3:12b — 8,2 ГБ. Коли переходите на більшу модель, збільште RAM на вкладці «Розмір» вашої панелі. Сервер один раз перезапускається, а дані та IP лишаються тими самими.
| Використання | Розмір | Ціна | Обрати |
|---|---|---|---|
| Стартовий | 4 GB RAM · 2 vCore · 60 GB NVMe | $6.89/міс. | |
| Середній | 8 GB RAM · 4 vCore · 120 GB NVMe | $13.62/міс. | |
| Потужний | 16 GB RAM · 8 vCore · 200 GB NVMe | $25.15/міс. |
Кому підійде?
- Ті, хто хоче, щоб їхні чати лишалися на власному сервері
- Короткі резюме, класифікація й чернетки листів силами моделі, яку ви контролюєте
- Розробники, що пробують відкриті моделі або вбудовують їх у невеликі автоматизації
- Особистий помічник для вас і, можливо, кількох інших людей
Що буде після замовлення?
- Задайте розмір і завершіть оплату.
- Ваш сервер запускається, потім встановлюються Ollama та Open WebUI. Ще завантажується модель, тож це триває трохи довше.
- Відкрийте сервер у розділі «Мої сервери» панелі. На вкладці «Огляд» зачекайте, доки рядок «Застосунок» покаже, що він готовий, а потім натисніть «Відкрити застосунок».
- Увійдіть за даними з рядків «Електронна пошта» та «Пароль». Екрана початкового налаштування немає, а gemma3:1b уже вибрана в чаті.
- Для більшої моделі спершу збільште RAM, потім введіть назву моделі в селекторі моделей і завантажте її.
З кожним сервером
- Щоденне резервне копіювання входить у ціну
- Необмежений трафік
- Повний доступ root
- Пізніше можна збільшувати чи зменшувати RAM і CPU, а також збільшувати диск
- Розташування: Istanbul · IST-1.
Корисно знати
- На сервері немає графічної картки. Перший запит завантажує модель із диска, довгі запити затримують першу відповідь, відповіді можуть надходити повільніше, ніж ви читаєте, а кілька користувачів одночасно ділять швидкість між собою.
- Це не підходить для живих багатокористувацьких сервісів, відповідей у реальному часі, інтенсивного генерування коду чи великих моделей. Модель з 32 мільярдами параметрів на процесорі дуже повільна.
- Малі моделі зазвичай пишуть турецькою гірше, ніж англійською, тож перш ніж вирішувати, перевірте на власному тексті.
- Кожна модель має власну ліцензію, а gemma3 поширюється за Gemma Terms of Use. Перед комерційним використанням прочитайте ліцензію на сторінці моделі.
- Без корпоративної ліцензії умови Open WebUI не дозволяють прибрати її назву й логотип, коли розгортання перевищує 50 користувачів за 30 днів.
- Оновлювати Ollama, Open WebUI і ваші моделі — ваша справа. Адреса в рядку «Електронна пошта» — лише логін і пошти не отримує.
Ollama: запитання й відповіді
Скільки RAM потрібно Ollama?
Розмір файла моделі — це мінімум, а пам’ять розмови й операційна система потрібні понад це. Для орієнтиру починайте з 4 ГБ для 1–3 мільярдів параметрів, з 8 ГБ для 7–8 мільярдів і з 16 ГБ для 12–14 мільярдів. Коли модель завантажиться, виконайте free -h, щоб побачити, скільки вона справді займає.
Чи працює Ollama без GPU?
Так. Без GPU Ollama завантажує модель у системну пам’ять і запускає її на процесорі, а ollama ps показує 100% CPU. На серверах Seturack немає графічної картки. Малі моделі придатні для коротких завдань, а великі працюють, але лишаються дуже повільними.
З якої моделі почати на VPS для Ollama?
Випробуйте інтерфейс на встановленій gemma3:1b, потім перейдіть на модель із 3 мільярдами параметрів і перевірте її на власній роботі. Якщо відповіді не влаштовують, піднімайтеся на розмір вище й командою free -h перевіряйте, чи вистачає RAM. Бібліотека Ollama показує розмір файла кожної моделі ще до завантаження.
Як завантажити нову модель в Ollama?
Введіть назву моделі в селекторі моделей на екрані чату, і Open WebUI запропонує її завантажити. Також можна підключитися через SSH і виконати docker compose exec ollama ollama pull model-name у /opt/seturack/ollama. Спершу перевірте вільне місце на диску.
Чи може мій застосунок підключитися до API Ollama?
Так, хоча порт 11434 за замовчуванням закритий від інтернету, бо API Ollama з коробки не має автентифікації. З доступом root можна відкрити порт на локальній адресі у файлі compose і підключатися через тунель SSH або запустити застосунок на тому самому сервері.
Чи залишають мої розмови зі ШІ сервер?
Модель працює на вашому сервері, тож ваші розмови й моделі лишаються на ньому. У документації Ollama сказано, що за локального запуску вона не бачить ваших запитів і даних. У цій інсталяції підключення Open WebUI до віддалених постачальників і її передачу статистики вимкнено.