O que vem instalado no servidor Ollama?
- Ollama 0.40, que descarrega e executa os modelos
- Open WebUI 0.12 para conversa no navegador e histórico de conversas
- O modelo gemma3:1b, descarregado durante a instalação e testado com um pedido real
- Definições de memória: um modelo e um pedido de cada vez, mantido em memória durante 30 minutos depois do último pedido
- Uma conta de administrador pronta a usar, com o registo fechado
- HTTPS através do Caddy, num endereço sslip.io baseado no seu IP
- Firewall com as portas 22, 80 e 443 abertas; a porta 11434 do Ollama fica fechada ao exterior
Que tamanho é necessário para o Ollama?
O Ollama carrega o modelo para a memória, por isso o tamanho do ficheiro é o mínimo de RAM, mais uma folga. Como regra geral, comece com 4 GB para modelos de 1 a 3 mil milhões de parâmetros, 8 GB para 7 a 8 mil milhões e 16 GB para 12 a 14 mil milhões. Estes valores não são oficiais. Planeie também o espaço em disco: na biblioteca do Ollama, o gemma3:1b ocupa 806 MB, o gemma3:4b 3,4 GB e o gemma3:12b 8,2 GB. Ao passar para um modelo maior, aumente a RAM no separador Tamanho do painel. O servidor reinicia uma vez e os dados e o IP mantêm-se.
| Utilização | Tamanho | Preço | Escolher |
|---|---|---|---|
| Inicial | 4 GB RAM · 2 vCore · 60 GB NVMe | $6.89/mês | |
| Médio | 8 GB RAM · 4 vCore · 120 GB NVMe | $13.62/mês | |
| Potente | 16 GB RAM · 8 vCore · 200 GB NVMe | $25.15/mês |
Para quem é?
- Quem quer que as conversas fiquem no seu próprio servidor
- Resumos curtos, classificação e rascunhos de e-mail tratados por um modelo que controla
- Programadores que experimentam modelos abertos ou os ligam a pequenas automatizações
- Um assistente pessoal para si e talvez para mais algumas pessoas
O que acontece depois de encomendar?
- Defina o tamanho e conclua o pagamento.
- O servidor arranca e depois instalam-se o Ollama e o Open WebUI. Também é descarregado um modelo, por isso demora um pouco mais.
- Abra o servidor em Os meus servidores, no painel. No separador Resumo, aguarde até a linha Aplicação indicar que está pronto e clique em Abrir aplicação.
- Inicie sessão com os dados das linhas E-mail e Palavra-passe. Não há ecrã de configuração e o gemma3:1b já está selecionado na conversa.
- Para um modelo maior, aumente primeiro a RAM, escreva depois o nome do modelo no seletor de modelos e descarregue-o.
Em todos os servidores
- Cópias de segurança diárias incluídas no preço
- Tráfego ilimitado
- Acesso root completo
- Aumentar ou reduzir a RAM e o CPU mais tarde, e fazer crescer o disco
- Localização: Istanbul · IST-1.
Bom saber
- O servidor não tem placa gráfica. O primeiro pedido carrega o modelo a partir do disco, pedidos longos atrasam a primeira resposta, as respostas podem chegar mais devagar do que se lê e vários utilizadores ao mesmo tempo dividem a velocidade.
- Não é adequado para serviços multiutilizador em direto, respostas em tempo real, geração intensiva de código nem modelos grandes. Um modelo de 32 mil milhões de parâmetros é muito lento num CPU.
- Os modelos pequenos tendem a escrever pior em turco do que em inglês, por isso teste com os seus próprios textos antes de decidir.
- Cada modelo tem a sua própria licença, e o gemma3 está sob os Termos de Utilização do Gemma. Leia a licença na página do modelo antes de o usar comercialmente.
- Sem uma licença empresarial, os termos do Open WebUI não permitem retirar o nome e o logótipo quando uma instalação passa de 50 utilizadores em 30 dias.
- Atualizar o Ollama, o Open WebUI e os modelos é consigo. O endereço da linha E-mail serve apenas de utilizador e não recebe correio.
Ollama: perguntas e respostas
De quanta RAM precisa o Ollama?
O tamanho do ficheiro de um modelo é o mínimo, e a memória da conversa e o sistema operativo vêm por cima. Como regra geral, comece com 4 GB para 1 a 3 mil milhões de parâmetros, 8 GB para 7 a 8 mil milhões e 16 GB para 12 a 14 mil milhões. Execute free -h depois de o modelo estar carregado para ver o que ele usa realmente.
O Ollama funciona sem GPU?
Sim. Sem GPU, o Ollama carrega o modelo para a memória do sistema e executa-o no CPU, e o ollama ps mostra 100% CPU. Os servidores da Seturack não têm placa gráfica. Os modelos pequenos servem para tarefas curtas, enquanto os grandes funcionam, mas continuam muito lentos.
Com que modelo devo começar num VPS com Ollama?
Experimente a interface com o gemma3:1b instalado e passe depois para um modelo de 3 mil milhões de parâmetros e teste-o no seu trabalho. Se as respostas ficarem aquém, suba um tamanho e confirme com free -h que a RAM chega. A biblioteca do Ollama indica o tamanho do ficheiro de cada modelo antes de o descarregar.
Como descarrego um modelo novo no Ollama?
Escreva o nome do modelo no seletor de modelos do ecrã de conversa e o Open WebUI oferece-se para o descarregar. Também pode ligar-se por SSH e executar docker compose exec ollama ollama pull nome-do-modelo em /opt/seturack/ollama. Verifique primeiro o espaço livre em disco.
A minha aplicação pode ligar-se à API do Ollama?
Sim, embora a porta 11434 esteja fechada à internet por predefinição, porque a API do Ollama não tem autenticação de origem. Com acesso root, pode publicar a porta no endereço local no ficheiro compose e ligar-se através de um túnel SSH, ou executar a aplicação no mesmo servidor.
As minhas conversas com a IA saem do servidor?
O modelo corre no seu servidor, por isso as conversas e os modelos ficam lá. A documentação do Ollama diz que não vê os seus pedidos nem os seus dados quando corre localmente. Nesta instalação, a ligação do Open WebUI a fornecedores alojados e o seu relatório de utilização estão ambos desativados.