Rode a sua própria IA com o Ollama: o que esperar na CPU

O Ollama é uma ferramenta que roda modelos de IA abertos no seu próprio servidor. Os servidores da Seturack não têm placa de vídeo (GPU), então os modelos rodam na CPU. Isso significa que modelos pequenos (1 a 4 bilhões de parâmetros) são utilizáveis para conversas e tarefas curtas, modelos de 7 a 8 bilhões de parâmetros rodam, mas devagar, e os maiores não são práticos. O tamanho do arquivo de um modelo é o piso da RAM que você deve reservar para ele.

Os comentários sobre velocidade neste artigo vêm de experiência geral, não de medições em servidores da Seturack. Os tamanhos dos modelos vêm da própria biblioteca do Ollama.

O modelo precisa caber na RAM

O tamanho do arquivo é próximo da parte do modelo que é carregada na memória. Além disso entram a memória de contexto, que depende do tamanho da conversa, o consumo próprio do Ollama e o sistema operacional. Portanto, RAM igual ao tamanho do arquivo não basta, e é preciso deixar folga. Não existe um multiplicador exato, mas medir é fácil: execute free -h depois que o modelo for carregado. A biblioteca é atualizada o tempo todo, então consulte a biblioteca de modelos do Ollama para ver a lista atual.

Que tamanho de servidor?

Esta tabela é uma regra prática feita somando uma folga aos tamanhos de arquivo acima. Não é uma recomendação oficial. Se a RAM acabar, o sistema começa a usar o disco como memória (swap) e a velocidade cai bruscamente, ou o processo é encerrado. Antes de testar um modelo grande, é mais seguro aumentar o servidor primeiro.

O que esperar em uma CPU

• A geração de texto é limitada em grande parte pela largura de banda da memória. Quanto maior o modelo, mais devagar a resposta é transmitida.
• Comparada a uma placa de vídeo, uma CPU é bem mais lenta. A resposta pode chegar mais devagar do que você lê.
• Processar um texto longo aumenta a espera pela primeira resposta. Na primeira requisição, o modelo é carregado do disco para a memória, então ela chega ainda mais tarde.
• Vários usuários ao mesmo tempo dividem a velocidade entre si.

O que funciona bem: resumos curtos, classificação, rascunhos de e-mail, um assistente pessoal, experimentos e desenvolvimento, pequenas automações. O que sofre: um serviço ao vivo para muitos usuários, modelos grandes, respostas em tempo real, geração pesada de código.

Configuração (Ubuntu)

1. Execute o script oficial de instalação de uma linha: curl -fsSL https://ollama.com/install.sh | sh É uma boa prática baixar e ler o script antes.
2. Comece com um modelo pequeno: ollama run llama3.2:3b
3. Veja onde o modelo está rodando: ollama ps Se a coluna Processor mostrar apenas CPU, o modelo está inteiro na memória do sistema.
4. Fique de olho no espaço em disco. No Linux, os modelos ficam em /usr/share/ollama/.ollama/models e cada um ocupa gigabytes. Use ollama list para listá-los e ollama rm para apagar um.

Se você prefere Docker, o comando oficial é docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama. Sugerimos prender a porta só ao endereço local: -p 127.0.0.1:11434:11434.

Qual modelo escolher?

Comece com um modelo de 3 bilhões de parâmetros e experimente no seu próprio trabalho. Modelos pequenos costumam ser mais fracos em turco do que em inglês, então teste-os com os seus próprios textos. Se as respostas ficarem aquém, suba um tamanho e confirme com free -h que a RAM é suficiente.

Os tamanhos da tabela são das tags padrão da biblioteca. Os modelos costumam vir comprimidos (quantizados) para cerca de 4 bits. Com precisão de 16 bits, 8 bilhões de parâmetros ocupam cerca de 16 GB, e a compressão reduz isso para cerca de 5 GB, como na tabela. Em troca, abre-se mão de um pouco de qualidade.

Usando a partir de aplicações

O Ollama expõe uma API local. De dentro do servidor, você pode testar assim:

curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.2:3b","prompt":"Hello, introduce yourself.","stream":false}'

A resposta volta em JSON. Ferramentas de automação e as suas próprias aplicações podem se conectar à mesma API.

Gerenciando a memória

• Por padrão, o Ollama mantém um modelo na memória por 5 minutos depois da última requisição. É normal a RAM parecer cheia nesse período. ollama stop MODEL_NAME descarrega o modelo na hora.
• OLLAMA_MAX_LOADED_MODELS limita quantos modelos podem ficar carregados ao mesmo tempo. O padrão em uma CPU é 3. Se a RAM estiver curta, defina como 1; do contrário, chamar modelos diferentes em sequência deixa todos na memória.
• OLLAMA_NUM_PARALLEL é o número de requisições paralelas por modelo e o padrão é 1. Quanto mais você aumenta, mais RAM é necessária.

Segurança

• Por padrão, o Ollama escuta apenas na porta 11434 de 127.0.0.1. Se você abri-lo com OLLAMA_HOST, qualquer pessoa que souber o endereço poderá usar o seu modelo, porque a API não tem etapa de autenticação por padrão. Não a exponha.
• Um túnel SSH basta para o uso remoto: ssh -L 11434:127.0.0.1:11434 user@SERVER_IP
• O Docker ignora as regras do ufw nas portas que publica. Por isso você prende a porta ao endereço local, como acima.
• Para conversar pelo navegador, você pode instalar uma interface como o Open WebUI. Rode-a atrás de HTTPS e proteja-a com contas de usuário.

Dados e licenças

Quando você roda um modelo no seu próprio servidor, suas conversas ficam no seu servidor. O Ollama também oferece modelos que rodam na nuvem. Eles não rodam no seu servidor e estão fora do escopo deste artigo. Cada modelo tem a sua licença, então leia a licença na página do modelo antes do uso comercial.

Aumentando o servidor

A necessidade de RAM muda conforme você troca de modelo. Se começar com um modelo de 3 bilhões de parâmetros e subir para um de 8 bilhões, você aumenta o servidor no painel. Aumentar não apaga o servidor, e o seu endereço IP e os dados continuam os mesmos. Quando você reduz, o disco não diminui, e como os modelos podem encher um disco, leve o disco em conta também.

Você pode calcular o seu preço na página de preços.

Pronto na Seturack: Ollama, AnythingLLM, Qdrant.