O que vem instalado no servidor AnythingLLM?
- AnythingLLM 1.19 com áreas de trabalho, conversa com documentos, agentes de IA e uma API para programadores
- LanceDB, a base de dados vetorial integrada
- O modelo de embeddings predefinido, que corre no CPU e converte documentos em vetores
- Um início de sessão com palavra-passe única, para que a interface nunca abra sem ela
- Relatórios de utilização desativados
- HTTPS através do Caddy, num endereço sslip.io baseado no seu IP
- Firewall com apenas as portas 22, 80 e 443 abertas
Que tamanho é necessário para o AnythingLLM?
O mínimo oficial é 2 GB de RAM, um CPU de 2 núcleos com AVX2 e 5 GB de disco, o que chega para guardar alguns documentos e conversar. O modelo corre noutro lado, por isso o trabalho real no servidor é processar documentos. Como regra geral, considere 4 GB se for carregar muitos documentos e 8 GB para uso intenso por uma equipa. Os documentos e os vetores determinam o tamanho do disco. Sem placa gráfica, os documentos grandes demoram mais a processar no CPU, e a documentação oficial sugere, nesse caso, um fornecedor externo de embeddings.
| Utilização | Tamanho | Preço | Escolher |
|---|---|---|---|
| Inicial | 2 GB RAM · 2 vCore · 40 GB NVMe | $4.52/mês | |
| Médio | 4 GB RAM · 2 vCore · 60 GB NVMe | $6.91/mês | |
| Potente | 8 GB RAM · 4 vCore · 120 GB NVMe | $13.63/mês |
Para quem é?
- Equipas que querem pesquisar documentos da empresa, contratos ou manuais fazendo perguntas
- Sites que precisam de uma caixa de conversa que responda a partir dos seus próprios documentos
- Equipas que querem um modelo diferente para cada área de trabalho
- Pequenas organizações que precisam de acesso por funções para os colaboradores
O que acontece depois de encomendar?
- Defina o tamanho e conclua o pagamento.
- O servidor arranca e o AnythingLLM instala-se sozinho.
- Abra o servidor em Os meus servidores, no painel. No separador Resumo, aguarde até a linha Aplicação indicar que está pronto e clique em Abrir aplicação.
- Cole o valor da linha Palavra-passe no ecrã de início de sessão. Não há nome de utilizador, só uma palavra-passe.
- Escolha um fornecedor de modelos de linguagem: introduza a sua própria chave de API ou ligue-se a um modelo que corra noutro servidor.
- Crie uma área de trabalho, arraste os documentos para lá e comece a perguntar.
Em todos os servidores
- Cópias de segurança diárias incluídas no preço
- Tráfego ilimitado
- Acesso root completo
- Aumentar ou reduzir a RAM e o CPU mais tarde, e fazer crescer o disco
- Localização: Istanbul · IST-1.
Bom saber
- Os custos de utilização do fornecedor de modelos não estão incluídos no preço. A chave de API e a fatura são geridas diretamente com o fornecedor.
- Se escolher um fornecedor alojado, as perguntas e as passagens relevantes dos documentos seguem para ele. Para manter esses dados consigo, ligue um modelo que execute por si.
- No modo de utilizador único, quem tiver a palavra-passe pode ler todas as conversas e alterar todas as definições. A passagem para o modo multiutilizador não pode ser anulada.
- Se mudar o fornecedor de embeddings depois de processar documentos, terá de os apagar e processar de novo. Escolha-o com cuidado no início.
- Para apagar um documento por completo, elimine-o em My Documents. Retirá-lo de uma área de trabalho deixa o ficheiro processado e a cache no lugar.
- Manter o AnythingLLM atualizado fica a seu cargo. O painel continua a mostrar a palavra-passe da instalação, por isso guarde por si qualquer palavra-passe nova.
AnythingLLM: perguntas e respostas
De quanta RAM precisa o AnythingLLM?
O mínimo oficial é 2 GB de RAM, um CPU de 2 núcleos com AVX2 e 5 GB de disco. Como regra geral, opte por 4 GB se for processar muitos documentos e por 8 GB para uso em equipa. Se não chegar, aumenta a partir do painel e mantém os mesmos dados e o mesmo endereço IP.
O AnythingLLM funciona sem GPU?
Sim. Nesta instalação nenhum modelo corre no servidor, já que a conversa acontece no fornecedor que ligar. O trabalho de IA que fica no servidor é o do modelo de embeddings predefinido, que a documentação oficial descreve como apenas para CPU. Em documentos grandes, esse passo pode demorar um pouco.
Que modelos posso usar com o AnythingLLM?
Liga o fornecedor de IA que usa com a sua própria chave de API ou aponta para um modelo aberto que corra noutro servidor. Também pode definir um modelo diferente para cada área de trabalho.
Os meus documentos saem do servidor do AnythingLLM?
Os documentos, os vetores e o histórico de conversas ficam no seu servidor. Quando faz uma pergunta, esta e as passagens correspondentes dos documentos seguem para o fornecedor de modelos que escolheu. Se ligar um modelo que execute por si, esses dados também ficam nas suas próprias máquinas.
Posso adicionar mais utilizadores ao AnythingLLM?
Sim. Ative o modo multiutilizador nas definições, crie a conta de administrador e depois adicione pessoas com a função Admin, Manager ou Default. Depois de fazer a mudança, não é possível voltar à palavra-passe única, por isso decida de antemão.
Posso ligar o AnythingLLM a uma base de dados vetorial separada, como o Qdrant?
Sim. O LanceDB predefinido corre dentro do servidor, e as definições permitem mudar para outra base de dados vetorial, como o Qdrant. Os vetores existentes não passam para lá: a documentação oficial diz que é preciso apagar e voltar a gerar os embeddings de cada documento.