Cosa c'è installato sul tuo server AnythingLLM?
- AnythingLLM 1.19 con workspace, chat sui documenti, agenti IA e un'API per sviluppatori
- LanceDB, il database vettoriale integrato
- L'embedder predefinito, che gira sulla CPU e trasforma i documenti in vettori
- Un accesso con password singola, quindi l'interfaccia non si apre mai senza
- Invio dei dati di utilizzo disattivato
- HTTPS tramite Caddy su un indirizzo sslip.io basato sul tuo IP
- Firewall con aperte solo le porte 22, 80 e 443
Che dimensione ti serve per AnythingLLM?
Il minimo ufficiale è 2 GB di RAM, una CPU a 2 core con AVX2 e 5 GB di disco, sufficienti per conservare alcuni documenti e chattare. Il modello gira altrove, quindi il lavoro vero sul tuo server è l'elaborazione dei documenti. Come regola generale, considera 4 GB se carichi molti documenti e 8 GB per un uso intenso del team. Il disco dipende da documenti e vettori. Senza scheda grafica, i documenti grandi richiedono più tempo di elaborazione sulla CPU e la documentazione ufficiale in questo caso suggerisce un provider di embedding esterno.
| Uso | Dimensione | Prezzo | Scegli |
|---|---|---|---|
| Base | 2 GB RAM · 2 vCore · 40 GB NVMe | $4.51/mese | |
| Media | 4 GB RAM · 2 vCore · 60 GB NVMe | $6.89/mese | |
| Potente | 8 GB RAM · 4 vCore · 120 GB NVMe | $13.62/mese |
Per chi è?
- Team che vogliono cercare tra documenti aziendali, contratti o manuali facendo domande
- Siti web che hanno bisogno di una chat che risponda in base ai propri documenti
- Team che vogliono un modello diverso per ogni workspace
- Piccole organizzazioni che hanno bisogno di accessi basati sui ruoli per il personale
Cosa succede dopo l'ordine?
- Imposta la dimensione e completa il pagamento.
- Il server parte e AnythingLLM si installa da solo.
- Apri il server da I miei server nel pannello. Nella scheda Panoramica aspetta che la riga App dica che è pronto, poi clicca Apri app.
- Incolla nella schermata di accesso il valore della riga Password. Non c'è nome utente, solo una password.
- Scegli un provider di modelli linguistici: inserisci la tua chiave API oppure collegati a un modello in esecuzione su un altro server.
- Crea un workspace, trascina dentro i tuoi documenti e inizia a fare domande.
Con ogni server
- Backup giornalieri inclusi nel prezzo
- Traffico illimitato
- Accesso root completo
- Aumenta o riduci RAM e CPU in seguito, e ingrandisci il disco
- Sede: Istanbul · IST-1.
Da sapere
- I costi di utilizzo del tuo provider di modelli non sono inclusi nel prezzo. La chiave API e la fattura le gestisci direttamente con il provider.
- Se scegli un provider in hosting, le tue domande e i passaggi rilevanti dei documenti vengono inviati a lui. Per tenere quei dati con te, collega un modello che gestisci tu.
- In modalità utente singolo, chiunque abbia la password può leggere ogni chat e cambiare ogni impostazione. Il passaggio alla modalità multiutente non si può annullare.
- Se cambi il provider di embedding dopo aver elaborato dei documenti, dovrai eliminarli ed elaborarli di nuovo. Sceglilo con cura all'inizio.
- Per cancellare completamente un documento, eliminalo da My Documents. Rimuoverlo da un workspace lascia al suo posto il file analizzato e la cache.
- Tenere AnythingLLM aggiornato è compito tuo. Il pannello continua a mostrare la password dell'installazione, quindi conserva tu quelle nuove.
Domande e risposte su AnythingLLM
Di quanta RAM ha bisogno AnythingLLM?
Il minimo ufficiale è 2 GB di RAM, una CPU a 2 core con AVX2 e 5 GB di disco. Come regola generale, scegli 4 GB se elaborerai molti documenti e 8 GB per l'uso in team. Se non bastano, ingrandisci dal pannello e mantieni gli stessi dati e lo stesso indirizzo IP.
AnythingLLM funziona senza GPU?
Sì. In questa installazione nessun modello gira sul server, perché la chat avviene presso il provider che colleghi. Il lavoro di IA che resta sul server è l'embedder predefinito, che la documentazione ufficiale descrive come solo CPU. Sui documenti grandi questo passaggio può richiedere un po'.
Quali modelli posso usare con AnythingLLM?
Colleghi il provider di IA che usi con la tua chiave API, oppure punti a un modello aperto in esecuzione su un altro server. Puoi anche impostare un modello diverso per ogni workspace.
I miei documenti escono dal server AnythingLLM?
Documenti, vettori e cronologia delle chat restano sul tuo server. Quando fai una domanda, la domanda e i passaggi di documento corrispondenti vanno al provider di modelli che hai scelto. Se colleghi un modello che gestisci tu, anche quei dati restano sulle tue macchine.
Posso aggiungere altri utenti ad AnythingLLM?
Sì. Attiva la modalità multiutente nelle impostazioni, crea l'account admin, poi aggiungi le persone con il ruolo Admin, Manager o Default. Una volta fatto il passaggio non puoi tornare alla password singola, quindi decidi prima.
Posso collegare AnythingLLM a un database vettoriale separato come Qdrant?
Sì. LanceDB, quello predefinito, gira dentro il server e dalle impostazioni puoi passare a un altro database vettoriale come Qdrant. I vettori esistenti non si spostano: la documentazione ufficiale dice che devi eliminare e ricalcolare l'embedding di ogni documento.