Was ist auf Ihrem AnythingLLM-Server installiert?
- AnythingLLM 1.19 mit Workspaces, Dokumenten-Chat, KI-Agenten und einer Entwickler-API
- LanceDB, die integrierte Vektordatenbank
- Der Standard-Embedder, der auf der CPU läuft und Dokumente in Vektoren umwandelt
- Eine Anmeldung mit einem einzigen Passwort, damit sich die Oberfläche nie ohne eines öffnet
- Nutzungsberichte abgeschaltet
- HTTPS über Caddy auf einer sslip.io-Adresse, die auf Ihrer IP basiert
- Firewall, bei der nur die Ports 22, 80 und 443 offen sind
Welche Größe brauchen Sie für AnythingLLM?
Das offizielle Minimum sind 2 GB RAM, eine CPU mit 2 Kernen und AVX2 sowie 5 GB Festplatte, was reicht, um einige Dokumente zu speichern und zu chatten. Das Modell läuft anderswo, die eigentliche Arbeit auf Ihrem Server ist also die Verarbeitung der Dokumente. Als Faustregel: Denken Sie an 4 GB, wenn Sie viele Dokumente hochladen, und an 8 GB für intensive Teamnutzung. Ihre Dokumente und Vektoren bestimmen die Festplattengröße. Ohne Grafikkarte dauert die Verarbeitung großer Dokumente auf der CPU länger, und die offizielle Dokumentation schlägt für diesen Fall einen externen Embedding-Anbieter vor.
| Einsatz | Größe | Preis | Wählen |
|---|---|---|---|
| Einstieg | 2 GB RAM · 2 vCore · 40 GB NVMe | $4.51/Monat | |
| Mittel | 4 GB RAM · 2 vCore · 60 GB NVMe | $6.89/Monat | |
| Leistungsstark | 8 GB RAM · 4 vCore · 120 GB NVMe | $13.62/Monat |
Für wen ist es gedacht?
- Teams, die Firmendokumente, Verträge oder Handbücher durch Fragen durchsuchen möchten
- Websites, die ein Chatfenster brauchen, das aus den eigenen Dokumenten antwortet
- Teams, die für jeden Workspace ein anderes Modell möchten
- Kleine Organisationen, die rollenbasierten Zugriff für Mitarbeitende brauchen
Was passiert nach der Bestellung?
- Stellen Sie die Größe ein und schließen Sie Ihre Zahlung ab.
- Ihr Server startet, und AnythingLLM installiert sich selbst.
- Öffnen Sie Ihren Server im Panel unter Meine Server. Warten Sie auf dem Reiter Übersicht, bis die Zeile App meldet, dass sie bereit ist, und klicken Sie dann auf App öffnen.
- Fügen Sie den Wert aus der Zeile Passwort auf dem Anmeldebildschirm ein. Es gibt keinen Benutzernamen, nur ein einziges Passwort.
- Wählen Sie einen Anbieter für Sprachmodelle: Tragen Sie Ihren eigenen API-Schlüssel ein oder verbinden Sie ein Modell, das auf einem anderen Server läuft.
- Legen Sie einen Workspace an, ziehen Sie Ihre Dokumente hinein und fragen Sie los.
Bei jedem Server
- Tägliche Sicherung im Preis inbegriffen
- Unbegrenzter Datenverkehr
- Voller Root-Zugriff
- RAM und CPU später vergrößern oder verkleinern, die Festplatte erweitern
- Standort: Istanbul · IST-1.
Gut zu wissen
- Die Nutzungskosten Ihres Modellanbieters sind nicht im Preis enthalten. Den API-Schlüssel und die Rechnung verwalten Sie direkt beim Anbieter.
- Wenn Sie einen gehosteten Anbieter wählen, gehen Ihre Fragen und die relevanten Dokumentpassagen an ihn. Damit diese Daten bei Ihnen bleiben, verbinden Sie ein Modell, das Sie selbst betreiben.
- Im Einzelnutzer-Modus kann jeder mit dem Passwort jeden Chat lesen und jede Einstellung ändern. Der Wechsel in den Mehrbenutzer-Modus lässt sich nicht rückgängig machen.
- Wenn Sie den Embedding-Anbieter ändern, nachdem Dokumente verarbeitet wurden, müssen Sie sie löschen und neu verarbeiten. Wählen Sie ihn zu Beginn mit Bedacht.
- Um ein Dokument vollständig zu löschen, entfernen Sie es unter My Documents. Wenn Sie es nur aus einem Workspace entfernen, bleiben die verarbeitete Datei und der Cache bestehen.
- AnythingLLM aktuell zu halten, ist Ihre Aufgabe. Das Panel zeigt weiterhin das Installationspasswort an, bewahren Sie ein neues Passwort also selbst auf.
Fragen und Antworten zu AnythingLLM
Wie viel RAM braucht AnythingLLM?
Das offizielle Minimum sind 2 GB RAM, eine CPU mit 2 Kernen und AVX2 sowie 5 GB Festplatte. Als Faustregel: Nehmen Sie 4 GB, wenn Sie viele Dokumente verarbeiten, und 8 GB für Teamnutzung. Reicht das nicht, vergrößern Sie in Ihrem Panel und behalten dieselben Daten und dieselbe IP-Adresse.
Funktioniert AnythingLLM ohne GPU?
Ja. In dieser Installation läuft kein Modell auf dem Server, da der Chat bei dem Anbieter stattfindet, den Sie verbinden. Die KI-Arbeit, die auf dem Server bleibt, erledigt der Standard-Embedder, den die offizielle Dokumentation als reinen CPU-Betrieb beschreibt. Bei großen Dokumenten kann dieser Schritt eine Weile dauern.
Welche Modelle kann ich mit AnythingLLM nutzen?
Sie verbinden den KI-Anbieter, den Sie nutzen, mit Ihrem eigenen API-Schlüssel oder richten es auf ein offenes Modell, das auf einem anderen Server läuft. Für jeden Workspace können Sie auch ein anderes Modell festlegen.
Verlassen meine Dokumente den AnythingLLM-Server?
Dokumente, Vektoren und Chatverlauf bleiben auf Ihrem Server. Wenn Sie etwas fragen, gehen die Frage und die passenden Dokumentpassagen an den gewählten Modellanbieter. Wenn Sie ein Modell verbinden, das Sie selbst betreiben, bleiben diese Daten ebenfalls auf Ihren eigenen Maschinen.
Kann ich weitere Benutzer zu AnythingLLM hinzufügen?
Ja. Schalten Sie in den Einstellungen den Mehrbenutzer-Modus ein, legen Sie das Admin-Konto an und fügen Sie dann Personen mit der Rolle Admin, Manager oder Default hinzu. Nach dem Wechsel kommen Sie nicht mehr zum einzelnen Passwort zurück, entscheiden Sie also vorher.
Kann ich AnythingLLM mit einer separaten Vektordatenbank wie Qdrant verbinden?
Ja. Das standardmäßige LanceDB läuft im Server, und in den Einstellungen können Sie zu einer anderen Vektordatenbank wie Qdrant wechseln. Vorhandene Vektoren werden nicht übernommen: Laut der offiziellen Dokumentation müssen Sie jedes Dokument löschen und neu einbetten.