您的 AnythingLLM 服务器上安装什么?
- AnythingLLM 1.19,含工作区、文档对话、AI 代理和开发者 API
- LanceDB,内置的向量数据库
- 默认嵌入器,在 CPU 上运行,把文档转换为向量
- 单密码登录,没有密码界面就不会打开
- 已关闭使用情况上报
- 通过 Caddy 提供 HTTPS,使用基于您 IP 的 sslip.io 地址
- 防火墙只开放 22、80 和 443 端口
AnythingLLM 需要多大的配置?
官方最低要求是 2 GB RAM、支持 AVX2 的 2 核 CPU 和 5 GB 磁盘,足以存放一些文档并进行聊天。模型运行在别处,所以您服务器上的实际工作是处理文档。经验上:要上传大量文档可以考虑 4 GB,团队重度使用用 8 GB。磁盘大小取决于您的文档和向量。没有显卡时,大文档在 CPU 上处理会更慢,官方文档建议这种情况下使用外部嵌入提供商。
| 用途 | 配置 | 价格 | 选择 |
|---|---|---|---|
| 入门 | 2 GB RAM · 2 vCore · 40 GB NVMe | $4.51/月 | |
| 中等 | 4 GB RAM · 2 vCore · 60 GB NVMe | $6.89/月 | |
| 强劲 | 8 GB RAM · 4 vCore · 120 GB NVMe | $13.62/月 |
适合谁?
- 想通过提问来检索公司文档、合同或手册的团队
- 需要一个根据自己文档回答问题的聊天框的网站
- 想为每个工作区使用不同模型的团队
- 需要为员工设置基于角色的访问权限的小型组织
下单之后会发生什么?
- 设定配置并完成付款。
- 您的服务器启动,AnythingLLM 自动安装。
- 在面板的“我的服务器”中打开您的服务器。在“概览”标签页上,等到“应用”一行显示已就绪,再点击“打开应用”。
- 把“密码”一行中的值粘贴到登录界面。这里没有用户名,只有一个密码。
- 选择一个语言模型提供商:输入您自己的 API 密钥,或连接到运行在另一台服务器上的模型。
- 创建一个工作区,把文档拖进去,然后开始提问。
每台服务器都包含
- 价格含每日备份
- 不限流量
- 完整 root 权限
- 之后可升级或降配 RAM 和 CPU,并扩大磁盘
- 位置:Istanbul · IST-1。
须知
- 模型提供商的使用费用不包含在价格中。API 密钥和账单由您直接与提供商处理。
- 如果您选择托管的提供商,您的问题和相关的文档段落会发送给它。想把这些数据留在自己手里,请连接您自己运行的模型。
- 在单用户模式下,任何知道密码的人都能读取所有聊天并更改所有设置。切换到多用户模式后无法撤销。
- 如果在处理文档之后更改嵌入提供商,就需要删除并重新处理这些文档。请在一开始慎重选择。
- 要彻底删除一份文档,请在 My Documents 中删除它。仅从工作区中移除,解析后的文件和缓存仍会保留。
- 让 AnythingLLM 保持最新是您的工作。面板会一直显示安装时的密码,所以新密码请自行保存。
AnythingLLM 常见问题
AnythingLLM 需要多少 RAM?
官方最低要求是 2 GB RAM、支持 AVX2 的 2 核 CPU 和 5 GB 磁盘。经验上:要处理很多文档用 4 GB,团队使用用 8 GB。如果不够,可以在面板中升级,数据和 IP 地址保持不变。
AnythingLLM 没有 GPU 能用吗?
可以。本安装中服务器上不运行任何模型,因为聊天发生在您连接的提供商处。服务器上剩下的 AI 工作是默认嵌入器,官方文档称其仅使用 CPU。处理大文档时,这一步可能需要一些时间。
AnythingLLM 可以使用哪些模型?
您可以用自己的 API 密钥连接您所使用的 AI 提供商,也可以指向运行在另一台服务器上的开源模型。还可以为每个工作区设置不同的模型。
我的文档会离开 AnythingLLM 服务器吗?
文档、向量和聊天记录保留在您的服务器上。提问时,问题和匹配的文档段落会发送给您选择的模型提供商。如果连接的是您自己运行的模型,这些数据也会留在您自己的机器上。
可以给 AnythingLLM 添加更多用户吗?
可以。在设置中打开多用户模式,创建管理员账户,然后以 Admin、Manager 或 Default 角色添加人员。切换之后无法回到单密码模式,所以请事先想好。
可以把 AnythingLLM 连接到 Qdrant 这样的独立向量数据库吗?
可以。默认的 LanceDB 运行在服务器内部,您可以在设置中切换到 Qdrant 等其他向量数据库。已有的向量不会迁移:官方文档称,需要逐个删除文档并重新嵌入。