您的 Ollama 服务器上安装什么?
- Ollama 0.40,负责下载并运行模型
- Open WebUI 0.12,用于浏览器聊天和对话记录
- gemma3:1b 模型,在安装时下载,并用真实的提示词测试过
- 内存设置:同一时间一个模型、一个请求,最后一次请求后在内存中保留 30 分钟
- 开箱即用的管理员账户,已关闭注册
- 通过 Caddy 提供 HTTPS,使用基于您 IP 的 sslip.io 地址
- 防火墙开放 22、80 和 443 端口;Ollama 的 11434 端口不对外开放
Ollama 需要多大的配置?
Ollama 会把模型加载到内存中,所以模型文件的大小就是您 RAM 的下限,还要再留出余量。经验上,1B 到 3B(10 亿到 30 亿)参数的模型从 4 GB 起步,7B 到 8B(70 亿到 80 亿)参数的用 8 GB,12B 到 14B(120 亿到 140 亿)参数的用 16 GB。这些不是官方数值。磁盘空间也要规划:在 Ollama 的模型库中,gemma3:1b 是 806 MB,gemma3:4b 是 3.4 GB,gemma3:12b 是 8.2 GB。换用更大的模型时,请在面板的“配置”标签页中提高 RAM。服务器会重启一次,您的数据和 IP 保持不变。
| 用途 | 配置 | 价格 | 选择 |
|---|---|---|---|
| 入门 | 4 GB RAM · 2 vCore · 60 GB NVMe | $6.89/月 | |
| 中等 | 8 GB RAM · 4 vCore · 120 GB NVMe | $13.62/月 | |
| 强劲 | 16 GB RAM · 8 vCore · 200 GB NVMe | $25.15/月 |
适合谁?
- 想让聊天内容留在自己服务器上的人
- 由您掌控的模型来完成简短摘要、分类和邮件草稿
- 试用开放模型,或把它们接入小型自动化的开发者
- 为您自己,或许还有几个人准备的个人助手
下单之后会发生什么?
- 设定配置并完成付款。
- 服务器启动后,Ollama 和 Open WebUI 会随之安装。还会下载一个模型,所以需要的时间稍长一些。
- 在面板的“我的服务器”中打开您的服务器。在“概览”标签页上,等到“应用”一行显示已就绪,再点击“打开应用”。
- 使用“邮箱”和“密码”两行中的信息登录。没有设置向导页面,聊天中已选好 gemma3:1b。
- 要用更大的模型,请先提高 RAM,然后在模型选择器中输入模型名称并下载。
每台服务器都包含
- 价格含每日备份
- 不限流量
- 完整 root 权限
- 之后可升级或降配 RAM 和 CPU,并扩大磁盘
- 位置:Istanbul · IST-1。
须知
- 服务器没有显卡。第一次请求要从磁盘加载模型,较长的提示词会推迟第一条回复,回答可能比您阅读的速度还慢,多位用户同时使用时会分摊速度。
- 它不适合多用户的实时服务、即时响应、大量代码生成或大模型。32B(320 亿)参数的模型在 CPU 上非常慢。
- 小模型写土耳其语往往不如写英语,所以决定之前请先用您自己的文本测试。
- 每个模型都有自己的许可,gemma3 适用 Gemma Terms of Use。用于商业用途之前,请阅读模型页面上的许可。
- 没有企业授权时,按照 Open WebUI 的条款,部署在 30 天内用户超过 50 人后,就不能再去掉它的名称和标志。
- 更新 Ollama、Open WebUI 和您的模型由您自己负责。“邮箱”一行中的地址只是登录名,不会收到邮件。
Ollama 常见问题
Ollama 需要多少 RAM?
模型文件的大小是最低值,对话内存和操作系统还要另外加上。经验上,1B 到 3B(10 亿到 30 亿)参数从 4 GB 起步,7B 到 8B(70 亿到 80 亿)参数用 8 GB,12B 到 14B(120 亿到 140 亿)参数用 16 GB。模型加载完成后运行 free -h,就能看到它实际占用多少。
没有 GPU,Ollama 能工作吗?
可以。没有 GPU 时,Ollama 会把模型加载到系统内存并在 CPU 上运行,ollama ps 会显示 100% CPU。Seturack 的服务器没有显卡。小模型可以用来完成短任务,大模型虽然能跑,但仍然非常慢。
在 Ollama VPS 上应该先用哪个模型?
先用已安装的 gemma3:1b 熟悉界面,再换成 3B(30 亿)参数的模型,用您自己的工作来测试。如果回答不够好,就升一档,并用 free -h 确认 RAM 是否足够。Ollama 的模型库在下载之前就会列出每个模型的文件大小。
如何在 Ollama 中下载新模型?
在聊天界面的模型选择器中输入模型名称,Open WebUI 会提示下载。您也可以通过 SSH 连接,在 /opt/seturack/ollama 中运行 docker compose exec ollama ollama pull model-name。请先检查剩余的磁盘空间。
我的应用可以连接 Ollama 的 API 吗?
可以,不过 11434 端口默认对互联网关闭,因为 Ollama 的 API 默认没有认证。凭借 root 权限,您可以在 compose 文件中把端口发布在本地地址上,再通过 SSH 隧道连接,或者把应用运行在同一台服务器上。
我的 AI 聊天内容会离开服务器吗?
模型运行在您的服务器上,所以聊天内容和模型都留在那里。Ollama 的文档说,本地运行时它看不到您的提示词和数据。在这套安装中,Open WebUI 与托管提供商的连接以及它的使用情况报告都已关闭。