Что установлено на вашем сервере AnythingLLM?
- AnythingLLM 1.19 с рабочими пространствами, чатом по документам, ИИ-агентами и API для разработчиков
- LanceDB — встроенная векторная база данных
- Встраиватель по умолчанию, который работает на процессоре и превращает документы в векторы
- Вход по единственному паролю, так что интерфейс без него не открывается
- Отправка статистики использования отключена
- HTTPS через Caddy на адресе sslip.io, построенном по вашему IP
- Брандмауэр, в котором открыты только порты 22, 80 и 443
Какой размер нужен для AnythingLLM?
Официальный минимум — 2 ГБ RAM, 2 ядра процессора с AVX2 и 5 ГБ диска; этого хватает, чтобы хранить некоторое количество документов и вести чат. Модель работает в другом месте, поэтому основная работа вашего сервера — обработка документов. Ориентировочно: присмотритесь к 4 ГБ, если будете загружать много документов, и к 8 ГБ для активной работы команды. Размер диска определяют ваши документы и векторы. Без видеокарты большие документы обрабатываются на процессоре дольше, и в таком случае официальная документация советует внешнего поставщика встраивания.
| Применение | Размер | Цена | Выбрать |
|---|---|---|---|
| Стартовый | 2 GB RAM · 2 vCore · 40 GB NVMe | $4.51/мес. | |
| Средний | 4 GB RAM · 2 vCore · 60 GB NVMe | $6.89/мес. | |
| Мощный | 8 GB RAM · 4 vCore · 120 GB NVMe | $13.62/мес. |
Кому подходит?
- Командам, которые хотят искать по документам компании, договорам или инструкциям, задавая вопросы
- Сайтам, которым нужно окно чата, отвечающее по их собственным документам
- Командам, которым нужна своя модель для каждого рабочего пространства
- Небольшим организациям, где нужен доступ сотрудников по ролям
Что будет после заказа?
- Задайте размер и оплатите заказ.
- Сервер запускается, и AnythingLLM устанавливается сам.
- Откройте сервер в разделе «Мои серверы» в панели. На вкладке «Обзор» дождитесь, пока в строке «Приложение» появится сообщение о готовности, и нажмите «Открыть приложение».
- Вставьте значение из строки «Пароль» на экране входа. Имени пользователя нет, только один пароль.
- Выберите поставщика языковой модели: введите свой ключ API или подключитесь к модели, которая работает на другом сервере.
- Создайте рабочее пространство, перетащите в него документы и начинайте задавать вопросы.
С каждым сервером
- Ежедневные бэкапы входят в цену
- Безлимитный трафик
- Полный root-доступ
- Позже можно увеличить или уменьшить RAM и CPU, а диск увеличить
- Расположение: Istanbul · IST-1.
Полезно знать
- Плата за использование у вашего поставщика модели в цену не входит. Ключом API и счетом вы управляете напрямую у поставщика.
- Если вы выбираете стороннего поставщика, ваши вопросы и нужные фрагменты документов отправляются ему. Чтобы эти данные оставались у вас, подключите модель, которую вы запускаете сами.
- В однопользовательском режиме любой, кто знает пароль, может читать все чаты и менять все настройки. Переход в многопользовательский режим отменить нельзя.
- Если после обработки документов сменить поставщика встраивания, документы придётся удалить и обработать заново. Выбирайте его с умом в самом начале.
- Чтобы полностью стереть документ, удалите его в My Documents. Если просто убрать его из рабочего пространства, разобранный файл и кэш останутся.
- Обновлять AnythingLLM нужно вам самим. Панель продолжает показывать пароль, заданный при установке, поэтому новый пароль сохраните сами.
AnythingLLM: вопросы и ответы
Сколько RAM нужно AnythingLLM?
Официальный минимум — 2 ГБ RAM, 2 ядра процессора с AVX2 и 5 ГБ диска. Ориентировочно: берите 4 ГБ, если будете обрабатывать много документов, и 8 ГБ для работы команды. Если не хватит, вы увеличиваете сервер в панели, и данные с IP-адресом остаются прежними.
Работает ли AnythingLLM без GPU?
Да. В этой установке на сервере не работает никакая модель, поскольку чат идёт у подключённого вами поставщика. Из ИИ-задач на сервере остаётся встраиватель по умолчанию, который, как сказано в официальной документации, работает только на процессоре. На больших документах этот шаг может занять время.
Какие модели можно использовать с AnythingLLM?
Вы подключаете используемого вами поставщика ИИ со своим ключом API или указываете открытую модель, работающую на другом сервере. Для каждого рабочего пространства можно задать свою модель.
Покидают ли мои документы сервер AnythingLLM?
Документы, векторы и история чатов остаются на вашем сервере. Когда вы задаёте вопрос, он и подходящие фрагменты документов уходят выбранному вами поставщику модели. Если вы подключаете модель, которую запускаете сами, эти данные остаются и на ваших собственных машинах.
Можно ли добавить в AnythingLLM других пользователей?
Да. Включите многопользовательский режим в настройках, создайте аккаунт администратора, а затем добавляйте людей с ролью Admin, Manager или Default. После перехода вернуться к единственному паролю нельзя, поэтому решайте заранее.
Можно ли подключить AnythingLLM к отдельной векторной базе данных, например Qdrant?
Да. LanceDB по умолчанию работает внутри сервера, а в настройках можно переключиться на другую векторную базу данных, например Qdrant. Существующие векторы не переносятся: согласно официальной документации, каждый документ нужно удалить и встроить заново.