Що встановлено на вашому сервері AnythingLLM?
- AnythingLLM 1.19 з робочими просторами, чатом із документами, ШІ-агентами та API для розробників
- LanceDB — вбудована векторна база даних
- Типовий embedder, який працює на процесорі й перетворює документи на вектори
- Вхід за єдиним паролем, тож інтерфейс ніколи не відкривається без нього
- Звітування про використання вимкнено
- HTTPS через Caddy на адресі sslip.io, створеній на основі вашої IP-адреси
- Брандмауер із відкритими лише портами 22, 80 і 443
Який розмір потрібен для AnythingLLM?
Офіційний мінімум — 2 ГБ RAM, 2-ядерний процесор з AVX2 і 5 ГБ диска, чого вистачає, щоб зберігати кілька документів і спілкуватися в чаті. Модель працює деінде, тож реальна робота вашого сервера — обробка документів. Орієнтовно, розгляньте 4 ГБ, якщо завантажуватимете багато документів, і 8 ГБ для інтенсивного командного використання. Розмір диска визначають ваші документи та вектори. Без відеокарти великі документи обробляються на процесорі довше, і в такому разі офіційна документація радить зовнішнього постачальника embedding.
| Використання | Розмір | Ціна | Обрати |
|---|---|---|---|
| Стартовий | 2 GB RAM · 2 vCore · 40 GB NVMe | $4.51/міс. | |
| Середній | 4 GB RAM · 2 vCore · 60 GB NVMe | $6.89/міс. | |
| Потужний | 8 GB RAM · 4 vCore · 120 GB NVMe | $13.62/міс. |
Кому підійде?
- Командам, які хочуть шукати в документах компанії, договорах чи інструкціях, ставлячи запитання
- Сайтам, яким потрібне вікно чату, що відповідає на основі власних документів
- Командам, які хочуть різну модель для кожного робочого простору
- Невеликим організаціям, яким потрібен рольовий доступ для співробітників
Що буде після замовлення?
- Задайте розмір і завершіть оплату.
- Ваш сервер запускається, і AnythingLLM встановлюється сам.
- Відкрийте сервер у розділі «Мої сервери» панелі. На вкладці «Огляд» зачекайте, доки рядок «Застосунок» покаже, що він готовий, а потім натисніть «Відкрити застосунок».
- Вставте значення з рядка «Пароль» на екрані входу. Імені користувача немає, лише один пароль.
- Оберіть постачальника мовної моделі: введіть власний ключ API або підключіться до моделі, що працює на іншому сервері.
- Створіть робочий простір, перетягніть туди документи й починайте запитувати.
З кожним сервером
- Щоденне резервне копіювання входить у ціну
- Необмежений трафік
- Повний доступ root
- Пізніше можна збільшувати чи зменшувати RAM і CPU, а також збільшувати диск
- Розташування: Istanbul · IST-1.
Корисно знати
- Плата вашого постачальника моделі за використання в ціну не входить. Ключем API та рахунком ви керуєте безпосередньо в постачальника.
- Якщо ви оберете стороннього постачальника, до нього надходять ваші запитання та відповідні уривки документів. Щоб ці дані залишалися у вас, підключіть модель, яку запускаєте самі.
- В однокористувацькому режимі кожен, хто має пароль, може читати всі чати й змінювати всі налаштування. Перехід до багатокористувацького режиму скасувати не можна.
- Якщо після обробки документів змінити постачальника embedding, документи доведеться видалити й обробити заново. Обирайте його ретельно на початку.
- Щоб повністю стерти документ, видаліть його в розділі My Documents. Якщо лише вилучити його з робочого простору, оброблений файл і кеш залишаться.
- Підтримувати AnythingLLM в актуальному стані — ваше завдання. Панель і далі показує пароль, заданий під час встановлення, тож новий пароль зберігайте самі.
AnythingLLM: запитання й відповіді
Скільки RAM потрібно AnythingLLM?
Офіційний мінімум — 2 ГБ RAM, 2-ядерний процесор з AVX2 і 5 ГБ диска. Орієнтовно, беріть 4 ГБ, якщо оброблятимете багато документів, і 8 ГБ для командного використання. Якщо цього не вистачить, збільште сервер у своїй панелі, і дані та IP-адреса залишаться тими самими.
Чи працює AnythingLLM без GPU?
Так. У цьому встановленні жодна модель на сервері не працює, бо чат відбувається в постачальника, якого ви підключаєте. Із ШІ-роботи на сервері залишається типовий embedder, який в офіційній документації описано як такий, що працює лише на процесорі. На великих документах цей крок може тривати досить довго.
Які моделі можна використовувати з AnythingLLM?
Ви підключаєте постачальника ШІ, яким користуєтеся, власним ключем API або вказуєте відкриту модель, що працює на іншому сервері. Також можна задати різну модель для кожного робочого простору.
Чи залишають мої документи сервер AnythingLLM?
Документи, вектори та історія чату залишаються на вашому сервері. Коли ви ставите запитання, воно й відповідні уривки документів надходять до обраного вами постачальника моделі. Якщо ви підключаєте модель, яку запускаєте самі, ці дані також залишаються на ваших власних машинах.
Чи можна додати в AnythingLLM більше користувачів?
Так. Увімкніть багатокористувацький режим у налаштуваннях, створіть обліковий запис адміністратора, а потім додавайте людей з ролями Admin, Manager або Default. Після переходу повернутися до єдиного пароля не можна, тож вирішіть це заздалегідь.
Чи можна підключити AnythingLLM до окремої векторної бази даних, як-от Qdrant?
Так. Типова LanceDB працює всередині сервера, а в налаштуваннях можна перейти на іншу векторну базу даних, наприклад Qdrant. Наявні вектори не переносяться: в офіційній документації сказано, що кожен документ потрібно видалити й вбудувати заново.