Self-hosted vLLM или облачный LLM-API
Главный водораздел — где живут данные. Своя модель на GPU держит их внутри контура, облачный API даёт быстрый и дешёвый старт. Разбираем, когда оправдан каждый путь — без идеологии.
Self-hosted vLLM — запуск открытой языковой модели на своём или арендованном GPU-сервере: данные не покидают контур, но нужен GPU-бюджет и обслуживание. Облачный LLM-API — модель как сервис по запросу: быстрый и дешёвый старт, топовое качество, но запрос уходит провайдеру. Для контуров с чувствительными данными и требованием изоляции выбирают self-hosted; ради скорости и низкого старта — облачный API.
Коротко: что есть что
Открытая LLM (например, семейств Llama, Qwen, Mistral), развёрнутая через vLLM на GPU-сервере под вашим контролем. Данные остаются в вашем контуре, версия модели фиксирована, лимитов провайдера нет. Цена — аренда или владение GPU плюс обслуживание.
Доступ к модели провайдера по API (часто OpenAI-совместимому). Платите за токены, всегда доступны свежие топовые модели, инфраструктуры держать не нужно. Но запрос и данные уходят на сторону провайдера, есть лимиты и зависимость от него.
Таблица различий
| Критерий | Self-hosted vLLM | Облачный LLM-API |
|---|---|---|
| Где живут данные | В вашем контуре | Уходят провайдеру |
| Скорость старта | Дольше — развернуть GPU | Минуты — получить ключ |
| Модель стоимости | Фикс: аренда/владение GPU | Оплата за токены |
| Изоляция и комплаенс | Максимальная (152-ФЗ, секретность) | Зависит от провайдера и региона |
| Качество моделей | Открытые, версию фиксируете | Топовые проприетарные, обновляются |
| Масштаб нагрузки | Предел вашего GPU | Эластичный, держит провайдер |
| Зависимость | Нет вендор-лока | От провайдера и его лимитов |
| Обслуживание | На вашей стороне | На стороне провайдера |
Главный водораздел — где живут данные
Всё остальное вторично по сравнению с одним вопросом: покидают ли данные ваш контур. Self-hosted vLLM держит и модель, и запросы внутри — это упрощает требования к изоляции и 152-ФЗ, критично для чувствительных потоков (банк, госсектор, персональные данные). Облачный API отправляет запрос наружу — быстрее и дешевле, но данные уходят провайдеру, и вопрос комплаенса решается его условиями и регионом обработки.
Честно: чаще выигрывает облако плюс здравый смысл
Для большинства задач облачные API дают результат быстрее, дешевле и качественнее — тащить self-hosted туда незачем. Self-hosted оправдан там, где изоляция данных — жёсткое требование или объём делает GPU выгодным. Мы применяем self-hosted vLLM именно в таких клиентских контурах. При этом честно: наш собственный ассистент на сайте работает на облачной модели с маскированием персональных данных до вызова — и мы не называем его self-hosted. Инфраструктуру под задачу подбираем на странице ИИ-операторов.
Когда что выбрать
- Данные не должны покидать контур (ПДн, госсектор, банк)
- Жёсткие требования к изоляции и 152-ФЗ
- Большой стабильный объём — GPU окупается
- Нужен полный контроль над моделью и её версией
- Нужен быстрый и дешёвый старт
- Нагрузка переменная
- Важны топовое качество и свежие модели
- Нет требования держать данные внутри
Частые вопросы
Что безопаснее для персональных данных?
Self-hosted надёжнее по умолчанию: данные не покидают контур, что упрощает соблюдение 152-ФЗ. Но и облачный API можно применять безопасно — если маскировать персональные данные (PII-guard) до отправки, тогда сами ПДн провайдеру не уходят.
Self-hosted всегда дороже?
На старте — да: нужна аренда GPU от десятков тысяч рублей в месяц плюс обслуживание. Но при большом стабильном объёме фиксированная стоимость GPU может оказаться выгоднее, чем постоянная оплата за токены облачного API.
Какие модели ставят self-hosted?
Открытые: семейства Llama, Qwen, Mistral и другие, развёрнутые через vLLM или аналог. Проприетарные топ-модели доступны только по API провайдера и self-hosted быть не могут.
Ваш чат на сайте — self-hosted?
Нет. Витринный ассистент работает на облачной модели с маскированием персональных данных до вызова. Self-hosted vLLM мы разворачиваем в клиентских контурах, где изоляция данных — требование. Мы не путаем эти два случая.
Хотите так же — но для вашего бизнеса?
30 минут разбора — бесплатно. Покажем, что реально автоматизировать в вашем случае и что это даст. Отвечает тот, кто ведёт проект.