К содержимому
MoranaLabs.
Инженерные гайды13 мин чтения2 просмотра

Что значит on-prem у российских ИИ-платформ 

Шесть значений слова, которое в договорах пишут одинаково. Что физически остается у вас, куда на самом деле уходит содержимое запроса, во что обходится вход в чужой контур и как проверить это за один день.

0xReality

Есть тест, который занимает пятнадцать минут и отвечает на вопрос про on-prem честнее любого коммерческого предложения. Разверните систему на тестовом контуре и полностью закройте ей исходящий интернет. Потом посмотрите, что перестало работать.

Иногда не работает ничего. Иногда работает все, кроме обновлений. Между этими двумя исходами лежит разница в сотни тысяч рублей, несколько месяцев сроков и весь смысл разговора про периметр — при том, что в обоих договорах написано одно и то же слово.

Ниже — шесть разных вещей, которые называют этим словом, во что каждая обходится и какие вопросы задать до подписания. Имен вендоров в тексте нет намеренно: линейки меняются каждый квартал, а способ проверки работает одинаково для любого поставщика, включая нас.

Шесть значений одного слова

Покупатель, который слышит «мы работаем on-prem», понимает это как «наши данные физически остаются у нас и никуда не уходят». Продавец при этом может иметь в виду любой из шести вариантов, и все шесть — правда с точки зрения его юриста.

ВариантЧто физически у васКуда уходит содержимое запросаКто администрирует
1. Облако в России Ничего В чужой дата-центр на территории РФ Вендор
2. Выделенный контур у вендора Ничего В отдельный инстанс в чужом облаке Вендор
3. Установка в вашем облачном аккаунте Виртуальные машины на вашем биллинге В публичное облако, но под вашей учетной записью Вы или вендор по доступу
4. Дистрибутив у вас, модель в облаке Платформа, интерфейс, база знаний Наружу, к провайдеру модели, при каждом запросе Вы
5. Полный контур Платформа и модель Никуда Вы
6. Изолированный контур Платформа и модель, без выхода в интернет вовсе Никуда Вы, включая ручные обновления

Первые три варианта — это облако с разной степенью изоляции. Они законны, работоспособны и часто разумны. Проблема возникает, когда их продают словом, которое покупатель понял как пятый вариант.

Четвертый вариант, из-за которого стоит читать договоры

Самый неприятный случай выглядит идеально на всех этапах проверки. Дистрибутив приезжает, разворачивается на ваших серверах, админы видят контейнеры в своем кластере, служба безопасности ставит галочку «ПО размещено в инфраструктуре заказчика». Формулировка в договоре честная до последнего слова.

А потом сотрудник задает системе вопрос, и текст этого вопроса вместе с подтянутым к нему куском документа уезжает во внешний API, потому что модель живет там. Платформа у вас. Данные — нет.

Платформа и модель — это две разные вещи, и размещать их можно раздельно. Вопрос «где стоит ваш дистрибутив» и вопрос «где выполняется инференс» надо задавать отдельно, потому что ответы на них бывают разными.

Отдельная тонкость того же класса: даже при полностью локальной модели наружу могут уходить телеметрия, метрики использования и логи ошибок. Это обычно безобидно, но в логе ошибки нередко лежит фрагмент запроса, вызвавшего ошибку. Спрашивать про телеметрию надо отдельным вопросом.

Цена входа в чужой контур

Контур дают многие поставщики, и это правда. Интереснее другое: во что обходится его развернуть и содержать. На лендинге этой части обычно нет, она всплывает на техническом созвоне после подписания рамочного соглашения.

Что требуетсяЧем оборачивается
Оркестратор контейнеров промышленного класса Либо он у вас уже есть и его кто-то эксплуатирует, либо это отдельный проект до начала основного
Видеокарты под локальную модель Капитальные затраты и закупка со своим циклом согласования. Сколько карт и каких — вопрос, на который надо получить письменный ответ до сметы
Человек на эксплуатацию Кто-то обязан дежурить, накатывать обновления и разбирать инциденты. Либо ваш сотрудник, либо строка в договоре сопровождения
Минимальный размер контракта Многие поставщики контурных решений не работают с малыми компаниями. Это выясняется на первом же созвоне и экономит всем время
Обновления В изолированном контуре они приезжают руками. Кто их накатывает, как часто и что при этом ломается — отдельный раздел регламента
Срок и объем бесплатного теста Проверьте, входит ли в тестовый период именно контурная поставка. Часто бесплатно дают облачную версию, а контур — только после договора

Сумма этих строк и есть настоящая цена «просто поставьте нам локально». Она может оказаться меньше собственной разработки, а может оказаться больше. Это считается, и считать надо до выбора. После выбора получается уже не расчет, а его оправдание.

Как проверить за один день

Три проверки, которые дают больше, чем неделя переписки с отделом продаж. Все три выполняются вашими силами на тестовом контуре.

Проверка первая: выдернуть кабель

Разверните систему и полностью закройте исходящий трафик на сетевом уровне. Дальше пользуйтесь: задавайте вопросы, запускайте сценарии, читайте документы. Что отвалилось — то и уходило наружу.

Это самый честный тест из существующих, потому что он не зависит от того, что написано в документации. Пятнадцать минут работы сетевого администратора. Результат стоит того, чтобы потратить их до подписания.

Проверка вторая: посмотреть, куда стучится

Если полностью закрыть интернет нельзя, снимите трафик и разберите адреса назначения. Интересует не только провайдер модели: смотрите на сервисы телеметрии, аналитики, обновлений и лицензирования. Методику снятия и разбор того, что реально уходит помимо самого запроса, мы разбирали в отдельном материале.

Проверка третья: найти, где лежат ваши данные

Векторный индекс, эмбеддинги, история диалогов, сценарии, настройки — это все ваши данные, произведенные в процессе работы. Найдите на диске, где они физически лежат, и в каком формате. Ответ определяет, сможете ли вы уйти от поставщика, и об этом отдельный раздел ниже.

Как читать формулировки в договоре

Все шесть вариантов описываются словами, которые звучат одинаково успокаивающе. Ниже — переводчик: что фраза гарантирует и что она при этом допускает.

НаписаноЧто гарантированоЧто при этом допускается
«Размещается в инфраструктуре заказчика» Дистрибутив стоит у вас Про место выполнения инференса не сказано ничего
«Данные не покидают территорию Российской Федерации» Серверы в РФ Данные покидают ваш периметр и обрабатываются чужими администраторами
«Изолированный контур» Изоляция от других клиентов поставщика Изоляция от самого поставщика не подразумевается
«Поддерживает on-premise развертывание» Техническая возможность существует Возможность может относиться к другому тарифу, другому объему контракта или требовать инфраструктуры, которой у вас нет
«Работает с локальными моделями» Совместимость есть Модель, железо под нее и эксплуатация — ваши
«Полный контроль над данными» Формулировка маркетинговая Что угодно из шести вариантов

Ни одна из этих фраз не является обманом. Каждая описывает реальное свойство продукта. Проблема в том, что покупатель достраивает недосказанное в свою пользу, и делает это бесплатно для продавца.

Рабочее правило: в договор идет проверяемое утверждение вместо характеристики. «Обработка запросов выполняется на оборудовании заказчика, сетевые соединения с внешними адресами при работе системы отсутствуют, за исключением перечисленных в приложении N» — вот это уже можно проверить и предъявить.

Где проваливается проверка внутри компании

Отдельная беда, которая не про вендоров вовсе. В крупной компании контурное решение смотрят три-четыре разных человека, и каждый ставит галочку строго по своей зоне.

Кто смотритЧто проверяетЧто упускает
Служба безопасности Где размещено ПО, есть ли сертификаты, кто имеет доступ Куда уходит содержимое запроса во время работы
Системный администратор Разворачивается ли, хватает ли ресурсов, как обновляется Что именно из данных попадает в исходящий трафик
Юрист Формулировки договора, ответственность, персональные данные Техническую разницу между размещением платформы и местом инференса
Заказчик со стороны бизнеса Закрывает ли задачу, за какой срок и почем Все вышеперечисленное

Провал происходит на стыке: каждый отвечает за свой участок, а вопрос «куда физически уходит текст запроса вместе с приложенным к нему документом» лежит между зонами и не задается никем.

Лечится назначением одного человека, который отвечает за ответ на этот вопрос целиком, и требованием письменного ответа от поставщика. Пятнадцать минут теста с закрытым интернетом закрывают ту же дыру технически.

Что должно быть в акте приемки контурной поставки

Приемка «развернулось и отвечает» — это приемка демонстрации. Контурная поставка принимается по шести пунктам, и каждый проверяется при вас.

  1. Работа при закрытом исходящем трафике. Демонстрируется вживую: сеть закрыта, сценарий проходит полностью.
  2. Список исходящих соединений с адресами, назначением и отметкой, что ломается при блокировке каждого.
  3. Расположение данных на диске: где индекс, где история, где настройки, в каком формате и как выгружается.
  4. Процедура обновления в изолированном контуре, проверенная хотя бы один раз при вас.
  5. Регламент доступа поставщика при инциденте: кто, по какой процедуре, с чьего разрешения, что при этом видит.
  6. Инструкция на случай расторжения: что и в каком формате выгружается, сколько времени занимает.

Шестой пункт вызывает у поставщиков наибольшее сопротивление и потому самый информативный. Тот, кто отвечает на него спокойно и по существу, обычно спокойно отвечает и на все остальные.

Семь вопросов до подписания

Задаются письменно, ответы прикладываются к договору. Хороший поставщик отвечает на них за один день, потому что у него эти ответы уже написаны.

  1. Где выполняется инференс? Вопрос отдельный от вопроса «где стоит дистрибутив». Красный флаг — ответ «в вашем контуре» без уточнения, что именно в нем работает.
  2. Полный список исходящих соединений с адресами и назначением. Хороший ответ — таблица. Красный флаг — «система работает автономно» без списка.
  3. Что перестанет работать при полном закрытии интернета? Хороший ответ конкретен: обновления и проверка лицензии. Красный флаг — уклончивость.
  4. Какая телеметрия уходит вам и можно ли ее выключить? Отдельно: попадают ли фрагменты запросов в логи ошибок.
  5. Кто с вашей стороны имеет технический доступ к нашему инстансу? Спросите про процедуру доступа при инциденте: он обычно нужен, и лучше знать регламент заранее.
  6. Что требуется от нас по железу и людям? Число и модель карт, требования к кластеру, кто дежурит.
  7. Что у нас остается через день после расторжения договора? Самый неудобный вопрос и самый информативный.

Что остается, когда поставщик уходит

Про это думают в последнюю очередь, а решается оно в первую — на этапе выбора, потому что потом уже поздно.

За время работы система накапливает то, чего у вас не было: размеченную базу знаний, векторный индекс, сценарии, историю обращений с решениями. Это актив, и он произведен на ваших данных и вашими деньгами. Вопрос в том, в каком он формате.

Что накопилосьХороший раскладПлохой расклад
База знанийИсходные документы у вас, индекс пересобираетсяТолько внутри платформы, выгрузки нет
Сценарии и правилаТекстовые файлы или код в вашем репозиторииПроприетарный формат конструктора
История и разметкаВыгружается таблицейЖивет в чужой базе
Интеграции с вашими системамиОтдельный слой, который переживет смену платформыВстроены в платформу и уходят вместе с ней

Практическое правило: интеграционный слой держите отдельно от платформы с первого дня. Это самая дорогая часть любого проекта, и она единственная, которую обидно потерять при смене поставщика. Все остальное пересобирается.

Когда чужая платформа — правильный выбор

Скажу прямо, потому что иначе весь текст выше читается как реклама собственной разработки. Есть четыре ситуации, в которых готовая платформа выигрывает у заказной разработки, и мы сами разворачиваем клиентов туда.

  • Процесс типовой. Обработка типовых обращений, ответы по базе знаний, маршрутизация заявок. Все это в платформах реализовано, и делать такое на заказ означает платить за велосипед.
  • Результат нужен через две недели. Платформа стартует быстрее любой разработки, это ее главное преимущество и оно настоящее.
  • Некому эксплуатировать. Если в компании нет человека, который будет дежурить и накатывать обновления, свой контур превратится в проблему через квартал. Облако в этом случае честнее.
  • Данные не чувствительные. Если через систему не проходят персональные данные, коммерческая тайна и условия сделок, весь разговор про периметр теряет предмет.

Если у вас сошлись все четыре — берите платформу и не читайте дальше. Заказная разработка тут проиграет по деньгам с любым исполнителем.

Когда своя разработка дешевле

Обратный список, тоже из четырех пунктов.

  • Процесс нетиповой и живет в вашей учетной системе. Конфигурация с историей доработок — это то, подо что готовых коннекторов не существует ни у кого.
  • Нужна запись в ваши системы, помимо ответов. Право на действие требует контура защиты, который в платформах либо отсутствует, либо настраивается под их модель процессов.
  • Данные не могут покинуть периметр по требованию регулятора или службы безопасности. Здесь пятый и шестой варианты из первой таблицы — единственные подходящие, и их цена входа считается отдельно.
  • Вам важно, что остается через год. Права на код и интеграционный слой у вас — это позиция в переговорах о цене продления, которой нет при подписке.

Для ориентира по деньгам: собственная разработка агента начинается от 250 000 ₽ за один сценарий на системах с готовым API и доходит до 2 500 000 ₽ за промышленный контур с несколькими процессами и локальными моделями. Полная разбивка сметы по статьям — в отдельном разборе. Сравнивать эти числа с подпиской надо на горизонте трех лет и с учетом строк из таблицы «цена входа», иначе сравнение получится не в пользу истины.

Про железо, если выбрали свой контур

Один вопрос, который стоит закрыть до закупки: сколько шагов должен делать ваш агент. От этого зависит требуемый объем видеопамяти, и зависимость там неочевидная — карта в разы дороже нередко дает то же число шагов. Арифметика разобрана в статье про то, сколько шагов держит модель в закрытом контуре. Считать это надо до разговора с поставщиком железа.

Вопросы и ответы

Что значит on-prem простыми словами?

Буквально — программное обеспечение работает на вашем оборудовании, в вашей инфраструктуре. На практике слово покрывает шесть разных схем, от размещения в чужом дата-центре на территории России до полностью изолированного контура без выхода в интернет. Определить, какая именно схема вам предлагается, можно одним вопросом: где выполняется инференс.

Как проверить, что данные не уходят наружу?

Развернуть систему на тестовом контуре и полностью закрыть исходящий трафик. Что перестанет работать — то и уходило. Если полностью закрыть нельзя, снять трафик и разобрать адреса назначения. Провайдер модели — самый очевидный из них; телеметрия, обновления и логи ошибок интереснее.

Дают ли российские платформы установку в свой контур?

Многие дают, и проверять это стоит по конкретному предложению. Общее представление о рынке здесь подводит регулярно. Значимая часть разговора — цена входа: требования к кластеру, число видеокарт, наличие человека на эксплуатацию, минимальный размер контракта и объем бесплатного теста именно для контурной поставки.

Что дешевле — платформа или своя разработка?

На типовом процессе с нечувствительными данными и коротким сроком — платформа, и мы говорим это клиентам прямо. На нетиповом процессе внутри учетной системы, с записью данных и требованием периметра — собственная разработка, от 250 000 ₽ за один сценарий. Сравнение корректно только на горизонте трех лет и с учетом стоимости входа в контур.

Что остается у нас, если мы уйдем от поставщика?

Зависит от формата хранения того, что накопилось: базы знаний, сценариев, истории и интеграций. Главное решение принимается на старте — интеграционный слой с вашими системами должен жить отдельно от платформы. Это самая дорогая часть проекта, и она единственная, которую обидно потерять при смене поставщика.

Что дальше

Если вы сейчас выбираете между платформой и разработкой — начните с трех проверок и семи вопросов выше. Они бесплатные и отвечают на большую часть сомнений до того, как в разговоре появятся цифры.

Если по результатам выяснилось, что процесс нетиповой и данные не могут покинуть периметр — опишите задачу, и мы посчитаем оба варианта честно, включая тот, в котором вам выгоднее взять готовую платформу. Состав работ и ступени — на странице Разработка ИИ-агентов. Если задача сводится к поиску по внутренним документам без действий в системах, смотрите LLM и поиск по документам в контуре.

  • #on-prem
  • #выбор решения
  • #ИИ-агенты
  • #информационная безопасность
  • #платформы
ПоделитьсяTelegramX
рассылка

Новые статьи — на почту

Лонгриды про ML в проде, edge и компьютерное зрение — сразу после выхода.

Канал в Telegram: morana.log

Без спама. Нажимая «Подписаться», соглашаетесь с обработкой персональных данных

бесплатный pdf-гайд

Edge AI или облако: когда тащить нейросеть на железо

Признаки, фреймворк выбора и прикидка экономии — короткий PDF-гайд на почту.

PDF · 5 страниц · без спама. Нажимая «Получить», соглашаетесь с обработкой персональных данных

Читать дальше
— заявка

Опишите задачу  ответим как инженеры. 

Оставьте имя и Telegram — остальное обсудим. Без брифов на 40 слайдов и звонков по три раза.

Отвечаем за пару часовотвечает инженер, а не отдел продажNDA по запросу

Сюда напишем — это быстрее всего

Или сразу написать в Telegram

Без спама и звонков-роботов. Нажимая кнопку, вы соглашаетесь с политикой конфиденциальности и обработкой персональных данных.