95% ML-пилотов заканчиваются красивой презентацией и похоронами бюджета. Это эмпирический факт из практики. Если на пресейле вам с ходу обещают фикс-прайс на разработку нейросети и гарантируют точность 99% — перед вами либо мошенники, либо новички, которые планируют перепродать вам обертку над публичным API.
К нам регулярно приходят спасать проекты, и я вижу одну и ту же картину: бизнес пытается понять, как выбрать подрядчика по ИИ и не застрять в вечном пилоте, но раз за разом покупает карго-культ вместо инженерии.
Агентство презентаций против хардкорного прода
Рынок поделен на два лагеря. Первые — ИИ-агентства, продающие демо. Их цель — быстро накидать скрипт в Jupyter Notebook, переобучить модель на вашем вылизанном тестовом датасете, показать красивый график F1-score, забрать деньги за успешный пилот и исчезнуть. Когда вы попытаетесь натравить этот код на реальный поток данных с производственных камер или датчиков, сервер ляжет по памяти, а latency улетит в космос.
Второй лагерь — инженерия. Наш подход в Morana Labs заключается в том, что мы не пишем ни строчки кода, пока не узнаем спецификацию железа и профиль нагрузки. Модель должна работать на краевых устройствах (edge) заказчика? На контроллере станка? В закрытом контуре без интернета? Именно это определяет архитектуру, а не модные статьи на ArXiv.
Кстати, иногда вам действительно нужен просто прототип из палок и изоленты, чтобы защитить бюджет перед советом директоров. Если задача в этом — берите студентов. Но если решение пойдет в промышленную эксплуатацию, правила игры радикально меняются.
Главная ловушка на старте — фикс-прайс на этап R&D. Машинное обучение — это вероятностная дисциплина, где невозможно заранее предсказать, какая архитектура вытянет нужную метрику. Если подрядчик подписался на жесткий фикс, он финансово мотивирован минимизировать свои усилия. Он возьмет первую попавшуюся предобученную модель из open-source, забьет костылями граничные условия и сдаст вам хрупкий код. Time & Material с жестким таймбоксом на проверку гипотез — единственный честный формат.
Отдельная боль — юридическая чистота. Часто вендоры заявляют, что алгоритм является их интеллектуальной собственностью, а клиенту предоставляется доступ. Для enterprise это приговор. Вы отдаете свои данные, бесплатно обогащаете чужую модель и садитесь на иглу вендор-лока. Веса модели, скрипты инференса и пайплайны разметки должны передаваться вам.
# Так выглядят инженерные метрики приемки в контракте. Никакой абстрактной точности.
acceptance_criteria:
model_version: "v2.1.0-edge"
target_metrics:
precision_macro: ">= 0.94"
recall_macro: ">= 0.90"
throughput_rps: ">= 120"
latency_p99_ms: "<= 45"
hardware_target: "NVIDIA Jetson AGX Orin"
data_ownership: "client_premise_only"
artifacts_transfer:
- training_pipeline
- tensorrt_engine
- weights_fp16Чек-лист: 12 маркеров адекватного пресейла
Чтобы пилот превратился в прод, оценивайте подрядчика по конкретным артефактам. Если исполнитель плывет хотя бы по трем пунктам из списка — готовьтесь к бесконечному циклу доработок.
- В договоре зафиксирован не только процесс R&D, но и целевые бизнес-метрики (скорость обработки, снижение процента брака).
- Есть жесткий план миграции из тепличных условий (sandbox) на целевое железо.
- Команда запрашивает ограничения вашей инфраструктуры до старта исследований, а не постфактум.
- Исполнитель отказывается от фикс-прайса на фазу R&D в пользу коротких спринтов T&M с метриками отсечения.
- Интеллектуальные права на исходный код, скрипты обучения и веса модели безусловно переходят к вам.
- В итоговых артефактах прописан CI/CD pipeline для автоматического переобучения (CT — continuous training).
- На берегу согласовано, кто, где и как размечает данные для тренировки.
- Утвержден формат передачи метрик инференса: p99 latency, throughput, пиковое потребление RAM/VRAM.
- Финальное тестирование проводится на отложенной (hold-out) выборке, к которой у инженеров не было доступа на этапе обучения.
- Архитектура обоснована прагматично: вам доказали, почему здесь нужен тяжелый трансформер, а не классический Random Forest.
- В архитектуру заложен план по мониторингу data drift (деградации качества данных в проде).
- В контракте прописан SLA на поддержку и дообучение модели после деплоя.
Пилот ради пилота — это сожженные деньги. ИИ приносит прибыль только тогда, когда он интегрирован в процессы и крутится на реальном железе с понятным мониторингом. Требуйте инженерию, а не магию.