Полтора года назад один крупный ритейлер сжег тридцать миллионов рублей на ИИ-предсказание спроса. Проект стартовали с помпой. Модель выкатили сразу в двести тестовых магазинов, она нагенерила заказов на склады, забив их скоропортом под крышу. А через три недели выяснилось, что в обучающей выборке тупо не было истории промо-акций. Этот кусок базы обновлялся раз в квартал и выгружался ручным скриптом, про который дата-инженеры забыли. Пилот убили вместе с бюджетом. Команда пошла искать новую работу. Конец истории.
В Morana Labs мы ежедневно катим индастриал-ИИ, reinforcement learning и тяжелый computer vision на edge-железо клиента в наглухо закрытых контурах. Никакого облака, данные не покидают периметр завода или банка. Я видел сотни мертвых инициатив. И ломаются они не на C++ инференсе или нехватке VRAM. Они дохнут из-за галлюцинаций менеджмента на старте.
Главный миф индустрии: пилот — это такой красивый MVP в проде, только маленький.
Бред.
Пилот — это не продукт. Это покупка информации в условиях экстремальной неопределенности. У вас есть гипотеза, и вы платите фиксированную сумму, чтобы узнать, не чушь ли она. Если вы пытаетесь впихнуть в пилот интеграцию с легаси ERP, обвязку микросервисами и красивый дашборд для гендиректора — вы не делаете пилот. Вы строите звездолет из палок. И он рухнет при первой нагрузке.
Структура пилота AI-проекта, который доходит до контракта: рамки, метрики успеха и стоп-критерии
Правильный пилот — это хирургический инструмент. Вы берете одну узкую задачу. Одну. Не «сквозную оптимизацию всей логистики», а «прогноз оттока клиентов на узле биллинга X». Ставите жесткий таймбокс. Шесть, максимум десять недель.
Больше — это распил бюджета и бесконечный R&D-туризм. Меньше — симуляция бурной деятельности, где вам впарят предрассчитанные на коленке CSV-файлы.
Трейд-офф здесь честный и жестокий. Узкий пилот не докажет вам масштабируемость системы на весь холдинг. Вы не увидите, как ляжет сеть, когда к ней подключат десять тысяч потоков. Но широкий пилот сожрет бюджет до того, как вы поймете, есть ли вообще сигнал в данных. Мы всегда выбираем узкий фокус для проверки математики и ядра ML-решения.
Кстати, сейлзы любят продавать масштаб с первого дня. «Мы сейчас как внедрим нейросети везде, и всё станет умным!» Отрывайте таким сейлзам руки. Я серьезно. Возвращаемся к технике.
Метрики успеха фиксируются строго до старта. Не в процессе, когда модель уже обучена и вы пытаетесь натянуть сову на глобус, а до того, как написана первая строчка кода. Сначала вы измеряете текущий бизнес-процесс. Это ваш baseline. Вам говорят: оператор ошибается в 5% случаев. Вы ставите камеры, сажаете разметчиков и выясняете, что реальный брак оператора — 15%. Люди врут, логи теряются. Измерение честного бейзлайна съедает до трети времени пилота. Но без него вы будете доказывать эффективность модели воздуху.
Затем вы задаете порог — метрику, при которой алгоритм начинает приносить реальные деньги с учетом стоимости железа, разметки, серверов и поддержки. Если baseline точности оператора 70%, а экономика решения сходится при 75% — вы бьетесь ровно за эти 5%. Сделали 76% — победа. Сделали 74% — проект не рентабелен. Все прозрачно.
Дальше идут стоп-критерии. Это то, о чем большинство интеграторов молчит, боясь спугнуть клиента и потерять оплаченные часы. В моем мире стоп-критерий — это предохранитель. Если мы заходим на завод и видим, что исторической разметки нет, датчики врут, а в логах контроллера лежит мусор вместо телеметрии — мы останавливаем проект на второй неделе.
Честно сказать «данных нет, сигнал отсутствует, эффект ниже порога» — это инженерия. Уметь признать поражение гипотезы и не сжигать деньги клиента — это профессионализм. Тянуть резину до десятой недели, жонглируя random seeds, чтобы выбить красивый f1-score на переобученной модели и сдать акт — это мошенничество. Умейте убивать проекты на старте.
Что входит в результат пилота? Миф номер два: в конце должен быть дашборд. Заказчики обожают интерактивные графики. Никаких демо ради демо. Результат пилота — это веса обученной модели. Это воспроизводимый код экспериментов. Это отчет о том, какие архитектуры сработали, а какие провалились. И самое главное — это оценка экономики масштабирования.
Пилот обязан ответить на жесткие вопросы. Можно ли квантовать модель до INT8 без потери качества? Какой батч-сайз оптимален для latency? Вам нужно знать, сколько будет стоить инференс этой модели на тысяче видеокамер, если сейчас он еле ползает на одной RTX 4090. Если пилот показал классную точность, но для продакшена потребуется закупить серверов на сто миллионов — это провальный пилот, потому что ROI будет отрицательным.
Теперь про контракт. Никогда не продавайте и не покупайте пилот как нечто отдельное в вакууме. Если вы делаете пилот просто «чтобы посмотреть», он так и останется лежать в репозитории мертвым грузом.
В договоре пилот прописывается как первый этап большого внедрения с жестким опционом. Механика простая. Достигли порога ML-метрики на hold-out выборке? Автоматически, без дополнительных согласований десятка комитетов, запускается проектирование продакшена. Не достигли? Пожали руки и разбежались. Пилот должен иметь железобетонный юридический линк к масштабированию.
Чтобы эта схема работала, мы собираем на старте жесткий документ. Никаких абстрактных формулировок. Вот шаблон паспорта пилота, который отсекает 90% хайпа и булшита:
- Формализованная гипотеза: Модель X побьет baseline Y на Z процентов на конкретном узком бизнес-процессе. Никаких «повысит общую эффективность компании».
- Связка бизнес-метрики и ML-метрики: Жесткая формула, показывающая, как десятые доли ROC AUC или снижение MAE конвертируются в сэкономленные рубли.
- Аудит и доступ к данным: Задокументированная схема таблиц, права доступа, объем исторической выборки на день ноль. Если данных по факту нет в доступе — старт таймбокса блокируется.
- Критерий досрочной остановки: Отсутствие сигнала в данных (модель предсказывает не лучше константы) через 3 недели активных экспериментов. Проект закрывается.
- Критерий перехода в production: ML-метрика стабильно держится выше согласованного порога на отложенной выборке, а экономика масштабирования (стоимость инференса на поток) строго положительна.
Если у вас нет такого паспорта, подписанного обеими сторонами до старта, вы занимаетесь чем угодно, только не индастриал-разработкой.
А когда пилот честно признан успешным, начинается настоящая боль. Развертывание. MLOps. Production ML.
Потому что засунуть питоновский скрипт в докер-контейнер для проверки гипотезы — это одно. А обеспечить мониторинг дрифта данных, версионирование моделей, A/B тестирование и отказоустойчивый инференс на заводе, где экскаватор регулярно перерубает оптику до серверной — совершенно другое. Это другая дисциплина, которая требует других навыков и бюджетов. Пилот лишь дает вам право вступить в эту игру.