Диалог повторяется из компании в компанию. Продавец обещает «оптимизацию бизнес-процессов с помощью ИИ», директор спрашивает: «что конкретно изменится в цифрах?» — и получает проценты из чужих презентаций, которые не проверить и не повторить. Между тем правильный ответ существует, просто он устроен иначе: это список метрик вашего процесса, методика их замера и обязательство показать сдвиг на ваших данных, записанное в договор пилота.
Эта статья — тот самый ответ в развернутом виде. Пять групп цифр, которые языковая модель реально двигает в процессе; как построить замер, которому можно верить; и ловушки, из-за которых красивые отчеты о внедрении расходятся с ощущениями людей на местах. Проценты обещать не будем ни разу — вместо них будет понятно, какие проценты требовать с любого подрядчика, включая нас.
Пять групп цифр
Когда в процесс встает модель — читает письма, разбирает документы, готовит черновики, — сдвигаются пять групп показателей, и у каждой свой получатель выгоды.
| Группа | Метрики | Кому это деньги |
|---|---|---|
| Часы | Человеко-часы на процесс в месяц | Финдиректору: прямая экономия ФОТ-часов |
| Время цикла | От входа до результата, медиана и хвост | Продажам и клиентам: скорость реакции |
| Пропускная способность | Штук в день без роста штата | Операциям: пики и рост без найма |
| Качество входа | Доля возвратов и переделок | Всем по цепочке: меньше повторной работы |
| Наблюдаемость | Полнота журнала: видно каждый шаг | Руководителю: процесс впервые измерим |
Разберем каждую группу: что именно меряется, за счет чего двигается и как выглядит честная цифра. Оговорка на входе: все это работает для процессов с вариативным входом — письмами, сканами, свободным текстом. Задачи с жестким входом закрываются обычным кодом, и метрики у них другие; где проходит граница — в статье про выбор между ИИ и скриптом.
Часы: самая известная группа — и самая переоцененная
Человеко-часы на рутину считаются проще всего: штуки в месяц, умноженные на минуты за штуку и на ставку. По ним же считается окупаемость — пороги, с которых пилот возвращается за квартал, мы разобрали в статье про семь процессов с окупаемостью за квартал, повторяться не будем.
Здесь важнее предупреждение: часы — метрика медленная и грязная. Освободившиеся полтора часа в день не появляются в отчетности отдельной строкой — они растворяются в другой работе, и через квартал доказать экономию можно только через штуки и минуты, замеренные до старта. Компании без базлайна спорят о часах бесконечно. Компании с базлайном не спорят вовсе: количество обработанного видно в журнале, норма времени замерена, арифметика сходится или нет.
И заранее решите, куда пойдут освобожденные часы, — иначе они растворятся без следа и без благодарности. Вариантов два, и оба законные: сокращение ставок, о котором честно объявляют, или перенос людей на работу, до которой годами не доходили руки, — разбор дебиторки, спорные документы, работа с поставщиками. Второй вариант в наших проектах встречается чаще и дает больше, но у него есть условие: новую работу надо назначить до запуска, письменно. Часы, которым не назначили применения, через квартал числятся несуществовавшими.
Время цикла: где деньги быстрее, чем в часах
Время цикла — это сколько живет заявка от входа до результата: письмо до ответа, счет до черновика в учете, запрос КП до отправленного документа. У ручных процессов эта величина складывается из ожиданий: письмо лежит до обеда, документ ждет, пока освободится человек, уточнение уезжает на завтра. Работа занимает минуты, ожидания — дни.
Проследите один запрос коммерческого предложения. Письмо пришло в 10:07; менеджер увидел его после встречи, в 12:40; выяснил, что в заявке нет объема поставки, написал уточнение в 15:20; ответ пришел назавтра к обеду; само КП собиралось сорок минут между двумя звонками. Итог — два рабочих дня, из которых работы было чуть больше часа. С моделью тот же маршрут выглядит иначе: уточнение про объем уходит через минуту после письма, черновик КП ждет менеджера к моменту, когда он освободился.
Модель убирает ожидания: разбор входа происходит в момент поступления, круглосуточно и без очереди. Поэтому время цикла — первая метрика, которая двигается кратно, в разы и десятки раз, и происходит это в первую неделю пилота. Деньги здесь у каждого свои: в продажах побеждает тот, чье предложение пришло, пока клиент еще сравнивает; в закрытии месяца сутки цикла первички — это сутки опоздания всей отчетности; в поддержке время первого ответа прямо связано с оттоком.
Мерить время цикла правильно двумя числами: медианой и 95-м перцентилем. Медиана показывает типичный случай, перцентиль — хвост, те самые заявки, которые «висят неделями» и портят репутацию процесса. Средним арифметическим не пользуйтесь: одна забытая заявка на месяц делает среднее бессмысленным, а хвост именно из таких заявок и состоит.
Пропускная способность: пики без аврала и найма
У ручного процесса потолок жесткий: люди, умноженные на часы. Сезонный пик, маркетинговая акция, выход на маркетплейс — и очередь растет, сроки плывут, отдел работает вечерами, качество падает именно тогда, когда ошибки заметнее всего.
У процесса с моделью потолок другой: спорные случаи, которые уходят человеку. Типовой поток модель переваривает с любым разумным ростом — двукратный пик означает двукратный счет за инференс, и только. Честные метрики группы: штук в день на пике против обычного дня, глубина очереди, доля просроченных в пик. И отдельная строка для финансового директора: стоимость обработки одной штуки на пике — у людей она в пик растет за счет переработок, у модели остается прежней.
Арифметика пика на пальцах. Отдел разбирает 40 заявок в день, сезон приносит 90. Ручной ответ — плюс два человека: месяц на поиск, две недели на обучение, и к моменту, когда новички вышли на норму, сезон закончился — а расстаться с людьми сложнее, чем нанять. Ответ с моделью — тот же штат: типовой поток вырос вдвое и переварился молча, у людей выросла только очередь спорных случаев, и именно ее глубину вы отслеживаете в пик как единственный настоящий лимит. Способность пережить сезон без найма — цифра, которую стоит считать до сезона, по прошлогоднему календарю.
Качество входа: возвраты и переделки
Каждый возврат — это работа, сделанная дважды, плюс разбирательство, чья ошибка. Доля возвратов в ручных процессах держится на том, что человек в потоке не проверяет каждое поле: глаз замылен, срок горит. Модель на входе проверяет каждое: обязательные поля, соответствие справочникам, арифметику сумм, похожесть на дубль. Кривой вход разворачивается на отправителя сразу, пока контекст жив, вместо третьего круга через неделю.
Метрика — доля возвратов по причинам: сколько разворотов из-за неполных данных, сколько из-за несоответствия справочнику, сколько из-за арифметики. Смежная метрика приемки — доля входа, прошедшего до результата без ручного вмешательства: универсальный показатель для любого потока, от первички до заявок. По ней же удобно принимать пилот: значение фиксируется в договоре, считается по журналу, не допускает интонаций.
Наблюдаемость: цифры, которых раньше не было вовсе
Побочный продукт внедрения, который на горизонте года оказывается ценнее прямой экономии. У ручного процесса нет данных о самом себе: сколько пришло, где застряло, почему ушло не туда — все это живет в памяти сотрудников и восстанавливается опросом. У процесса с моделью каждый шаг пишется в журнал: что пришло, как разобрано, куда передано, кто подтвердил.
Из журнала впервые видно устройство собственной работы: какие типы обращений составляют поток, какая доля входа кривая и от каких контрагентов, где узкое место на стороне людей. Следующее решение об автоматизации принимается уже по этим данным, без полевого обследования. Процесс, который измерен, можно улучшать; процесс, который живет в ощущениях, можно только обсуждать.
Шестая группа, которую мы не обещаем: выручка
В презентациях встречается и шестая группа: рост конверсии, продаж и выручки. Связь существует — предложение, пришедшее первым, чаще выигрывает; клиент, которому ответили за минуты, реже уходит молча. Но между временем цикла и выручкой стоят ваш продукт, ваши цены и ваши продавцы, и приписывать модели их работу так же нечестно, как валить на нее их провалы.
Поэтому граница ответственности в наших проектах проходит по метрикам процесса: цикл, качество, пропускная способность — это к нам, и это мы записываем в договор. Конверсию из ускоренного цикла извлекает отдел продаж, и лавры за нее — тоже ему. Подрядчик, который обещает вам рост выручки от внедрения модели, обещает чужое.
Как мерить, чтобы себе верить
Методика честного замера умещается в четыре правила.
- Базлайн до старта. Неделя-две подсчета штук и минут до любого внедрения. Цифра «до», снятая после запуска по памяти, — это уже интонация, ей цена ноль.
- Одинаковые условия. Сравнивайте сентябрь с сентябрем прошлого года, если у процесса есть сезон; пик с пиком, будни с буднями. Сдвиг, полученный сравнением декабря с январем, рассказывает о календаре.
- Поправка на новизну. Первые две недели после запуска все стараются: люди аккуратнее, вход чище, цифры лучше. Решения принимайте по четвертой-шестой неделе, когда процесс задышал обычной жизнью.
- Пара метрик вместо одной. Любую метрику скорости уравновешивайте метрикой качества: время цикла плюс доля возвратов, пропускная способность плюс доля спорных. Одинокая метрика скорости улучшается очень просто — перестаньте проверять.
- Теневой прогон для чистого сравнения. Самый убедительный эксперимент не требует статистики: пустите модель рядом с людьми на одном и том же живом потоке — она разбирает, люди работают как раньше, результаты сравниваются построчно. Неделя такого режима дает сравнение на идентичных данных и заодно показывает, где модель ошибается, до того как ей доверили руль.
Ловушки, в которых тонут отчеты
- Точность модели вместо метрики процесса. «Модель распознает 95% полей» — цифра из лаборатории, деньги в ней не живут. Процесс меряется своими величинами: часы, цикл, возвраты, доля без ручного вмешательства. Как устроена проверка качества самой модели и почему это отдельная дисциплина — в разборе eval как дисциплины.
- Среднее вместо распределения. Среднее время цикла падает, а клиенты продолжают жаловаться — потому что хвост из зависших заявок никуда не делся. Смотрите медиану и 95-й перцентиль отдельно.
- Экономия, посчитанная от ставки, которой нет. Часы умножаются на полную стоимость часа сотрудника, а не на его оклад и не на выручку компании на человека. Завышенная ставка делает красивым любой проект — до первой проверки финансистом.
- Сдвиг в пределах шума. Метрика, гуляющая от месяца к месяцу на десятки процентов сама по себе, не может подтвердить эффект в пять процентов. Решения принимаются на кратных сдвигах целевой метрики; все остальное — повод продолжить замер, но никак не повод для пресс-релиза.
- Сравнение с идеалом вместо сравнения с реальностью. Модель ошиблась в трех документах из ста, и отчет заключает: «хуже человека». Только человека никто в потоке не мерил — а мерили бы, увидели бы свои пять-семь ошибок на сотню в конце смены. Эталон для сравнения — живой сотрудник в реальном потоке с реальной усталостью, и честный замер включает обе стороны.
Какие сдвиги где искать: шпаргалка по процессам
| Процесс | Целевая метрика | Парная метрика |
|---|---|---|
| Первичка в учет | Доля документов без ручного ввода | Доля ошибок, найденных при проверке |
| Общий ящик | Время до передачи ответственному | Доля писем, переброшенных повторно |
| Черновики ответов | Время первого ответа | Доля черновиков, переписанных человеком |
| Типовые документы | Время от заявки до готового документа | Доля возвратов на переделку |
| Сверки | Часы на закрытие сверки | Найденные расхождения в деньгах |
| Номенклатура | Строк сопоставлено в час | Доля пар, отклоненных при проверке |
| Договоры на риски | Время юриста на договор | Пропущенные отклонения от типовой формы |
Пара «целевая плюс парная» — готовые критерии приемки пилота: целевая обязана сдвинуться кратно, парная обязана не ухудшиться. В таком виде их и стоит записывать в договор — с любым подрядчиком. Подрядчик, который отказывается фиксировать пару метрик числом, сообщает вам этим отказом больше, чем всей презентацией: проверяемых обязательств не будет.
Что с этим делать
Если процесс уже выбран — пилот ИИ-автоматизации от 320 000 ₽ за 4–6 недель устроен ровно вокруг описанного замера: базлайн на старте, метрики в договоре, цифры «до и после» на выходе, включая случаи, где модель промахнулась. Если процессов несколько и по ним нет даже базовых цифр — ИИ-аудит процессов от 190 000 ₽ снимает их за две недели по журналам систем. Прикинуть бюджет можно в калькуляторе.
А бесплатная часть доступна уже в понедельник: выберите один процесс, неделю посчитайте штуки, минуты и возвраты, снимите медиану и хвост времени цикла. Даже если автоматизация после этого не случится, у вас впервые появятся цифры собственного процесса — и разговор о любой оптимизации перестанет быть спором интонаций.