Стоимость ошибки: precision и recall в рублях 

Первый созвон по любой задаче машинного зрения устроен одинаково. Через пять-семь минут после описания процесса звучит вопрос про точность, и он ожидает ответа одним числом с двумя знаками после запятой. Инженер, который это число называет, закрывает разговор и открывает будущий конфликт: через квартал выяснится, что названная цифра к работе системы отношения не имеет.

Разбор того, почему так происходит, занимает всю эту работу, но короткая версия формулируется сразу. Слово «точность» обозначает не меньше пяти разных величин: долю верных срабатываний, долю найденных объектов, долю верных ответов вообще, усредненную по порогам площадь под кривой и качество рамки. Величины считаются по разным знаменателям, ведут себя по-разному при изменении состава потока и переводятся в деньги по разным правилам. Из них ровно одна переносится с тестового набора на объект напрямую, и это не та, которую называют в презентациях.

Заказчику при этом нужно не число, а решение. Решения бывают такие: ставить систему или не ставить, сколько человек оставить на посту контроля, что делать со срабатыванием ночью, при каком уровне сигнала останавливать линию. Все они выражаются в рублях за смену. Метрика становится осмысленной ровно в тот момент, когда к ней приложена цена ошибки, и не раньше.

Аппарат в работе старый. Байесовское решающее правило описано в любом учебнике по теории решений ^{[6, 7]}, формула оптимального порога через отношение цен опубликована в 2001 году ^[9], геометрия рабочих точек на ROC-плоскости разобрана тогда же ^{[11, 14]}, а правило о сплошном контроле, которое ровно про это, напечатано Демингом в 1986-м ^[67]. Новизна тут в другом: аппарат почти никогда не доезжает до инженера, который выставляет порог в конфиге детектора, и до коммерсанта, который пишет метрику в договор.

Порог уверенности — это не гиперпараметр модели. Это цена, которую владелец процесса назначил своей ошибке, записанная в неудобных единицах.

тезис работы

Бинарное решение дает четыре исхода: верное срабатывание, ложное срабатывание, пропуск и верное молчание. В машинном обучении их считают штуками. В цехе за каждый из них платят, и платят разные люди из разных бюджетов.

Первое, что надо зафиксировать: цены считаются приращением к идеальному решению, а не абсолютной суммой. Бракованная отливка стоит денег сама по себе — металл, формовка, энергия — но эти деньги потеряны в момент заливки, до всякого контроля. Задача системы — не допустить, чтобы к ним добавились новые. Поэтому в цену пропуска входит только то, что тратится после точки контроля: механическая обработка бракованной заготовки, упаковка, доставка, разбор возврата, замена по гарантии. Стоимость самой отливки в матрицу не входит: она одинакова для всех четырех клеток.

TP · верное срабатывание

Дефект найден. Платим за подтверждение человеком: деталь снимается с потока, контролер смотрит. В режиме без подтверждения эта клетка бесплатна.

FP · ложная тревога

Годное названо браком. Платим то же подтверждение плюс, если подтверждения нет, стоимость выброшенной годной детали и сбой такта. Главная статья — время человека, и именно она ограничена сверху.

FN · пропуск

Брак ушел дальше. Платим всю добавленную стоимость последующих переделов, логистику, рекламацию и репутацию. Обычно на два-три порядка дороже ложной тревоги.

TN · верное молчание

Годное пропущено. Стоит ноль. Единственная клетка, которую можно не считать, и по этой причине же — самая опасная в презентациях: доля верных ответов на несбалансированном потоке состоит почти целиком из нее.

Второе: плательщики разные. Ложную тревогу оплачивает мастер участка из фонда рабочего времени, пропуск — коммерческая служба из бюджета рекламаций, а травму по непойманному нарушению — предприятие целиком через штраф и приостановку. Практическое следствие: цифры для матрицы нельзя взять у одного человека. Мастер занизит пропуск, потому что за возвраты отвечает не он, а коммерсант занизит ложную тревогу, потому что не он ходит на пост. Протокол сбора цен разбирается в главе 30.

Обе метрики считаются из тех же четырех клеток, но нормируются по-разному, и разница знаменателей определяет все их дальнейшее поведение.

Recall от состава потока не зависит. Если модель находит 89 дронов из 100, она будет находить 89 из 100 и там, где дроны попадаются раз в сутки, — при условии, что сами дроны выглядят так же, как в тесте. Это свойство делает recall единственной метрикой, которую можно перенести с отложенного набора на объект без пересчета.

Precision от состава потока зависит целиком. Она связана с базовой ставкой через формулу Байеса, и связь эта жесткая.

Отдельная тонкость касается тестовых наборов, собранных сбалансированно. Балансировка удобна для обучения и вредна для сметы: она задает базовую ставку искусственно, и все выведенные из нее деньги оказываются числами про несуществующий процесс. Тестовый набор для экономического расчета должен повторять состав потока, включая долю пустых кадров, ночных смен и грязного объектива.

F1 — гармоническое среднее precision и recall ^[20]. Мера удобная для сравнения моделей между собой и негодная для экономического расчета, причем по причине, которая формулируется точно.

Оптимизируя F1, мы неявно выбираем некоторое отношение цены пропуска к цене ложной тревоги. Беда в том, что это отношение не задано нами и не постоянно: оно зависит от того, в какой точке кривой оказалась конкретная модель, и меняется при переходе от одной модели к другой. Разбор этого эффекта для задач связывания записей опубликован Хэндом и Кристеном ^[19]: сравнение двух систем по F1 равносильно сравнению по двум разным функциям убытка. Для инженера это значит, что модель, выигравшая по F1, может проиграть по деньгам, и наоборот.

С площадью под кривой ситуация та же и разобрана она подробнее ^{[17, 18]}. AUC усредняет качество по всем порогам с весом, который зависит от самой модели; иначе говоря, две модели сравниваются по разным распределениям цен. В эксплуатации порог будет ровно один, и качество модели во всех остальных точках кривой заказчика не касается.

mAP добавляет к этому усреднение по порогам совпадения рамки. В варианте COCO это среднее по десяти уровням IoU от 0,50 до 0,95 ^[59], в варианте VOC — по одному уровню 0,50 ^[58]. Величина хорошо ранжирует архитектуры и плохо отвечает на вопрос, попадет ли рамка достаточно точно, чтобы манипулятор снял деталь. Для сметы нужна не средняя точность рамки, а доля случаев, когда рамка годится для того действия, которое за ней последует.

Модель отвечает на кадрах. Деньги считаются на деталях, событиях и сменах. Переход между этими единицами — место, где расчеты ломаются чаще всего, и ломаются молча, потому что арифметика при этом остается верной.

Простейший пример. Детектор при пороге 0,5 дает FPR 0,0025 — четверть процента ложных срабатываний, звучит прилично. Камера отдает 25 кадров в секунду. Ложных срабатываний в час: 0,0025 × 25 × 3600 = 225. Двести двадцать пять тревог в час с одной камеры, при том что метрика выглядела хорошо. Умножение на частоту кадров превращает безобидную долю в поток, который не выдержит ни один оператор.

• Кадр. Единица работы модели. Метрики детектора считаются здесь, деньги — почти никогда.
• Объект в кадре. То, что размечено рамкой. На кадре их бывает несколько, и одна ошибка на кадр не равна одной ошибке на объект.
• Деталь. Единица работы цеха. Одна деталь снимается несколькими кадрами с нескольких ракурсов, и решение по ней принимается один раз.
• Трек. Один объект, прослеженный через несколько кадров. Единица, в которой имеет смысл говорить о пропуске: пропущенный кадр внутри трека ничего не стоит, пропущенный трек стоит все.
• Событие. То, на что реагирует человек или система: «на посту 3 человек без каски», «деталь 14 подозрительная». Единственная единица, в которой цена ложной тревоги определена.
• Смена. Горизонт, на котором считается убыток и принимаются решения о людях и оборудовании.

Правило простое и нарушается постоянно: метрика и цена обязаны быть приведены к одной единице до того, как их перемножили. Метрика на кадрах, умноженная на цену события, дает число, у которого нет физического смысла. Переход между единицами делается явно и с потерями: часть кадровых ошибок гасится трекингом, часть объектных — логикой подтверждения, и обе операции меняют и recall, и FPR. Разбору этого перехода посвящена часть V.

Пусть по наблюдению получена вероятность p того, что случай положительный: деталь бракованная, человек без каски, объект в небе — дрон. Решений ровно два: поднять тревогу или промолчать. У каждого есть ожидаемая цена.

Рациональное решение — то, у которого ожидаемая цена меньше. Тревога выгодна, когда выполняется неравенство.

Из неравенства (4) немедленно следует пороговое правило: тревогу надо поднимать тогда и только тогда, когда p превышает величину, зависящую от одних цен.

Стоит отдельно назвать, что здесь принято молча. Решение минимизирует математическое ожидание убытка, то есть предполагает риск-нейтральность владельца процесса ^{[4, 5]}. Для потока в тысячи деталей за смену это разумно: закон больших чисел работает, и средний убыток равен фактическому. Для событий вроде производственной травмы, которые случаются раз в годы и стоят непомерно, риск-нейтральность отказывает, и вместо ожидания надо смотреть на хвост распределения ^{[74, 75]}. Об этом — глава 17.

Подставим в (5) равные цены: c_FN = c_FP, то есть r = 1. Получаем t* = 0,5. Значение 0,5 — не универсальная середина шкалы, а решение частной задачи, в которой пропустить брак стоит ровно столько же, сколько зря дернуть контролера.

Обратим внимание на скорость: при переходе от равных цен к соотношению сто к одному порог падает в пятьдесят раз. Диапазон, в котором живут реальные промышленные задачи, — от десяти до тысячи, то есть пороги от 0,09 до 0,001. Значение 0,5 лежит за пределами этого диапазона целиком.

Отдельного упоминания заслуживает 0,25 — фабричное значение порога уверенности во многих реализациях детекторов. Оно выбрано из соображений внешнего вида картинки с рамками, и как экономическое решение означает соотношение цен ровно три к одному. Порог, попавший в конфиг из примера в документации, назначает цену пропуска, и назначает ее неверно на два порядка.

Разговор о ценах ошибок обычно застревает. Заказчик не знает, сколько стоит пропущенный дефект, считает вопрос неприличным, когда речь о травме, или называет число, которое явно взято с потолка. Спор можно обойти, развернув формулу (5).

Практическая ценность приема в том, что он переводит разговор из области предпочтений в область фактов. Фраза «у нас стоит порог 0,5» после подстановки в (6) звучит как «мы считаем, что пропущенный дефект стоит столько же, сколько две минуты работы контролера». С таким утверждением заказчик спорит немедленно — и в процессе спора называет настоящую цену.

Формула (5) дает порог по вероятности. Детектор выдает число от нуля до единицы, которое называется уверенностью. Совпадение этих двух шкал — предположение, и предположение обычно неверное.

Модель называется калиброванной, если среди объектов, получивших уверенность 0,30, действительно верны примерно 30 %. Свойство проверяется разбиением выборки на корзины по уверенности и сравнением средней уверенности в корзине с фактической долей верных; отклонение сводят в одно число — ожидаемую ошибку калибровки ^[32]. Формальная теория этого разложения старше: она пришла из метеорологии, где точность вероятностного прогноза измеряют с 1950 года ^{[25, 26, 27]}.

Про современные нейросети известно, что они систематически переуверены: распределение отклика прижимается к краям шкалы, и заявленные 0,9 соответствуют фактическим 0,7 ^[32]. Эффект зависит от архитектуры и режима обучения; более поздние работы показывают, что у части современных семейств калибровка лучше, чем считалось ^[34], а фокальная функция потерь ее заметно улучшает ^[33] — что существенно, поскольку в детекторах она применяется широко ^[63]. Отдельная беда детекции: отклик там не вероятность класса, а произведение оценки объектности на оценку класса, прошедшее через подавление немаксимумов. Калибровка такого числа требует отдельной процедуры ^[35].

Простейшая модель нарушенной калибровки — температурная: истинная вероятность проходит через степенное сжатие логита, и на выходе получается число, монотонно связанное с вероятностью, но не равное ей.

Есть и третье обстоятельство, о котором забывают чаще всего. Калибровка выполняется на выборке с какой-то базовой ставкой, и если на объекте она другая, откалиброванная вероятность перестает быть вероятностью. Поправка известна и делается в шкале отношения шансов.

Тот же результат полезно увидеть на плоскости. Отложим по горизонтали FPR, по вертикали recall; каждый порог дает точку, все пороги вместе — ROC-кривую ^{[13, 24]}. Убыток за смену линеен по обеим координатам, значит линии равного убытка на этой плоскости прямые.

Геометрия объясняет, почему выбор между двумя моделями бессмыслен без цен. Две кривые, пересекающиеся между собой, ранжируются по-разному при разных наклонах изокосты: одна модель выигрывает в режиме высокого recall, вторая — в режиме низких ложных тревог. Именно этот эффект стоит за критикой площади под кривой как единой меры качества ^{[17, 18]}.

У лаборатории есть измеренная пара точек, на которой это видно предметно. Детектор БПЛА в поставке Falcon Eye снят на двух разрешениях входа: 640×640 дает precision 0,961 и recall 0,889, вход 960×960 — precision 0,947 и recall 0,894. Вход побольше находит больше целей и чаще ошибается. Который из них лучше — вопрос без ответа до тех пор, пока не названы цены.

Чтобы считать деньги при разных порогах, нужна кривая. Снимать ее с реальной модели на каждый пример неудобно, а рисовать от руки нечестно. Работа пользуется равнодисперсной бинормальной моделью — стандартным инструментом теории обнаружения сигналов с 1960-х ^{[43, 44, 45]}.

В этой модели калиброванная уверенность выписывается явно, потому что отношение правдоподобий имеет замкнутый вид. Это удобно: интерактивный стенд и таблицы работы считают одно и то же и не могут разъехаться.

Обратная задача: восстановить d′ из отчета

В отчетах публикуют пару precision и recall. Вопрос: восстанавливается ли из нее кривая? Ответ отрицательный, и это стоит показать числами. Возьмем нашу измеренную пару по детектору БПЛА и посчитаем d′ в предположениях о разном составе тестового набора.

Ложная тревога кажется дешевой: человек посмотрел и вернул деталь на конвейер. Это верно ровно до того момента, пока тревог мало. Разложим цену на составляющие и посмотрим, какая из них растет быстрее остальных.

Первое слагаемое дает порядок величины. Контролер со ставкой 750 ₽ в час тратит на снятие детали с потока, осмотр и возврат около 40 секунд; это 8,33 ₽ за тревогу. Мастер участка со ставкой 900 ₽ в час, отсматривающий двухминутный ролик по сработке камеры, стоит 30 ₽. Оба числа маленькие, и именно поэтому цена ложной тревоги обычно недооценивается: считают одну штуку, а платят за поток.

Второе слагаемое появляется там, где контроль встроен в такт. На линии с тактом 5 секунд разбор в 40 секунд означает, что либо перед постом контроля есть накопитель на восемь деталей, либо линия ждет. Во втором случае цена ложной тревоги перестает быть временем контролера и становится временем линии, а это другой порядок. Разница между этими двумя схемами решается на этапе проектирования поста и стоит одного вопроса на первом созвоне.

Третье слагаемое — про схему без подтверждения. Если система сама сбрасывает деталь в брак, каждая ложная тревога стоит целой детали, и цена подскакивает в сотни раз. Это переводит задачу в совершенно другой экономический режим, где оптимальный порог оказывается высоким. Автоматический сброс без человека оправдан только при очень высокой различимости и очень дешевой детали.

Формула (13) написана так, будто цена ложной тревоги постоянна. Это допущение держится, пока человек успевает. Как только поток тревог подходит к пределу человека, линейность заканчивается, и дальше все зависит от того, какого рода этот предел.

Различать надо два режима, и путать их дорого.

человек-сервер

Разбор тревог — его основная работа. Контролер ОТК за постом, оператор сортировки. Предел жесткий и считается делением: смена, деленная на время одной проверки. За пределом заявки не игнорируются, а встают в очередь, и очередь растет неограниченно. Математика — теория массового обслуживания.

человек-наблюдатель

Тревога прерывает другую работу. Мастер участка, диспетчер, охранник на пульте. Жесткого предела нет: физически человек может посмотреть еще одно уведомление всегда. Вместо предела работает деградация — доля тревог, на которые он реально реагирует, падает по мере роста их числа. Математика — эргономика и теория обнаружения сигналов.

Практическое различие в том, куда двигать порог при перегрузке. У сервера перегрузка означает, что задачу решает не порог, а число людей: правильный ответ — считать теневую цену дополнительного контролера и сравнивать ее с зарплатой. У наблюдателя добавление людей не помогает почти никак, потому что деградация связана не с нехваткой рук, а с обесцениванием сигнала; там правильный ответ — менять контур: агрегировать тревоги, отсекать повторы, переводить часть реакции в автоматическую.

Когда оптимум по порогу упирается в человека, менять надо не порог, а контур.

вывод главы 13

Ошибка, которую этот разбор предотвращает, встречается в проектах постоянно: модель контроля СИЗ настраивают на высокий recall по логике «пропуск дороже», получают четыре сотни уведомлений за смену, и через две недели мастер выключает уведомления. В отчете при этом стоит recall 0,95, а фактический recall системы равен нулю, потому что recall системы — это произведение того, что нашла модель, на то, что отработал человек.

Поток тревог за смену складывается из верных и ложных срабатываний и считается напрямую. Пропускная способность поста считается делением. Условие работоспособности — неравенство между ними.

Задача с ограничением решается перебором и дает другой ответ, чем задача без него. Возьмем разбор из главы 27: поток 5 760 деталей за смену, доля брака 2 %, цена пропуска 1 400 ₽, разбор 40 секунд при ставке 750 ₽ в час, модель с различимостью 2,5. Безусловный оптимум по формуле (5) стоит на 0,006 и требует 1 374 проверок за смену. Один контролер физически делает 720.

Отсюда получается величина, которой в разговоре про метрики нет вовсе, а в разговоре про деньги она главная: теневая цена ограничения. Второй контролер снимает 4 446 ₽ убытка за смену, а стоит 6 000 ₽. Значит, второго брать не надо, и правильная конфигурация — один человек при пороге 0,019, а не два при теоретически оптимальных 0,006.

У человека, для которого тревога — прерывание, нет жесткого предела производительности. У него есть другое: чувствительность к сигналу, которая зависит от доли верных срабатываний. Эффект известен под названием cry-wolf и изучен экспериментально: время реакции растет, а доля отработанных сигналов падает по мере того, как растет доля ложных ^{[48, 49, 50]}.

Литература по этому вопросу обширна и приходит из двух областей. Первая — эргономика систем с оператором, где показано, что человек в контуре сам работает как детектор со своим порогом, и порог этот смещается в зависимости от того, чему он научился ожидать от автоматики ^{[46, 47, 51]}. Вторая — медицинский мониторинг, где нагрузка тревогами измерена в палатах напрямую: доля клинически незначимых сигналов там оказывается подавляющей, и следствием становится притупление реакции персонала ^{[53, 54, 55]}. В промышленности устойчивая нагрузка на оператора нормируется отраслевыми руководствами по управлению тревогами величиной порядка одной тревоги в десять минут ^{[56, 57]}.

Для расчета нужна функциональная форма. Работа берет простейшую убывающую зависимость с одной точкой перегиба.

Подстановка (15) в функцию убытка меняет ее качественно. Убыток от пропусков перестает монотонно падать со снижением порога: чем ниже порог, тем больше тревог, тем меньше доля отработанных, и произведение имеет максимум внутри диапазона. Оптимум уезжает вверх по шкале и становится хуже.

Самое важное в этой таблице — не положение оптимума, а его плоскость и высота. Разница между лучшим и худшим порогом составляет 1 600 ₽ за смену при убытке около 63 000 ₽. Подбором порога тут не выиграть ничего: контур неработоспособен при любом пороге. Тот же расчет без учета усталости дает минимум 10 656 ₽ — вшестеро меньше. Вся разница живет в человеке, а не в модели.

Цена пропуска складывается из трех слоев, у которых разная природа и разная надежность оценки.

• Прямой слой: добавленная стоимость всех операций, выполненных над бракованной заготовкой после точки контроля. Считается по маршрутной карте с точностью до рубля, спорить тут не о чем.
• Вероятностный слой: рекламация, замена, штраф по договору, простой у заказчика. Считается как произведение вероятности на цену; вероятность берется из статистики возвратов, которая у завода обычно есть.
• Хвостовой слой: отзыв партии, потеря контракта, травма, уголовная ответственность. Ожиданием не описывается, потому что распределение имеет тяжелый хвост. Разбирается отдельно в главе 17.

Первые два слоя дают формулу, по которой считаются цены во всех разборах этой работы.

В литературе по управлению качеством рост цены дефекта по мере продвижения описывают эмпирическим правилом кратного удорожания: на порядок при переходе от обнаружения в производстве к обнаружению у потребителя ^{[68, 70]}. Правило это именно эмпирическое, множители в разных источниках разные, и подставлять его вместо расчета по маршрутной карте не следует. Полезно оно в другом: показывает заказчику, почему одна и та же модель на разных постах стоит разных денег.

Отдельный случай: цена пропуска у нарушения

В охране труда прямого слоя нет вовсе: невыявленное нарушение само по себе ничего не стоит. Вся цена — вероятностная, и складывается она из двух каналов. Первый — административный: за необеспечение работников средствами индивидуальной защиты предусмотрен штраф на юридическое лицо в диапазоне от 130 000 до 150 000 ₽ ^[77], и вероятность его получения зависит от частоты проверок, а не от частоты нарушений. Второй — собственно инцидент: произведение вероятности травмы при нарушении на цену травмы.

Вероятность травмы при одном нарушении мала и достоверно не известна никому. Отраслевая традиция подставлять сюда пирамиду происшествий восходит к работе 1931 года, и соотношения в ней с тех пор многократно оспорены как не выдерживающие проверки на современных данных ^[78]. Подставлять эти множители в смету нельзя. Что делать вместо этого — в следующей главе.

Есть класс задач, в которых Y не определяется. Цена человеческой жизни, цена потери лицензии, цена попадания дрона на объект. В экономике для первой из них существует техника оценки через готовность платить за снижение риска ^[73], но переносить ее в переговоры с заводом бессмысленно: разговор закончится, не начавшись, и правильно, что закончится.

Работают три обходных приема, и все три применимы в проекте.

Прием первый: инверсия

Вместо вопроса «сколько стоит» задается вопрос «при какой цене текущая настройка была бы верной». Формула (6) дает ответ мгновенно, и ответ этот обычно абсурден в понятную сторону: порог 0,5 в задаче охраны труда подразумевает, что невыявленное нарушение стоит две минуты работы мастера. Собеседник отвергает утверждение, и в этот момент разговор становится предметным.

Прием второй: перенос решения в норматив

Там, где цену назначить нельзя, ее уже назначил кто-то другой. Требование обеспечить работников средствами защиты и не допускать к работе без них сформулировано в трудовом законодательстве как безусловное, а не как экономически оптимальное. Задача системы в таком случае — не минимизировать убыток, а обеспечить заданный уровень recall при минимуме ложных тревог. Это постановка Неймана — Пирсона ^[1]: одна ошибка ограничена сверху, вторая минимизируется. Формально она отличается от байесовской, практически сводится к ней подбором того самого множителя Лагранжа, который и есть неявная цена.

Прием третий: хвост вместо среднего

Минимизация ожидаемого убытка предполагает, что убытки складываются и усредняются. Для потока деталей это так. Для события, которое случается раз в пять лет и стоит годовой выручки, это неверно: владельца интересует не среднее, а вероятность разорения. Аппарат для этого есть — меры риска, учитывающие хвост распределения ^{[74, 75]}; в задаче о пороге он выражается требованием вида «вероятность пропустить более чем N событий за год не превышает заданной».

Все составляющие собраны. Осталось выписать убыток за смену как функцию порога.

Слагаемые ведут себя противоположно. Первое монотонно падает со снижением порога: чем ниже планка, тем меньше пропусков. Третье монотонно растет. Сумма двух монотонных функций разного знака имеет минимум, и весь вопрос в том, где он стоит и насколько там плоско.

Что в формуле переменное, а что нет, стоит проговорить отдельно. N и π — свойства процесса, они меняются от смены к смене и требуют мониторинга (глава 32). Цены — свойства бизнеса, меняются раз в год. R и F — свойства модели, меняются при переобучении. Порог t — единственное, что меняется бесплатно и мгновенно, и это делает его самым выгодным рычагом в системе.

Возьмем сквозной разбор литейного ОТК: поток 5 760 деталей за смену, доля брака 2 %, цена пропуска 1 400 ₽, разбор тревоги 8,33 ₽, различимость модели 2,5. Оптимум по формуле (5) стоит на 0,0059, минимальный убыток — 18 041 ₽ за смену. Посмотрим, что происходит при отходе от этой точки.

Асимметрия склонов объясняется устройством слагаемых. Слева от оптимума растет число ложных тревог, и растет оно как FPR — плавно, потому что при малых порогах кривая ошибок уже пологая. Справа падает recall, и падает он быстро, потому что там кривая крутая. Поэтому промахнуться вниз дешевле, чем вверх, и в условиях неопределенности порог стоит ставить ниже расчетного.

Главное возражение против всего этого аппарата звучит так: цены неизвестны с приемлемой точностью, значит и порог посчитать нельзя. Возражение проверяемо. Посчитаем, во что обходится ошибка в оценке отношения цен.

Результат стоит сформулировать прямо, потому что он снимает главное возражение заказчика и главное оправдание подрядчика. Ошибка в оценке цены вдвое стоит семь процентов убытка. Ошибка в десять раз стоит половину. Отказ от оценки стоит четыреста пятьдесят процентов. Порядок величины назвать может любой начальник участка за пять минут; точность до второго знака не нужна никому.

Причина устойчивости видна из формулы (7): порог линеен по логарифму отношения цен. Умножение цены на десять сдвигает порог на 2,3 по логиту, а зона безразличия по таблице главы 19 имеет ширину 2,3 логита на допуске в двадцать процентов. Иначе говоря, ошибка на порядок выводит нас ровно к границе приемлемого — и не дальше.

Оценивайте цену ошибки грубо, но оценивайте. Порядок величины стоит пяти минут разговора и экономит четыреста процентов убытка.

вывод главы 20

Соберем прямое сравнение: три уровня качества модели, три значения порога, один и тот же процесс. Таблица отвечает на вопрос, куда вкладываться — в данные или в настройку.

Сравним две стратегии улучшения. Первая: оставить порог 0,5 и вложиться в модель, подняв различимость с 2,5 до 3,5 — это месяцы разметки, дообучения и проверок. Убыток падает со 100 552 ₽ до 43 018 ₽. Вторая: оставить модель как есть и переставить порог на расчетный. Убыток падает со 100 552 ₽ до 18 041 ₽.

Стоит добавить, что улучшение модели и настройка порога не заменяют друг друга и складываются. Сильная модель с расчетным порогом дает 7 623 ₽ — в тринадцать раз меньше исходной конфигурации. Порядок работ при этом остается прежним: сначала бесплатное, потом дорогое.

Детектор с шестью классами дефектов обычно настраивают одним значением порога уверенности, потому что так устроен конфиг. Экономически это означает утверждение, что все шесть дефектов стоят одинаково. Утверждение неверное.

Реализуется это тривиально: вместо одного числа в конфиге лежит словарь «класс — порог», применяемый после подавления немаксимумов. Стоимость изменения — несколько строк кода. Выигрыш считается по той же формуле (18), просуммированной по классам.

Тонкость, о которой надо помнить: калибровка у классов тоже разная. Редкий класс в обучающей выборке почти всегда переуверен или недоуверен сильнее частого, потому что примеров меньше ^[62]. Значит, поправка по формуле (9) и температурная подгонка по формуле (8) делаются по каждому классу отдельно, а не одним коэффициентом на модель.

Задача о цене контроля решена задолго до машинного зрения. Деминг в 1986 году показал, что при постоянной доле брака и линейных ценах оптимальная стратегия приемочного контроля вырожденная: либо проверять все, либо не проверять ничего, а точка переключения определяется отношением цены проверки к цене пропуска ^[67].

Теперь добавим машину. Она меняет структуру задачи в двух местах. Во-первых, предельная цена одной проверки падает почти до нуля: посмотреть кадр стоит миллисекунды ускорителя. Во-вторых, различимость перестает быть идеальной — машина ошибается, чего в постановке Деминга не было.

Первое обстоятельство отправляет p* к нулю и означает, что сплошной автоматический контроль оправдан всегда. Второе возвращает задачу к формуле (18) и создает третью стратегию, которой у Деминга не было: сплошной машинный просмотр плюс человеческая проверка отобранного меньшинства. Именно эта стратегия и считается во всей настоящей работе, и именно она объясняет, почему пост контроля из восьми человек превращается в одного.

До сих пор решений было два. Добавим третье: система может отказаться решать и передать случай человеку. Задача с отказом решена Чоу в 1970 году, и решение у нее простое: вместо одного порога появляются два, между ними лежит зона передачи ^[8].

Схема с отказом — это то, что в проектах называют режимом предварительной сортировки, и она же экономически самая устойчивая. Причина в том, что она разводит два разных вида ошибок. Автоматические решения принимаются только там, где модель уверена, и цена ошибки там мала по построению. Все спорное достается человеку, и нагрузка на него регулируется шириной зоны, то есть напрямую тем же ползунком, что и число людей на посту.

Практическая настройка обычно идет от нагрузки, а не от цен: ширина зоны подбирается так, чтобы поток передач соответствовал имеющемуся посту. Это законно и совпадает с задачей на условный экстремум из главы 14. Важно только не забыть проверить обратную величину: при выбранной ширине посчитать по формуле (22), какую цену отказа она подразумевает, и убедиться, что цифра правдоподобна.

В классификации четыре клетки определены однозначно: ответ либо верный, либо нет. В детекции ответ — это рамка с координатами, и вопрос «верная ли она» требует соглашений. Соглашений нужно не меньше четырех, и каждое двигает метрику на проценты.

• Порог совпадения рамок. Обычно 0,5 по площади пересечения к объединению; в COCO принято усреднять по десяти уровням от 0,50 до 0,95 ^[59], в VOC — один уровень ^[58]. Дефект 2 мм² на детали диаметром 100 мм при пороге 0,5 требует локализации, которая для мелких объектов недостижима, и рамка, попавшая рядом, пойдет одновременно в ложные срабатывания и в пропуски. Одна ошибка засчитывается дважды.
• Правило сопоставления. Один размеченный объект может собрать несколько предсказаний. Второе и последующие считаются ложными срабатываниями, хотя объект найден верно.
• Обработка дублей. Подавление немаксимумов удаляет пересекающиеся рамки, и его порог — второй скрытый гиперпараметр с экономическими последствиями: на плотной сцене он превращает верные срабатывания в пропуски.
• Обработка объектов, которые не размечены. Кадр без разметки не означает кадр без объектов. Все, что модель нашла на неразмеченном участке, попадает в ложные срабатывания и портит оценку FPR — величины, из которой считаются деньги.

Разбор того, из чего складывается ошибка детектора, сделан давно и подробно: классическая работа Хойема с соавторами раскладывает ошибки на локализацию, путаницу классов, фон и пропуски ^[60], а более поздний инструментарий делает это автоматически и показывает, какая доля падения метрики на что приходится ^[61]. Для экономического расчета важен вывод: доли эти сильно разные для разных типов ошибок, а стоят они тоже по-разному. Смещенная рамка на детали, которую все равно снимет человек, стоит ноль. Смещенная рамка, по которой манипулятор берет заготовку, стоит аварии.

Практическое требование к отчету отсюда следующее: рядом с любой метрикой детекции обязаны стоять порог IoU, правило сопоставления, порог подавления немаксимумов и определение единицы учета. Отчет без этих четырех пунктов невоспроизводим, и сравнивать его с другим отчетом бессмысленно.

Объект в кадре живет не один кадр. Дрон в поле зрения — секунды, деталь на позиции контроля — десятки кадров, человек в зоне — минуты. Значит, решение можно принимать не по одному наблюдению, а по нескольким, и требовать подтверждения.

Строка K = 2 из 5 заслуживает отдельного внимания. Ложные тревоги упали в пятьдесят семь раз, а recall события вырос по сравнению с покадровым: 0,872 против 0,553. Оба показателя улучшились одновременно. Это не нарушение компромисса между ошибками первого и второго рода — просто мы перешли к другой единице учета, где информации в пять раз больше.

Сравним стоимость. Переход от различимости 2,5 к 3,5 — это разметка нескольких тысяч кадров, недели обучения и риск не получить результат. Переход от K = 1 к K = 2 — это счетчик и окно, десяток строк в обработчике, полдня работы. Выигрыш второго больше.

Формула (23) предполагает независимость наблюдений. Соседние кадры видеопотока независимыми не являются: между ними 40 миллисекунд, за которые сцена почти не меняется. Блик на кожухе, дающий ложное срабатывание, дает его и на следующем кадре, и через один. Ровно та же причина, по которой подтверждение помогает, работает и против него.

Отсюда два инженерных вывода. Первый: длину окна надо задавать в секундах и проверять по времени жизни объекта в кадре, а не в кадрах. Второй: расширять окно за пределы времени, в течение которого сцена успевает измениться, бесполезно — новые кадры не добавляют информации, а только задерживают решение.

Есть и способ вернуть независимость. Ложные срабатывания разной природы коррелируют между собой слабо, поэтому подтверждение по разным источникам работает лучше подтверждения по времени: два ракурса той же детали, две модели с разными архитектурами, детекция плюс подтверждение движением. Каждый такой канал добавляет к N_eff примерно единицу, тогда как десять лишних кадров добавляют доли.

Задача взята с реального разбора: чугунное литье, стаканы диаметром 80–150 мм и рабочие колеса насосов, порядка пятидесяти типоразмеров, шесть-восемь классов дефектов, минимальный значимый дефект около 2 мм², контроль сейчас ведут люди. Заявленный такт — 5 секунд на деталь, и это оценка самого заказчика по месячному объему при круглосуточной работе; режим не подтвержден, поэтому все производные от него числа наследуют эту неопределенность.

Шаг 1. Порог из цен

Отношение цен r = 1 400 / 8,33 = 168. По формуле (5) безусловный оптимум стоит на 0,0059. Обратная проверка по формуле (6): порог 0,5, который стоял бы по умолчанию, подразумевает цену пропуска 8,33 ₽ — то есть утверждение, что пропущенная трещина обходится в сорок секунд работы контролера. Заказчик с таким утверждением не согласится, и на этом разговор о пороге закончен.

Шаг 2. Ограничение по людям

При пороге 0,0059 модель отдает 1 374 тревоги за смену. Один контролер за восьмичасовую смену успевает 720 проверок при сорока секундах на каждую. Безусловный оптимум недостижим. Считаем условный по формуле (14) и добавляем фонд оплаты труда.

Победитель — третья строка: машина при пороге 0,019 и один контролер. Разница со сплошным ручным контролем — 43 705 ₽ за смену, из которых 42 000 ₽ приходятся на фонд оплаты труда семерых снятых с поста людей, а остальное на разницу в качестве отбраковки. Вторая строка показывает, во что превращается тот же проект при фабричном пороге: он проигрывает даже ручному контролю.

Шаг 3. Проверка на реальном качестве модели

Различимость 2,5 в расчете — допущение. Что есть в действительности: наш учебный детектор дефектов отливок, обученный на открытом датасете, дает mAP@50 = 0,45 при recall 0,42 — это измеренные числа и это уровень проверки осуществимости, а не рабочей модели. Для сравнения, наш же детектор касок на той же архитектуре дает mAP@50 = 0,948. Разрыв показывает, что дефектоскопия литья — трудная задача, и это ровно то, за что заказчик платит в проекте: съемку под свой цех, разметку своих дефектов и, вероятно, сегментацию вместо рамок.

Подставим слабую модель в ту же смету. Строка d′ = 1,5 из таблицы главы 21 дает в оптимуме 35 124 ₽ убытка против 18 041 ₽ у рабочей модели. Прибавив фонд оплаты труда, получаем, что проект остается выгоднее ручного поста даже на модели уровня проверки осуществимости — при условии, что порог выставлен верно. При фабричном пороге 0,5 та же слабая модель дает 156 081 ₽ и хоронит проект целиком.

Вторая задача: контроль ношения касок на промышленном объекте. Восемь камер, смена двенадцать часов, порядка 1 440 человеко-эпизодов за смену, доля нарушений 3 %. Разбор одного уведомления мастером — две минуты при ставке 900 ₽ в час, то есть 30 ₽. Цена невыявленного нарушения не определена, и принята модельной величиной 3 000 ₽ по приему из главы 17.

Расчет по формуле (5) без учета человека дает порог 0,0099 и убыток 10 656 ₽ за смену. Расчет с учетом деградации внимания по формуле (15) дает оптимум 0,358 и убыток 62 769 ₽ — в шесть раз хуже, и оптимальный порог уехал в другую сторону на два порядка. Разбор этой пары чисел уже сделан в главе 15; здесь важно следствие.

Следствие в том, что подбором порога задача не решается. Между лучшим и худшим порогом в правдоподобном диапазоне разница 1 600 ₽ при убытке 63 000 ₽ — два с половиной процента. Контур неработоспособен при любой настройке, и лечится это не настройкой.

Цена переноса модели на чужой объект

Второй сюжет этой задачи измерен нами напрямую и переводится в деньги без допущений о человеке. При обучении детектора касок сравнивались две сборки датасета: первая на одном источнике, вторая с добавлением трех разнородных. На родном тестовом наборе обе показали практически одинаковый recall по классу нарушения — 0,906 и 0,905. На разнообразном тестовом наборе первая просела до 0,773, вторая удержала 0,867.

Разница между строками — 12 182 ₽ за смену. Столько стоит то, что модель обучена на разнородных данных, а не на одном источнике, — при переносе на объект, который в обучающей выборке не участвовал. Работа по добавлению трех датасетов заняла один день. Третья строка показывает потолок: даже идеальный перенос оставляет 12 312 ₽ пропусков, потому что recall не равен единице ни на каком тесте.

Третья задача устроена иначе обеих предыдущих. Наш детектор БПЛА на отложенном тесте из 2 200 изображений дает precision 0,961 и recall 0,889 — измеренные величины из поставки. Модель хорошая. Задача при этом экономически трудная, и трудность создается не моделью.

Таблица читается как приговор покадровой схеме. Приемлемая нагрузка на оператора требует FPR порядка одной миллионной, при которой recall падает до 0,04. Приемлемый recall требует FPR порядка сотой, при котором на оператора льется двадцать тысяч тревог в сутки с одной камеры. Промежуточных значений, устраивающих обе стороны, нет — и никакое улучшение модели их не создаст, потому что дело в множителе 90 000 кадров в час, а не в качестве детектора.

Выход — переход к событию, разобранный в части V. Подтверждение по восьми кадрам полностью меняет картину.

И отдельно про precision в этой задаче. Число 0,961 из нашей поставки получено на отложенном тесте, где положительных примерно половина. На объекте с долей положительных 0,0001 та же модель при том же FPR даст precision 0,044: из двадцати трех тревог верной будет одна. Ошибка тут не в модели и не в отчете — ошибка в переносе числа из одного контекста в другой. Именно поэтому precision в договоре не пишут, а пишут ложные срабатывания в час (глава 33).

Цены собираются не у одного человека и не одним заходом. Ниже — рабочий опросник, отсортированный по адресату. Порядок важен: расчет собирается снизу вверх, и первые четыре вопроса дают порядок величины, которого уже достаточно по выводам главы 20.

Ответы подставляются в расчет. Ниже — рабочая реализация всего аппарата работы: безусловный оптимум, кривая убытка, зона безразличия и условный оптимум при ограничении по людям. Зависимостей нет, запускается как есть.

import math

SQ2 = math.sqrt(2.0)
Phi = lambda x: 0.5 * (1.0 + math.erf(x / SQ2))
logit = lambda p: math.log(p / (1.0 - p))


def rates(t, d, pi):
    """recall и FPR при пороге t для модели с различимостью d."""
    x = (logit(t) - logit(pi) + d * d / 2) / d
    return Phi(d - x), Phi(-x)


def loss(t, *, n, pi, d, c_fn, c_fp, c_tp=None):
    """Убыток за смену по формуле (18). c_tp=None -> подтверждение человеком."""
    r, f = rates(t, d, pi)
    c_tp = c_fp if c_tp is None else c_tp
    miss = n * pi * (1 - r) * c_fn
    work = n * (pi * r * c_tp + (1 - pi) * f * c_fp)
    return miss + work


def alarms(t, *, n, pi, d):
    r, f = rates(t, d, pi)
    return n * (pi * r + (1 - pi) * f)


def optimum(cap=None, **kw):
    """Оптимум по сетке; cap — предел числа тревог за смену (формула 14)."""
    grid = [10 ** (-6 + 6 * i / 20000) for i in range(1, 20000)]
    grid = [t for t in grid if t < 0.999]
    if cap is not None:
        grid = [t for t in grid
                if alarms(t, n=kw["n"], pi=kw["pi"], d=kw["d"]) <= cap]
    best = min(grid, key=lambda t: loss(t, **kw))
    lmin = loss(best, **kw)
    zone = [t for t in grid if loss(t, **kw) <= 1.05 * lmin]
    return best, lmin, (min(zone), max(zone))


if __name__ == "__main__":
    P = dict(n=5760, pi=0.02, d=2.5, c_fn=1400.0, c_fp=750.0 * 40 / 3600)

    print("теоретический порог :", round(P["c_fp"] / P["c_fn"], 5))
    for cap, label in [(None, "без ограничения"), (720, "один контролер")]:
        t, l, z = optimum(cap=cap, **P)
        print(f"{label:18}: t={t:.4f} убыток={l:,.0f} ₽ "
              f"тревог={alarms(t, n=P['n'], pi=P['pi'], d=P['d']):.0f} "
              f"зона +5% = [{z[0]:.4f}; {z[1]:.4f}]")
    for t in (0.5, 0.25):
        print(f"порог {t}: убыток={loss(t, **P):,.0f} ₽, "
              f"подразумевает c_FN={P['c_fp'] * (1 - t) / t:.0f} ₽")

Порог часто зашивают в код обработчика или, хуже того, в экспортированную сборку модели. Это ошибка уровня архитектуры: величина, зависящая от цен и состава потока, оказывается в артефакте, который пересобирается неделями.

• Порог лежит в конфигурации рядом с ценами, из которых он посчитан. Рядом же — дата расчета и имя того, кто назвал цены.
• Пороги хранятся по классам, а не одним числом (глава 22).
• Изменение порога попадает в журнал вместе с причиной. Через полгода вопрос «почему тут 0,019» обязан иметь ответ.
• В журнале лежит и обратная величина: подразумеваемая цена пропуска по формуле (6). Ее читает не инженер, а владелец процесса, и читает без перевода.
• Пересчет порога — операция без переобучения и без остановки. Если это не так, архитектура сделана неверно.

Дрейф базовой ставки

Порог по формуле (5) от базовой ставки не зависит — но только пока модель калибрована. Калибровка выполнена при какой-то доле положительных, и когда доля на объекте уезжает, выдаваемая уверенность перестает быть вероятностью. Поправка делается по формуле (9) и требует одного числа: текущей базовой ставки. Ее надо мерить постоянно.

Оценить текущую базовую ставку без разметки можно: существует процедура уточнения априорных вероятностей по распределению откликов модели на неразмеченном потоке ^[40]. Она дает оценку доли положительных без единой новой метки и годится ровно для того, чтобы поймать дрейф и поднять флаг.

def estimate_prevalence(scores, pi_train, iters=200, tol=1e-9):
    """scores — откалиброванные при pi_train вероятности; возвращает pi объекта."""
    pi = pi_train
    for _ in range(iters):
        num = []
        for s in scores:
            a = s * (pi / pi_train)
            b = (1 - s) * ((1 - pi) / (1 - pi_train))
            num.append(a / (a + b))
        new = sum(num) / len(num)
        if abs(new - pi) < tol:
            break
        pi = new
    return pi

Строчка «recall не ниже 0,95» выглядит защитой заказчика. На деле она защищает исполнителя, потому что не определена: непонятно, на каком материале, в какой единице учета, при каком пороге и при какой доле положительных. Любое из четырех умолчаний позволяет получить нужную цифру, ничего не улучшив.

Пара «recall по событиям» плюс «ложных срабатываний в час» задает рабочую точку однозначно и проверяется за сутки наблюдения на объекте. Такой пункт невозможно выполнить формально: чтобы уложиться в обе строки одновременно, нужно действительно настроить систему, включая логику подтверждения. Именно по этой причине от отчетов в precision отказались там, где качество детекции проверяют всерьез ^[64].

• Единица учета названа в договоре словами: «событие — появление человека без каски в зоне длительностью более 3 секунд».
• Материал приемки снят после подписания, на объекте, в тех сменах и при том освещении, в которых система будет работать. Объем и порядок отбора оговорены.
• Базовая ставка на материале приемки зафиксирована как факт, а не как требование: если нарушений в записи не оказалось, приемка переносится, а не засчитывается.
• Порог на момент приемки зафиксирован; право менять его в эксплуатации оговорено отдельно вместе с обязанностью вести журнал.
• Обе стороны понимают, что рабочая точка выбирается из цен заказчика, и цены эти приложены к договору. Изменение цен — основание для пересмотра порога без пересмотра договора.

• Сбалансированный тест. Набор собран поровну из положительных и отрицательных, из него посчитана precision, и она перенесена на объект с долей положительных 2 %. Ошибка в десять раз и больше (глава 3).
• Метрика на кадрах, деньги на событиях. Доля 0,25 % ложных срабатываний превращается в 225 тревог в час умножением на частоту кадров (глава 5).
• Порог подобран на тестовом наборе и на нем же оценен. Оптимум смещен в пользу шума этой конкретной выборки; нужен третий, отложенный от подбора набор.
• Утечка через похожие кадры. Соседние кадры одного ролика попали и в обучение, и в тест. Метрика завышена, и завышена тем сильнее, чем выше частота кадров.
• Некалиброванный отклик. Порог 0,3 выставлен по формуле для вероятностей, а модель переуверена — фактическая рабочая точка в другом месте кривой (глава 9).
• Цена пропуска посчитана по прямому убытку. Забыты последующие переделы, логистика и разбор возврата; отношение цен занижено на порядок (глава 16).
• Цена ложной тревоги посчитана как константа. Не учтено, что при выбранном пороге тревог больше, чем человек способен разобрать (главы 13–15).
• Recall модели принят за recall системы. Между ними стоит человек, который на часть тревог не отреагирует, и произведение может быть вдвое меньше (глава 15).
• Оптимум найден без ограничений. Порог 0,006 математически верен и физически невыполним при одном контролере (глава 14).
• Единый порог на все классы. Дефекты стоят по-разному, разброс оптимальных порогов семикратный (глава 22).
• Выигрыш от подтверждения посчитан в предположении независимости кадров. Настоящий выигрыш меньше во столько раз, во сколько кадры похожи (глава 27).
• Экономия посчитана без стоимости владения. Обслуживание камер, чистка объективов, переразметка при смене номенклатуры и время инженера на пересмотр порога — все это идет в ту же смету.

Перечислим ограничения прямо, потому что от них зависит, куда этот аппарат тащить можно, а куда нельзя.

• Модель риск-нейтральна. Она минимизирует ожидание и ничего не говорит про хвост. Для задач, где один исход способен закрыть предприятие, нужна мера риска, а не среднее (глава 17).
• Цены приняты постоянными. Реальная цена пропуска зависит от того, какой это дефект, куда ушла деталь и в каком настроении заказчик; распределение цен заменено его средним.
• Убытки складываются линейно. Два пропуска в одной партии стоят дороже двух пропусков в разных, и эта нелинейность не учтена.
• Кривая ошибок задана однопараметрической моделью. Реальные ROC-кривые бывают неравнодисперсными, и в области очень малых FPR приближение хуже всего — а именно там стоят оптимумы задач с дорогим пропуском.
• Кривая усталости оператора — наша параметризация, а не измеренная зависимость. Направление эффекта в литературе подтверждено, конкретные константы — нет.
• Работа ничего не говорит про качество локализации, скорость и стоимость железа. Бюджет FPS и точность — независимые оси, и вторая ось разобрана у нас отдельно.

Что лаборатория собирается измерить

Порядок такой же, как в предыдущих работах лаборатории: методика написана до измерения намеренно. Методика, придуманная после знакомства с числами, всегда объясняет ровно эти числа. После прогонов расчетные таблицы этой работы останутся на месте, а измеренные встанут рядом с ними для сравнения.

Метрика без цены — это мнение. Цена без метрики — это смета без основания. Вместе они дают порог, и порог этот стоит в конфигурационном файле, а не в презентации.

заключение