Приемка по метрикам: что показывает mAP 

Сценарий повторяется от проекта к проекту почти дословно. В техническом задании написано «точность распознавания не менее 95 %». Через три месяца подрядчик приносит отчет: обучили детектор, на тестовой выборке mAP@0,5 равен 0,93, mAP@0,5:0,95 — 0,64, precision 0,96, recall 0,89. Цифры выглядят убедительно, графики обучения приложены, матрица ошибок нарисована. Акт подписывается. Система едет на объект.

Через месяц эксплуатации выясняется, что дрон, зашедший со стороны леса на высоте двести метров, системой не увиден — оператор нашел его на записи глазами. Начинается разбор, и он упирается в стену. Подрядчик показывает акт: метрика в договоре выполнена, вот отчет. Заказчик показывает запись: цель в кадре была, тревоги не было. Оба правы. В договоре записана величина, которая не запрещает пропускать такие цели.

Дальше в тексте показано, что противоречия между отчетом и записью с объекта нет. Наш собственный замер по одной и той же сборке дает mAP@0,5:0,95 равный 0,575 в целом по выборке и 0,163 на целях мельче шестнадцати пикселей. Полнота на рабочем пороге в целом 0,882, на тех же мелких целях 0,482. Разбор инцидента, в котором дрон был виден как пятно в двадцать пикселей, попадает во вторую цифру, а в акте стоит первая. Ошибки в отчете нет: усреднение сработало ровно так, как устроено.

Здесь нет ничьей злой воли. Подрядчик берет метрику, которую печатает его инструмент обучения по умолчанию ^[7]. Заказчик берет формулировку, которая выглядит понятной. Метрика была придумана для сравнения научных работ на общем наборе данных ^{[1, 3]}, и для этой задачи она хороша. Проблема начинается там, где число из научного протокола переезжает в приемочный акт, не меняя определения и не приобретая ни одного условия применения.

У технического заказчика к системе наблюдения ровно три содержательных вопроса. Все три звучат на первом же созвоне, все три попадают в смету и в регламент дежурной смены. Ни один из них не является вопросом про среднее.

какую долю целей мы пропустим

и не вообще, а на рабочей дальности: не «в среднем по выборке», а по цели размером двадцать пикселей, потому что именно так выглядит дрон на трехстах метрах в объектив, который уже куплен и висит на мачте.

сколько раз за смену оператор дернется зря

величина, которая определяет, будет ли система вообще работать через месяц. Двадцать ложных тревог за смену — и оператор перестает на них реагировать; это отказ системы, наступивший без единой аппаратной неисправности.

через сколько секунд после появления цели придет событие

задержка между тем, как объект вошел в поле зрения, и тем, как тревога дошла до человека. Складывается из темпа обработки, правила подтверждения и работы трекера — и в метриках детекции не присутствует вовсе.

Метрика mAP не отвечает ни на один из трех. На первый — потому что усредняет по размерам целей и по порогам качества рамки. На второй — потому что не привязана ни к какому конкретному порогу срабатывания и выражена в долях, а не в событиях за час. На третий — потому что вообще не содержит времени: AP считается по набору картинок, в котором нет ни последовательности кадров, ни частоты, ни задержки.

Разговор о метриках надо начинать с того, что в детекции нет ни одной величины, которая определялась бы сама по себе. Прежде чем посчитать хотя бы одно верное срабатывание, надо решить, какая предсказанная рамка считается совпавшей с какой разметочной. Эта процедура — сопоставление — и есть место, где принимаются все решения, а метрики уже только считают проценты по ее результату. Сама конструкция средней точности пришла в детекцию из информационного поиска ^{[5, 6]} и была приспособлена к рамкам организаторами соревнования PASCAL VOC ^{[1, 2]}.

IoU

отношение площади пересечения предсказанной и разметочной рамок к площади их объединения. Число от нуля до единицы, непрерывная мера качества локализации.

TP (верное срабатывание)

предсказанная рамка, сопоставленная разметочной цели, у которой IoU не ниже заданного порога. Одна цель может дать не больше одного TP: вторая рамка на той же цели становится ложной.

FP (ложное срабатывание)

предсказанная рамка, которой не досталось цели. Сюда попадают и срабатывания на пустом небе, и дубли на одной цели, и рамки, накрывшие цель хуже порога.

FN (пропуск)

разметочная цель, которой не досталось ни одной рамки достаточного качества. Именно эта величина стоит за словом «система не увидела».

precision

TP / (TP + FP). Из всех срабатываний — какая доля верных. Метрика оператора.

recall (полнота)

TP / (TP + FN). Из всех реальных целей — какая доля найдена. Метрика заказчика.

AP

площадь под кривой «полнота — точность», построенной перебором порога уверенности от единицы до нуля. Одно число вместо всей кривой.

mAP

среднее AP по классам. В одноклассовой задаче — а именно такова задача обнаружения дрона — усреднять не по чему, и буква m в отчете означает только привычку инструмента.

Слово «точность» в русском языке добавляет к этому свою путаницу. В техническом задании «точность 95 %» может означать precision, recall, долю верно классифицированных кадров, mAP@0,5 или вообще accuracy из задачи классификации, которая в детекции не определена. Разница между этими прочтениями на одной и той же системе достигает десятков процентных пунктов. Первое, что надо сделать на переговорах, — заменить слово «точность» на конкретную формулу с указанием порога.

Когда мера становится целью, она перестает быть хорошей мерой.

формулировка закона Гудхарта в изложении М. Стратерн [18]

Эта формулировка описывает механизм точно. Метрика, назначенная целью приемки, начинает оптимизироваться сама по себе — разными способами, от безобидных до разрушительных, и все они разобраны в отдельной классификации искажений такого рода ^[19]. В машинном обучении на это накладывается вторая беда: одна метрика подменяет собой описание задачи, и решения принимаются по величине, которая измеряет лишь часть того, что нужно ^[20].

Величина mAP@0,5:0,95 получается последовательным усреднением по пяти осям. Ни одно из усреднений не является ошибкой: каждое было осознанным решением организаторов соревнований, у которых стояла своя задача — ранжировать сотни работ одним числом ^{[1, 3]}. Проблема в том, что при переносе в приемку все пять решений едут вместе с числом и ни одно из них не обсуждается.

по классам

AP считается для каждого класса и усредняется. Класс «человек» с тысячей примеров и класс «оружие» с сорока входят в среднее с одинаковым весом — так устроены соревнования, в которых классов сотни и тысячи ^[4]. В одноклассовой задаче это усреднение отсутствует, и тем важнее понимать остальные четыре.

по порогам IoU

десять порогов от 0,5 до 0,95 усредняются с равным весом. Восемь из десяти порогов строже, чем нужно любой практической задаче обнаружения, и на мелких целях они недостижимы геометрически (глава 8). Итог: строгая метрика на 80 % описывает качество рамки, а не факт обнаружения.

по размерам целей

цель в шестьсот пикселей и цель в двенадцать входят в общее среднее с одинаковым весом. Если в наборе много крупных целей, метрика будет высокой при любой работе на мелких. Перекос выборки по размерам — один из известных видов дисбаланса в детекции ^[13], и наша выборка показывает его последствия в главе 12 напрямую.

по кадрам

все кадры равноправны. Сто кадров одного ролика, где цель висит в центре, весят столько же, сколько сто разных сцен. Из этого растет статистическая иллюзия главы 19.

по условиям съемки

ночь, дождь, контровой свет, туман и ясный день смешаны в одну выборку. Средняя метрика по такой смеси не описывает ни один из режимов и особенно опасна тем, что доля тяжелых кадров в тестовом наборе назначается тем, кто набор собирал. Смещение набора данных — отдельная большая тема ^[30], и на приемке она проявляется в чистом виде.

Дальше в работе показано, что три из этих пяти усреднений снимаются одним и тем же приемом: пересчетом метрик в разрезе. Разрез по размеру цели дает ответ на вопрос про дальность (часть III), разрез по условиям — на вопрос про погоду, разрез по порогу уверенности — на вопрос про ложные тревоги (часть V). Пересчет не требует нового обучения и вообще ничего не требует, кроме сохраненных предсказаний: наш прогон девяти сборок занял двадцать минут на ноутбуке.

Все числа частей III и IV получены собственным прогоном. Веса взяты из поставки направления Falcon Eye — это семейство детекторов дрона в одноклассовой постановке, обученных нами и собранных под edge-ускоритель. Выборка — отложенная тестовая часть набора DUT Anti-UAV ^[53], которая в обучении этих весов не участвовала. Разметку мы не переделывали и не чистили: работа про метрики, а не про качество чужих рамок, и влияние этого решения разобрано отдельно в главе 8 и в границах.

Разбиение по размеру выбрано мельче, чем принятое в COCO деление на три группы с границами 32 и 96 пикселей ^[8]. Причина в главе 9: границы COCO привязаны к типовому кадру этого набора и к типовому объекту в нем, а в задаче наблюдения весь содержательный диапазон лежит внутри первой группы COCO. Мелкая сетка нужна потому, что переход между «видим уверенно» и «не видим» происходит на отрезке от шестнадцати до тридцати двух пикселей — и это показано замером в главе 12.

AP считается одинаково во всех современных инструментах, и полезно один раз проследить эту процедуру целиком — половина вопросов снимается на месте.

• Все предсказания по всем кадрам собираются в один список и сортируются по убыванию уверенности. С этого момента кадры перемешаны: рамка из кадра 1500 может стоять в списке выше рамки из кадра 3.
• Список проходится сверху вниз. Каждая рамка сопоставляется с еще не занятой разметочной целью того же кадра, у которой IoU максимален и не ниже порога. Сопоставилась — TP, цель помечается занятой; не сопоставилась — FP.
• По ходу прохода считаются накопленные суммы TP и FP, из них — точность и полнота в каждой точке. Получается кривая «полнота — точность», у которой столько точек, сколько предсказаний.
• Кривая монотонизируется (точность в каждой точке заменяется максимумом справа) и усредняется по 101 равномерному уровню полноты. Это и есть AP при одном пороге IoU. Дальше процедура повторяется для десяти порогов от 0,5 до 0,95, и результаты усредняются.

Первое решение спрятано в шаге 1: жадный проход по уверенности означает, что сопоставление зависит от порядка. Уверенная, но неточная рамка займет цель раньше менее уверенной, но точной, и вторая станет ложной. Второе — в шаге 2: одна цель принимает ровно одну рамку, поэтому дубли на одном объекте штрафуются как ложные срабатывания, хотя оператору они безразличны. Третье — в шаге 4: монотонизация затирает провалы кривой, и детектор с локальным ухудшением получает ту же оценку, что и ровный.

Отдельно стоит сказать про вариант с одним порогом — mAP@0,5. Он мягче и ближе к вопросу «обнаружили или нет», но у него другой недостаток: рамка, накрывшая половину цели, засчитывается как верная. Для трекера и для оценки дальности такая рамка часто бесполезна. Отсюда стандартная ошибка обеих сторон: подрядчик показывает mAP@0,5, потому что он выше, заказчик требует mAP@0,5:0,95, потому что он строже, и никто из них не спрашивает, какое качество рамки нужно системе на самом деле.

Возьмем самый простой случай: цель — квадрат со стороной s, предсказание — такой же квадрат, сдвинутый на d пикселей по одной оси. Тогда пересечение равно s·(s−d), объединение равно 2s² − s·(s−d), и после сокращения получается формула, которую стоит держать в голове любому, кто принимает работу по детекции.

Тот же эффект есть у ошибки масштаба. Если центр угадан точно, а сторона предсказана с относительной ошибкой e, то IoU равен 1/(1+e)² при завышении рамки. Порог 0,9 требует, чтобы сторона была угадана с точностью 5,4 %, порог 0,75 — 15,5 %, порог 0,5 — 41 %. Для цели в шестнадцать пикселей 5,4 % — это меньше одного пикселя: требование, которое не может выполнить ни детектор, ни разметчик, потому что координаты рамок целочисленные. Резкость этой зависимости известна и с другой стороны — как проблема обучения: из-за нее для регрессии рамок придумали смягченные варианты меры перекрытия ^{[16, 17]}, а для совсем мелких целей — меры, на перекрытии вообще не основанные ^[46].

Предыдущая глава дает неприятное следствие. Если разметочные рамки сами по себе содержат ошибку в один-два пикселя — а это оптимистичная оценка для цели в двадцать пикселей, размеченной человеком по размытому пятну, — то верхняя граница строгой метрики определяется не детектором. Идеальная модель, воспроизводящая истинное положение цели без ошибки, получит меньше единицы просто потому, что эталон нарисован с точностью до пикселя.

Посчитаем это на нашей же выборке. Берем все 2 245 разметочных рамок теста, к каждой стороне добавляем равномерный шум амплитудой a пикселей, считаем IoU зашумленной рамки с исходной и долю из десяти порогов, которые она проходит. Усреднение этой доли по трем сотням повторений и по целям диапазона и есть верхняя граница mAP@0,5:0,95, которую в этом диапазоне может показать идеальный детектор.

Отсюда два практических вывода. Первый: сравнивать по строгой метрике модели, которые работают на мелких целях, бессмысленно без оценки шума разметки — разница между 0,45 и 0,50 может целиком лежать внутри неопределенности эталона. Второй: требование «mAP@0,5:0,95 не ниже 0,8» в техническом задании на систему обнаружения мелких целей физически невыполнимо и говорит только о том, что его писали, не проверив арифметику. Ровно та же проблема известна в академической литературе: ошибки разметки в тестовых наборах сдвигают ранжирование моделей и делают сравнение по третьему знаку бессмысленным ^[31].

В отчетах часто встречаются строки AP_small, AP_medium, AP_large — разрез по размеру, который вроде бы и требуется. Границы этих групп заданы набором COCO: мелким считается объект площадью меньше 32² пикселей, крупным — больше 96² ^[8]. Границы разумны для набора фотографий бытовых сцен, где типичный кадр 640×480, а типичный объект занимает заметную часть кадра.

В задаче наблюдения эта сетка бесполезна. В нашей выборке в группу «мелкие» по COCO попадает 848 целей из 2 245 — 37,8 % выборки, и внутри этой группы лежит весь интересный диапазон: от восьми пикселей, где не видит никто, до тридцати двух, где все работает уверенно. Одно число по всей группе усредняет эти два режима и показывает нечто среднее, к чему нельзя привязать ни одну дальность. Наборы, собранные специально под мелкие цели, эту границу и двигают: в них вводят собственные градации вплоть до «крошечных» объектов в единицы пикселей ^{[47, 48]}.

Правильная сетка строится с другого конца. Берется техническое задание: рубеж обнаружения, тип цели, ее физический размер. Через оптику камеры (глава 23) размер переводится в пиксели на каждой дальности. Границы диапазонов ставятся на дальностях, которые заказчик считает разными по смыслу: дальний рубеж предупреждения, рабочая зона, ближняя зона. Дальше метрики считаются в этих диапазонах — и каждая строка отчета соответствует строке технического задания.

Разность двух стандартных метрик содержит информацию, которую обе они по отдельности скрывают. Мягкая метрика измеряет в основном факт обнаружения, строгая — качество локализации. Их отношение показывает, насколько аккуратно детектор рисует рамку, когда цель найдена.

Практический смысл этой таблицы такой. Если система строит траекторию и оценивает дальность по размеру рамки, качество локализации важно, и строгая метрика имеет смысл — но только в разрезе по размеру и с поправкой на потолок. Если система поднимает тревогу по факту появления объекта, качество рамки за пределами «попал в цель» не нужно вовсе, и строгая метрика в приемке становится источником ложных отказов: подрядчика штрафуют за то, что заказчику не пригодится.

Наивный способ посчитать метрику по диапазону размеров — выкинуть из разметки все цели другого калибра и прогнать обычную процедуру. Способ неверный: детекции на выкинутых целях превратятся в ложные срабатывания и обрушат точность в диапазоне, к которому они не имеют отношения. В наборе COCO эта проблема решена введением третьего состояния: цель вне диапазона помечается как игнорируемая, детекция, сопоставленная такой цели, выбрасывается из подсчета вместо того, чтобы стать ложной ^[8].

• Сопоставление считается один раз на полной разметке, жадно по убыванию уверенности, отдельно для каждого из десяти порогов IoU.
• Цели вне диапазона размеров помечаются игнорируемыми; число целей в знаменателе полноты берется только по диапазону.
• Детекция, сопоставленная игнорируемой цели, выбрасывается из списка. Детекция, никому не сопоставленная, штрафуется как ложная только если ее собственный размер попадает в диапазон.
• По оставшемуся списку строится кривая «полнота — точность», считается AP по 101 точке, дальше усреднение по десяти порогам.

in_range_gt = (gt_size >= lo) & (gt_size < hi)
in_range_dt = (dt_size >= lo) & (dt_size < hi)
n_gt = in_range_gt.sum()          # знаменатель полноты

for di in range(len(dets)):       # dets отсортированы по убыванию conf
    gi = assign[di]               # индекс сопоставленной цели или -1
    if gi >= 0:
        tp[di] = in_range_gt[gi]  # верное — только если цель нашего калибра
        ignore[di] = not in_range_gt[gi]
    else:
        ignore[di] = not in_range_dt[di]   # чужой калибр — не наш штраф

keep = ~ignore
ctp, cfp = np.cumsum(tp[keep]), np.cumsum(~tp[keep])
recall, precision = ctp / n_gt, ctp / (ctp + cfp)

Проверка кода на согласие с внешним инструментом обязательна. Наши значения по всей выборке без разбиения совпадают с тем, что дает штатная процедура валидации инструмента обучения ^[7], в пределах третьего знака; расхождения того же порядка известны и между разными реализациями AP ^{[14, 15]} и объясняются мелкими различиями в интерполяции и в обработке одинаковых уверенностей. Для приемки это означает простую вещь: если два отчета расходятся в третьем знаке — они не расходятся.

Ниже — полнота девяти прогонов по шести диапазонам размера цели. Порог уверенности у каждой сборки свой и подобран так, чтобы все они выдали одинаковое число ложных срабатываний: сто на 2 200 кадров. Почему сравнивать иначе нельзя, разобрано в главе 14; пока достаточно того, что при равном бюджете ложных строки таблицы сравнимы между собой.

Читать таблицу надо построчно и с объектом в голове. Сборка primary 512 — это рабочий вариант под edge-ускоритель, тот самый, который поедет на объект. Ее полнота по всей выборке 0,868 выглядит приемлемо. Ее же полнота на целях мельче шестнадцати пикселей — 0,434: каждая вторая такая цель проходит мимо. Если объект требует раннего обнаружения на дальнем рубеже, где цель как раз и занимает десять-пятнадцать пикселей, эта сборка задачу не решает, и в отчете об этом нет ни слова.

Теперь главное. Возьмем те же девять прогонов и проранжируем их тремя способами: по мягкой метрике, по строгой и по доле найденных мелких целей на равном бюджете ложных. Если бы усредненные метрики предсказывали поведение системы, три ранжирования были бы согласованы. Они не согласованы.

Переведем это в язык объекта. Сборка-победитель по строгой метрике пропускает 31,3 % целей мельче шестнадцати пикселей. Сборка, стоящая по той же метрике пятой, пропускает 14,5 %. Это разница в 2,2 раза по числу пропущенных целей — при том, что по метрике, записанной в акт, первая сборка лучше. Заказчик, выбравший модель по цифре из отчета, получит вдвое больше пропусков ровно там, где система и должна работать.

Жесткий бюджет ложных доводит эффект до предела. Сузим бюджет с ста ложных до десяти на 2 200 кадров — это все еще много по меркам объекта, но уже похоже на рабочий режим. Порог у каждой сборки поднимется, и полнота на мелких целях рассыпется по-разному.

Тезис главы формулируется коротко. Средняя точность ранжирует модели по тому, как они ведут себя в среднем по всем режимам, включая нерабочие. Объект ранжирует модели по тому, как они ведут себя в одной точке: на его дальности, при его бюджете ложных. Эти два порядка не обязаны совпадать, и на наших данных они не совпадают.

Стандартная ошибка сравнения: взять две модели, прогнать обе на пороге уверенности 0,25 — значение по умолчанию в инструментах — и сравнить полученные полноту и точность. Ошибка в том, что уверенность моделей не откалибрована и не обязана быть сравнимой: одна и та же цифра 0,25 у двух сборок означает разную готовность срабатывать ^{[40, 41]}.

Правильная процедура обратная. Сначала назначается бюджет ложных — величина, которая берется из регламента дежурной смены, а не из свойств модели. Потом для каждой сборки подбирается порог, который в этот бюджет укладывается. И только потом на этом пороге измеряется полнота, в разрезе по размеру цели. Такое сравнение отвечает на вопрос заказчика: при одинаковой нагрузке на оператора какая сборка видит больше.

Три первых строки главной таблицы — это один и тот же файл весов, прогнанный на трех разрешениях входа: 512, 640 и 960 пикселей. Ни одного параметра модели между прогонами не менялось. Разница между строками — это цена решения, которое обычно принимается на уровне конфигурационного файла и в отчет не попадает вовсе.

Обратная сторона видна там же. Полнота на крупных целях у входа 960 ниже, чем у 512 (0,898 против 0,948), и это не парадокс: при равном бюджете ложных сборке с большим входом достался более высокий порог, потому что мелких ложных срабатываний у нее больше. Плюс к тому кадр в 960 пикселей стоит дороже по вычислениям — а бюджет узла конечен, и цена этого решения разобрана в отдельной работе о бюджете FPS. Разрешение входа — это не настройка качества, а обмен: полнота на мелких целях покупается кадрами в секунду и порогом.

У предыдущей главы есть объяснение, и оно снимает половину мистики вокруг выбора модели. Кадр перед подачей в сеть масштабируется до квадрата фиксированной стороны. Кадр 1920×1080 при входе 640 сжимается в три раза: цель в двадцать пикселей превращается в шесть с половиной. При входе 960 — в десять. Сеть работает не с тем размером, который записан в разметке, а с эффективным.

Проверим это на своих данных. Пересчитаем размер каждой цели в пиксели входа и построим полноту не по исходному размеру, а по эффективному — для тех же трех прогонов одного веса.

Практический вывод отсюда прямой и денежный. Если цель на рабочей дальности дает меньше шести-восьми пикселей на входе сети, спорить о моделях бессмысленно: различия между сборками в этой зоне меньше, чем разброс замера. Работают три рычага, и все они лежат вне модели — оптика с большим фокусным расстоянием, разрешение входа и нарезка кадра на перекрывающиеся фрагменты с прогоном каждого отдельно ^{[49, 50]}. Со стороны обучения к ним добавляется работа с составом выборки: мелкие цели в наборах редки, и их долю поднимают специальными аугментациями ^[51]. Нарезка кадра увеличивает эффективный размер цели в разы, стоит ровно во столько же раз дороже по вычислениям и в отчетах о метриках обычно не упоминается вовсе.

Любая метрика, посчитанная на конечной выборке, — случайная величина. Другая выборка того же объема даст другое число, и вопрос только в том, насколько другое. Оценить это можно, не собирая вторую выборку: бутстреп берет исходную с возвращением, пересчитывает метрику и повторяет процедуру сотни раз ^{[21, 22]}. Единица ресемплирования — кадр, а не цель: цели внутри кадра зависимы.

Сравнивать интервалы «на глаз» по их пересечению неправильно: две метрики, посчитанные на одной и той же выборке, коррелированы, и парная разность имеет интервал уже, чем каждая из них по отдельности. Это то же соображение, из-за которого в сравнении алгоритмов обучения требуют парных схем и поправок на множественность ^{[26, 27]}. Правильный способ — ресемплировать кадры один раз и считать обе сборки на одном и том же ресемпле, а интервал строить для разности.

Отдельно стоит помнить про источники разброса, которых бутстреп по тестовой выборке не видит вовсе: случайная инициализация, порядок данных, аугментации и выбор контрольной точки. Их вклад в машинном обучении измеряли неоднократно, и он сопоставим с разницей между «улучшениями», о которых пишут статьи ^[28]. Практическое следствие для приемки: сборка, повторно обученная на тех же данных, даст другие цифры, и договор должен фиксировать конкретный файл весов с контрольной суммой, а не «модель».

Приемочные требования почти всегда формулируются в долях: полнота не ниже такой-то. У доли, измеренной на n целях, есть неопределенность, и она считается элементарно ^{[23, 24]}. Ниже — интервалы Уилсона для типичных объемов, с которыми приходят на приемку.

Тот же расчет применяется к бюджету ложных, только с другой стороны. Чтобы подтвердить требование «не более одной ложной тревоги в час на камеру» при пяти детекциях в секунду, нужна выборка фона объемом порядка ста тысяч кадров: даже полное отсутствие ложных на 2 200 кадрах дает верхнюю границу всего лишь около двадцати пяти тревог в час (глава 21). Приемочная выборка обязана содержать часы записи фона, а не только кадры с целями.

Расчеты предыдущей главы верны при одном условии: наблюдения независимы. Кадры видеопотока независимыми не бывают. Соседние кадры отличаются на доли секунды: та же цель, тот же фон, тот же ракурс, та же экспозиция. Если детектор ошибся на одном, он ошибется и на девяти следующих. Формально это эффект кластеризации, и он уменьшает эффективный объем выборки во столько раз, какова средняя длина серии ^[34].

Проверить это в своей выборке можно за минуту и без всякой теории: взять соседние по времени кадры и посмотреть, насколько совпадают положения целей. Мы проверили свою: из 2 199 соседних пар только у 25 разметочные рамки перекрываются больше чем наполовину — 1,1 %. Средняя длина серии 1,01 кадра, максимальная 2. Тестовая часть используемого набора собрана из разных сцен и прорежена, поэтому интервалы предыдущей главы для нее корректны.

pairs = hits = 0
for a, b in zip(frames, frames[1:]):
    if not (a.boxes and b.boxes and a.shape == b.shape):
        continue
    pairs += 1
    hits += iou(a.boxes[0], b.boxes[0]) > 0.5
print(hits / pairs)   # наша выборка: 0.011

Отсюда же следует правило разбиения данных, которое нарушают чаще всего. Делить набор на обучение и тест надо по роликам и по сценам, а не по кадрам. Случайное разбиение по кадрам кладет соседние кадры одного ролика по обе стороны границы, и тест перестает быть тестом: модель видела почти те же изображения ^{[32, 33]}. Метрики после такой ошибки завышаются на десятки процентных пунктов и не воспроизводятся на объекте — это и есть самый частый механизм «на стенде работало».

Разрыв между стендовыми и объектовыми метриками почти никогда не создается умышленно. Он собирается из механизмов, каждый из которых по отдельности выглядит как разумное инженерное решение ^[32].

разбиение по кадрам

соседние кадры одного ролика попадают и в обучение, и в тест. Самый частый и самый мощный механизм; лечится разбиением по роликам и по сценам.

дубликаты и почти-дубликаты

один и тот же кадр присутствует в наборе дважды после сборки из нескольких источников. Лечится дедупликацией по перцептивному хешу до разбиения.

подбор по тесту

порог, разрешение входа, параметры подавления дублей и выбор контрольной точки подобраны по тестовой выборке. Формально тест в обучении не участвовал, фактически по нему принято двадцать решений. Лечится третьей, запечатанной выборкой.

выбор лучшей эпохи по тесту

частный случай предыдущего и самый незаметный: контрольная точка «best» выбирается по метрике на той же выборке, на которой потом отчитываются. Дает завышение на несколько процентных пунктов автоматически.

тест из того же дня и той же камеры

формально независимая выборка, фактически те же условия освещения, тот же фон, тот же ракурс. Метрика описывает один день, а не систему.

фильтрация трудных кадров

из выборки исчезли кадры, где цель плохо видна, — как «плохо размеченные». Механизм особенно коварен тем, что удаляются именно те случаи, ради которых система и покупалась.

Отдельного упоминания стоит эффект, который в машинном обучении померили прямо: модели, отобранные по одному и тому же тестовому набору годами, теряют часть качества на свежесобранном наборе из того же распределения ^[29]. Приемочная выборка стареет по той же причине, и это аргумент против ее повторного использования.

Заказчику из этого списка нужен один вывод: тестовая выборка, которую собирал подрядчик, не может служить основанием приемки — независимо от добросовестности подрядчика. Приемочная выборка собирается заказчиком или третьей стороной, запечатывается до начала работ и открывается один раз. Как это организовать технически, разобрано в главе 27.

Мы обнаружили ошибки разметки в тестовых частях распространенных наборов данных, и их достаточно, чтобы менялся порядок моделей в рейтинге.

изложение результата работы об ошибках в тестовых наборах [31]

Самый недооцененный переход в приемке — из долей в события за час. Доля ложных срабатываний на кадре выглядит безобидно, пока не умножена на частоту вызова детектора. Наш рабочий бюджет в сто ложных на 2 200 кадров — это 0,045 ложных срабатываний на кадр.

Числа в правой части таблицы объясняют, почему системы, сданные по метрикам, потом выключают. Точность 0,96 на кадре звучит отлично и означает четыре тысячи ложных тревог в час на одну камеру при покадровой обработке. Оператор, получивший такой поток, отключает уведомления в первый же день — и дальше система работает как видеорегистратор, для которого нейросеть не нужна. На сильно несбалансированных потоках именно кривая «полнота — точность» описывает поведение честнее любой усредненной величины ^{[35, 36, 37]}, а выбор рабочей точки на ней делается по стоимости ошибок обоих видов ^{[38, 39]}.

Из таблицы следует и требование к объему приемочной выборки. Чтобы уверенно измерить частоту порядка одной ложной тревоги в час при пяти детекциях в секунду, нужна выборка порядка сотни тысяч кадров фона — это примерно пять часов записи с одной камеры при децимации. Такая выборка собирается за один день и стоит несопоставимо меньше, чем месяц спора после запуска. Арифметика объема разобрана в главе 18.

Ни одна система наблюдения не поднимает тревогу по одному кадру. Между детектором и оператором стоит логика подтверждения: цель считается обнаруженной, если она найдена не менее чем в N кадрах из M подряд, и обычно к этому добавляется трекер, который связывает срабатывания в траекторию ^{[54, 55, 56]}. Это меняет обе метрики сразу и в разные стороны: вероятность обнаружить событие растет, вероятность ложной тревоги падает.

Обратная сторона того же правила — подавление ложных. Ложные срабатывания на статичном фоне коррелированы (одна и та же ветка, один и тот же блик), а на движущемся шуме — почти независимы. В независимом приближении при нашем бюджете 0,045 ложных на кадр правило «2 из 5» дает 1,85 · 10⁻² ложных событий на окно, что при пяти окнах в секунду соответствует 333 тревогам в час. Правило «3 из 10» снижает это до 155. Чтобы получить около трех тревог в час, нужен уже покадровый уровень 0,0045 — то есть порог, при котором, судя по главе 13, полнота на мелких целях падает вдвое.

Все метрики в разрезе по размеру бесполезны, пока размер выражен в пикселях: техническое задание пишут в метрах. Переход между ними задается оптикой и делается в одну строку.

К этой арифметике примыкает многолетний опыт тепловизионной и оптико-электронной разведки. Критерий Джонсона ^[60] и пришедшие ему на смену модели прицельных задач ^[62] выражают то же самое в разрешаемых линиях на цель: для обнаружения факта наличия объекта нужно порядка полутора-двух линий на характерный размер, для распознавания типа — вчетверо больше, для идентификации — вдесятеро ^[61]. В пикселях детектора это переводится в грубое, но полезное правило: обнаружение начинается с единиц пикселей, классификация типа цели требует десятков.

Соберем предыдущие главы вместе. Берем измеренную полноту по диапазонам размера (глава 12), переводим размеры в дальности через оптику объекта (глава 23) и получаем документ, который можно приложить к акту: сколько целей система найдет на каждом рубеже при назначенном бюджете ложных тревог.

Такой документ решает сразу три задачи. Заказчик видит, где система работает, а где нет, и может подвинуть рубежи или добавить камеру. Подрядчик получает проверяемое обязательство вместо расплывчатой «точности». Спор о том, кто виноват в пропуске, заменяется вопросом «на какой дальности была цель» — и ответ на него смотрится в таблице.

Все предыдущее считалось так, будто детектор видит каждый кадр. На объекте это неверно. Узел обрабатывает несколько камер, кадры прореживаются, очередь к ускорителю переполняется, корпус греется и снижает темп. Кадр, который не дошел до детектора, в метрике не участвует, а цель на нем была.

темп детекции

сколько раз в секунду детектор реально вызывается по каждой камере. При прореживании вдвое пропущенная на одном кадре цель получает следующий шанс не через 40 мс, а через 80 — и правило N из M растягивается вдвое по времени.

потерянные кадры

доля кадров, выброшенных из переполненной очереди. В метрике детекции они не видны вовсе: их просто нет во входе. На объекте они превращаются в разрывы траектории и в пропущенные быстрые цели.

задержка до события

время от появления цели в кадре до тревоги у оператора: обработка кадра, накопление N подтверждений, подтверждение трекером, доставка события. Складывается в единицы секунд и определяет, успеет ли смена среагировать.

устойчивость темпа

падение частоты обработки после теплового выхода узла на режим. Прямо переводится в пропуски: система, которая на стенде успевала за целью, на крыше в июле успевать перестает.

Все четыре величины меряются на том же стенде, что и метрики качества, и стоят один день. Модель бюджета кадров, разложение конвейера по стадиям и протокол суточного замера у нас вынесены в отдельную работу — ссылка на нее стоит в конце страницы. Здесь важно другое: приемка, которая проверяет только качество детектора, проверяет одну сторону системы из двух, и вторая обычно оказывается той, из-за которой все встало.

Формулировка «точность распознавания не менее 95 %» непроверяема: в ней нет ни величины, ни порога, ни условий, ни выборки. Формально это нарушение самого устройства приемочных испытаний: программа-методика обязана задавать проверяемые показатели и условия их проверки ^[67], а характеристика качества без метода измерения показателем не является ^[68]. Для систем машинного обучения существует и профильный стандарт оценки качества классификации ^[69]. Проверяемое требование содержит пять обязательных частей.

• Величина с формулой. Полнота обнаружения (доля найденных целей), точность (доля верных срабатываний), частота ложных тревог в час на камеру — с указанием, как считается сопоставление и при каком пороге IoU.
• Рабочая точка. Порог уверенности фиксируется бюджетом ложных тревог, а не берется по умолчанию: «порог выбирается как минимальный, при котором частота ложных на фоновой части выборки не превышает B».
• Разрез. Диапазоны дальности или размера цели, для каждого — свое значение требования. Одно число на всю выборку требованием не является.
• Условия. Время суток, погода, ракурс, тип фона, для каждой тяжелой страты — свой порог или явная оговорка, что она в приемку не входит.
• Выборка и статистика. Кто собирает, какого объема, как запечатывается, и по какой границе судится результат — по точечной оценке или по нижней границе доверительного интервала.

Обратите внимание на порог сопоставления IoU 0,3 в этой формулировке. Для задачи «поднять тревогу по факту наличия цели» строгие пороги вредны по причинам главы 7: они превращают требование к обнаружению в требование к точности рамки, физически недостижимое на мелких целях. Если системе нужен захват и сопровождение, порог поднимается — но осознанно и с проверкой по таблице потолков из главы 8.

Приемочная выборка — это не «тестовый набор подрядчика». Это отдельный артефакт с собственным жизненным циклом, и его свойства определяют, чего стоит вся приемка.

кто собирает

заказчик или третья сторона, с объекта или с объекта-аналога, на том оборудовании, которое реально будет установлено. Выборка, снятая другой камерой с другой оптикой, проверяет другую систему.

две части

целевая (кадры с целями, стратифицированные по дальности и условиям) и фоновая (часы непрерывной записи без целей). Первая меряет полноту, вторая — частоту ложных. Объемы считаются по главе 18 независимо друг от друга.

стратификация

по дальности или размеру цели, по времени суток, по типу фона, по погоде. В каждой страте — достаточное число целей; страта, в которой их меньше сотни, дает интервал шире 0,15 и требованием быть не может.

запечатывание

выборка размечается, архивируется, считается контрольная сумма архива, сумма фиксируется в протоколе, подписанном обеими сторонами. Подрядчик получает выборку в момент приемки, а не раньше.

открытая часть

10–15 % выборки отдается подрядчику заранее как образец формата и уровня сложности. Это снимает спор «мы не знали, что вы такое будете показывать» и не создает утечки, если открытая часть исключена из подсчета.

срок жизни

выборка одноразовая. После того как по ней принято решение и подрядчик увидел результаты, она становится частью цикла разработки и для следующей приемки не годится.

Отдельный пункт протокола — разметка. Она делается заказчиком по письменной инструкции, в которой описано, что считается целью, как размечать частично видимые объекты, что делать с целями на пределе различимости и как помечаются спорные случаи. Такой документ полезно оформлять по образцу паспорта набора данных: источник, условия съемки, правила разметки, известные ограничения ^[73]; у сдаваемой модели симметрично запрашивается карточка с условиями применимости ^[72]. Без инструкции два разметчика дадут разные наборы, и приемка превратится в спор о разметке. Полезно заранее измерить согласие разметчиков на сотне кадров — это дает потолок, выше которого требовать нельзя (глава 8).

Процедура, по которой сделана эта работа, укладывается в один день и не требует ничего, кроме ноутбука. Прогон девяти сборок по 2 200 кадрам занял двадцать минут, весь последующий пересчет — секунды.

• Прогон. Каждая сборка прогоняется по приемочной выборке с низким порогом отсечения (0,001) и сохраняет все рамки с уверенностями в координатах исходного кадра. Порог, поставленный на этом шаге, потом уже не понизить — это единственный необратимый выбор процедуры.
• Сопоставление. Жадное, по убыванию уверенности, отдельно для каждого нужного порога IoU. Результат сопоставления сохраняется вместе с размером цели, к которой привязана каждая детекция.
• Разрезы. Полнота и точность считаются по диапазонам размера с семантикой игнорирования из главы 11 и по каждой страте условий.
• Рабочая точка. По фоновой части выборки подбирается порог под назначенный бюджет ложных; все метрики полноты пересчитываются на этом пороге.
• Интервалы. Бутстреп по кадрам, 300 и более ресемплов; для сравнения сборок — парный бутстреп на одном и том же ресемпле.
• Отчет. Таблица «диапазон × метрика» с интервалами, кривая обнаружения по дальности, частота ложных в час, перечень непроверенных условий. Плюс файлы предсказаний как приложение.

from ultralytics import YOLO
import json, os

model = YOLO(WEIGHTS)
with open(OUT, "w") as f:
    for i in range(0, len(files), 16):          # пачками, иначе список грузится целиком
        for r in model.predict(files[i:i + 16], imgsz=IMGSZ, conf=0.001,
                               iou=0.7, max_det=100, stream=True, verbose=False):
            f.write(json.dumps({
                "img": os.path.basename(r.path),
                "hw": [int(r.orig_shape[0]), int(r.orig_shape[1])],
                "b": r.boxes.xyxy.cpu().numpy().round(2).tolist(),
                "c": r.boxes.conf.cpu().numpy().round(5).tolist(),
            }) + "\n")

def conf_for_fp(dets, budget):
    """Минимальный порог, при котором ложных не больше budget."""
    rows = sorted(dets, key=lambda d: -d.conf)   # dets: conf + признак сопоставления
    fp = 0
    for d in rows:
        if not d.matched:
            fp += 1
            if fp > budget:
                return d.conf + 1e-6
    return 0.0

theta = conf_for_fp(background_dets, budget=FP_BUDGET)
recall_by_range = {rng: recall(target_dets, rng, theta) for rng in RANGES}

Список ниже — не обвинение подрядчиков. Это перечень мест, где цифра вырастает сама, если условия не зафиксированы. Заказчику он нужен как чек-лист вопросов, подрядчику — как список того, что стоит написать в отчете самому, пока не спросили.

• Показать mAP@0,5 вместо строгой метрики, не уточняя, какая именно приведена. Разрыв на наших данных — от 0,29 до 0,39 в абсолютных единицах.
• Взять метрику на валидационной выборке, по которой выбиралась лучшая эпоха, и назвать ее тестовой.
• Разбить данные на обучение и тест по кадрам, а не по роликам. Завышение — десятки процентных пунктов.
• Убрать из тестовой выборки кадры, где цель плохо различима, как «спорную разметку».
• Не указывать разрешение входа. Одни и те же веса на 512 и 960 дают разницу в полноте на мелких целях в полтора раза (глава 15).
• Показать метрики в исходной точности, а систему поставить с квантованной сборкой на ускорителе: переход в целочисленную арифметику меняет метрики, и на мелких малоконтрастных целях сильнее всего ^{[64, 65, 66]}.
• Сравнить свою модель с чужой на общем пороге 0,25, не приводя обе к общему бюджету ложных (глава 14).
• Привести precision и recall без числа ложных в час: доли выглядят прилично при любом потоке тревог.
• Считать метрику по кадрам, а обещать по событиям (или наоборот — смотря что выгоднее в конкретном случае).
• Оценить полноту на выборке, где 70 % целей крупные, и назвать результат характеристикой системы.
• Показать одно число без интервала на выборке в полсотни целей, где интервал шире 0,17 (глава 18).
• Продемонстрировать работу на ролике, снятом в тот же день, той же камерой и в ту же погоду, что и обучающие данные.

Каждый пункт закрывается одним предложением в техническом задании. Все двенадцать закрываются требованиями главы 26 и процедурой главы 28. По духу это то же самое, что поведенческое тестирование вместо одной итоговой цифры: система проверяется набором целевых проверок на конкретные способности, а не средним баллом ^[74]. Полезное свойство этого списка: он одинаково защищает обе стороны — подрядчик, у которого метрики честные, получает возможность это доказать, а не отбиваться от подозрений.

Типичная ситуация: акт подписан по средней метрике, система работает, пропуски есть, договорных оснований для претензии нет. Порядок действий тут последовательный, и начинать надо не с претензии.

• Собрать факты. Пропущенные события с записями, для каждого — дальность, размер цели в пикселях, время суток, фон. Тридцати случаев достаточно, чтобы увидеть закономерность.
• Проверить оптику. Посчитать размер цели в пикселях по формуле (10). Если получается меньше восьми пикселей на входе сети, дальше идти по линии модели бесполезно: проблема в оптике или в геометрии установки, и решается она дешевле.
• Пересчитать метрики в разрезе. Взять существующую тестовую выборку подрядчика и пересчитать по ней полноту в разрезе размеров. Обычно на этом шаге картина становится очевидной обеим сторонам, и разговор переходит из юридической плоскости в инженерную.
• Померить рабочую точку. Узнать текущий порог и посчитать частоту ложных в час. Часто выясняется, что порог поднят службой эксплуатации ради тишины, и половина пропусков объясняется этим, а не моделью.
• Сформулировать доработку в проверяемых терминах: диапазон, бюджет ложных, требуемая полнота, срок, приемочная выборка. Это уже требование по главе 26, и его выполнение можно проверить.
• Зафиксировать в дополнительном соглашении новую процедуру приемки. Дешевле для обеих сторон, чем спор о том, что означала «точность 95 %».

Три из шести шагов не требуют участия подрядчика вовсе и делаются заказчиком за день. Именно это и есть практический смысл всей работы: разрез по размеру, бюджет ложных и перевод пикселей в метры считаются по данным, которые уже есть, и переводят разговор с языка «плохо работает» на язык, в котором у претензии есть число.

Все выводы частей III и IV получены на конкретном замере, и у него есть ограничения. Ниже перечислены все, о которых мы знаем.

один класс и одна предметная область

задача одноклассовая: дрон или не дрон. Эффект усреднения по классам, который в многоклассовых задачах бывает сильнее всех остальных, здесь не измерен вовсе.

одна выборка

2 200 кадров тестовой части одного открытого набора ^[53]. Распределение размеров, фонов и условий съемки в нем свое; на другом наборе абсолютные значения будут другими. Направление эффектов — расхождение ранжирований, разрыв мягкой и строгой метрик, зависимость от разрешения входа — устойчиво по построению, но проверялось здесь один раз.

чужая разметка

рамки взяты как есть, ошибки разметки не искали и не правили. Глава 8 показывает, насколько это важно для строгой метрики; собственного измерения шума разметки в этом наборе у нас нет, и все оценки потолка даны как расчет для трех уровней шума, а не как факт.

исходная точность вычислений

прогон сделан на ноутбуке в исходной точности. Сборки, которые едут на объект, квантованы в целочисленную арифметику под ускоритель, и квантование меняет метрики ^{[63, 64, 65]} — сильнее всего как раз на мелких целях с низким контрастом. Разрыв между этими двумя замерами у нас не измерен.

отдельные кадры вместо видео

выборка состоит из независимых кадров (проверено в главе 19). Поэтому событийные метрики главы 22 посчитаны в предположении независимости, которое на реальном видео не выполняется. Насколько именно — вопрос отдельного замера на размеченных проходах.

дневные условия

ночь, инфракрасный канал, дождь, туман и снег в выборке не выделены и отдельно не измерены. Все числа работы относятся к смеси условий этого набора, а не к худшему случаю.

оптика — расчет

перевод пикселей в дальность (глава 23) — арифметика идеальной модели камеры. Дифракция, аберрации, расфокусировка, дрожание и атмосферная дымка уменьшают реальный контраст цели, и на предельных дальностях фактическое обнаружение будет хуже расчетного.

Работа открыта как программа, а не как разовая публикация. Ниже — то, что мы обязуемся выложить сюда же по мере готовности, с указанием заранее, что именно будет считаться опровержением.

Сюда же попадет и отрицательный результат, если он будет. Раздел R&D устроен так, что закрытые направления с витрины не убираются: работа с цифрами и вердиктом «не подтвердилось» полезнее презентации без цифр. Эта работа никаким исключением не является.

Итог одной страницей

• Средняя точность усредняет по классам, порогам качества рамки, размерам целей, кадрам и условиям. Каждое усреднение стирает ровно тот разрез, который и был вопросом заказчика.
• Порог IoU — требование к точности локализации в долях размера цели. На цели в двадцать пикселей строгие пороги недостижимы геометрически, и при шуме разметки в два пикселя идеальный детектор получил бы там 0,51.
• На нашем замере ранжирование девяти сборок по строгой метрике и по доле найденных мелких целей расходится: лидер по метрике пропускает мелких целей вдвое больше, чем сборка, стоящая по ней пятой, а при жестком бюджете ложных не находит их вовсе.
• Сравнивать сборки на общем пороге уверенности нельзя: на пороге 0,25 наши девять сборок дают от 87 до 428 ложных срабатываний. Сравнение делается на равном бюджете ложных.
• Разрешение входа меняет полноту на мелких целях в полтора раза при неизменной средней метрике. По эффективному размеру цели кривые обнаружения совпадают: разрешение — это коэффициент пересчета, а не свойство модели.
• Метрика без доверительного интервала — мнение. Разница в mAP меньше 0,02 на выборке в две тысячи кадров статистически не существует; проверять надо парным бутстрепом.
• Точность 0,96 на кадре означает четыре тысячи ложных тревог в час на камеру при покадровой обработке. Рабочая точка выбирается от бюджета тревог, а не от значения по умолчанию.
• Приемочное требование формулируется в полноте по диапазонам дальности при заданном бюджете ложных, на выборке, собранной и запечатанной заказчиком, и судится по нижней границе доверительного интервала.