Дедлайн задает режиссер
В прямом эфире у аналитики один критерий пригодности: успела к картинке или нет. Скорость игрока, отображенная через три секунды после эпизода, зрителю бесполезна и мешает режиссеру.
Бюджет в 0,9 секунды от кадра до готового оверлея — это не то время, за которое работает нейросеть. Внутрь помещается все: захват сигнала с камер, синхронизация, детекция, сведение камер, расчет метрик, отрисовка графики и выдача в тракт. Инференс тут — одна из статей расхода, и далеко не самая крупная.
Трек живет на поле, а не в кадре
Главное архитектурное решение проекта. Наивный подход — вести трекинг отдельно на каждой камере и потом как-то сопоставлять. Он разваливается при первом же переключении ракурса: игрок в новом кадре — новый объект, история потеряна.
Мы перевели все в общую систему координат самого поля. Каждая камера откалибрована: известно, куда на поле смотрит любая точка ее кадра. Детекции с разных камер пересчитываются в координаты поля и там объединяются в единую картину. Игрок с этого момента существует как объект на поле, а камеры — просто разные способы на него посмотреть.
Отсюда и 96,4% непрерывности трека при смене ракурса: переключение камеры перестало быть событием для трекера.
Калибровка — работа, которую делают до матча
Точность сведения целиком зависит от калибровки. Разметка поля с известной геометрией дает опорные линии, по которым определяется положение камеры. Проблема в том, что камеры двигаются: панорамирование, наклон, зум — все меняет картину постоянно.
Поэтому калибровка идет непрерывно: система по каждому кадру уточняет соответствие по видимым линиям разметки. На стадионах, где линии частично скрыты игроками или тенью, точность падает, и это заметно по дрожанию оверлея.
Скопления игроков
Худшие моменты для трекинга — угловой, стенка, свалка у ворот. Игроки перекрывают друг друга, форма одинаковая, номера не видны.
Помогает именно многокамерность: то, что закрыто с одной точки, обычно видно с другой. Плюс модель движения: игрок не исчезает и не телепортируется, поэтому кратковременная потеря закрывается предсказанием. Полностью проблема не решается, и после плотной свалки часть треков требует подтверждения — мы это фиксируем в отчете о качестве.
Что видит зритель
Из координат на поле считается все остальное: скорости, пройденные дистанции, построение команды, зоны давления, расстояние до ворот в момент удара. Оверлей рисуется поверх картинки в реальном времени.
Отдельная линия — автоматические хайлайты. Эпизоды выделяются по сочетанию признаков: резкий рост скорости, скопление игроков в штрафной, остановка игры. Монтажер получает готовые нарезки-кандидаты к перерыву, вместо того чтобы отсматривать тайм заново. Ручная нарезка при этом никуда не делась как возможность — просто перестала быть обязательной.
Отказы в эфире
Отдельно проектировался сценарий сбоя. Если камера выпала или калибровка потерялась, система обязана убрать графику, а не показать ее неправильно. Оверлей, съехавший на метр, выглядит хуже, чем его отсутствие, и обсуждается потом дольше, чем сам матч.
Поэтому у каждой метрики в эфире есть порог достоверности, и графика гаснет автоматически при его недостижении.
Что нужно от стадиона
Проект такого рода начинается не с моделей, а с обследования площадки. Нужны точки установки камер с перекрывающимися секторами обзора, доступ к сигналу до режиссерского пульта, общий источник синхронизации для всех камер и место под вычислительный узел рядом с трактом. Отдельно проверяется освещение: смешанный свет прожекторов и заходящего солнца дает переходный период, в который детекция проседает сильнее всего.
Все это выясняется за один выезд и определяет и стоимость, и достижимое качество. Обещать метрики до обследования стадиона — верный способ не выполнить обещание.
Условия, в которых качество падает
- Дождь, снег и резкие тени от трибун ухудшают детекцию и калибровку.
- Команды в похожей по цвету форме — известная проблема, решается частично.
- Дальние планы с широким охватом: игрок на десяток пикселей отслеживается неуверенно.
- Судейские решения система не комментирует и на них не претендует.
Отдельный вопрос — права на видео и хранение записей матчей. Мы работаем внутри контура вещателя и не забираем материал наружу: и потому, что права на трансляцию имеют конкретного владельца, и потому, что объемы делают любую выгрузку бессмысленной по времени.
Направления рядом — видеоаналитика, компьютерное зрение и потоковые системы.