Распознавание нарушений дресс-кода продавцами сети «ВкусВилл»

Задача

Обнаружение фактов нарушения корпоративного дресс-кода сотрудниками магазина по видео с камер наблюдения в торговом зале. Фактом нарушения признается отсутствие одного из фирменных головных уборов и фирменной жилетки или толстовки.

Достигнутый результат

Точность обнаружения нарушения — 92%.

Работа нацелена на создание программного конвейера обработки изображений, поступающих с камер, расположенных в торговых залах сети магазинов розничной торговли (более 400 магазинов). Система нацелена на то, чтобы выявлять факты нарушения требований организации в отношении внешнего вида сотрудников в торговых залах.

На изображениях со сложным фоном, содержащим прилавки и стеллажи с товарами, а также посетителей магазинов, система обнаруживает сотрудников магазинов по наличию элементов фирменной одежды. Для каждого обнаруженного сотрудника система дает заключение о соответствии внешнего вида сотрудника внутренним требованиям компании.

Если у сотрудника отсутствует хотя бы один из необходимых атрибутов, таких как корпоративная верхняя одежда и корпоративный головной убор, то это считается нарушением корпоративного “дресс-кода”. Выявленные факты нарушений система регистрирует в базе данных нарушений, прикрепляя фрагмент изображения с выделенным нарушителем. Дополнительная сложность при реализации данного проекта заключалась в разнородности получаемых изображений, обусловленной как разными типами камер, так и разными условиями освещенности.

Система включает в себя два нейросетевых модуля. Один из них является детектором объектов интереса, в задачу которого входит обнаружение сотрудников компании на изображении. Данный модуль реализован на основе модифицированного и дообученного нейросетевого детектора объектов YOLO. Второй нейросетевой модуль отвечает за классификацию объектов интереса и реализован на основе сверточной сети архитектуры ResNet50. В работе удалось добиться точность детектирования объектов интереса на валидационной выборке 92.5% (mAP), и верности классификатора 92% (accuracy).

В процессе работы были решены следующие практические задачи:

• Собраны и сбалансированы обучающие и валидационные наборы данных.
• Проведено обучение и характеризация нейросетевых модулей.
• Реализован полный программный конвейер обработки изображения.