Компьютерное зрение в ритейле: основные тренды и кейсы

Сергей Кузнецов, руководитель ритейл-направления, ITentika.

По данным исследования TAdviser, с 2018 по 2023 год объем российского рынка решений в области компьютерного зрения (Computer Vision, CV) может увеличиться в пять раз — до 38 млрд рублей. 

Согласно результатам опроса, проведенного в ходе исследования, наиболее перспективные отрасли для развития компьютерного зрения на ближайшие несколько лет — это:

● видеонаблюдение и безопасность — 32%;
● производственный сектор — 17%;
● медицина и здравоохранение — 14%;
● розничная и оптовая торговля — 10%.

Компьютерное зрение в сочетании с алгоритмами машинного обучения позволяет проводить онлайн-анализ потребительского поведения в торговом зале без непосредственной идентификации личности покупателя. 

Например, компания Amazon предлагает своим клиентам технологию Just Walk Out, которая работает с камерами торгового зала, метками товаров и алгоритмами компьютерного зрения для отслеживания покупок. Перемещаясь по магазину, покупатели могут положить товары в свои сумки для покупок или вернуть их обратно на полки. Товары при этом автоматически будут добавлены или удалены из корзины покупателя, а при выходе из магазина — оплачены. Таким образом, взаимодействие покупателя и кассира полностью устраняется за счет применения технологии «умного» компьютерного зрения в том числе.

Специалисты компании ITentika решали схожую задачу определения действий людей в ограниченном помещении, снабженном видеокамерами. При этом алгоритмы отслеживали людей, не затрагивая их персональные данные. Наша коллега Мария Демченко заняла первое место в чемпионате «Цифровой прорыв» с решением похожей задачи, которая, по мнению организаторов, имеет огромную практическую значимость для российского бизнеса.

Кроме непосредственно отслеживания покупок, технология компьютерного зрения в ритейле может быть использована для:

● оценки ассортимента товаров в торговом зале и интенсивности их выбытия;
● аудита корректности раскладки товарных позиций на полке;
● анализа целостности групповой упаковки товаров на палетах и др.

В общем случае, упрощенный подход к созданию CV-решения может выглядеть так:



Для обеспечения возможности внедрения решения необходимо решить ряд задач, связанных с:

● качеством данных;
● воспроизводимостью результатов моделей;
● смещением данных;
● отказоустойчивостью решения.

За последнее десятилетие российский крупный ритейл накопил огромные массивы торговых и неторговых данных, в том числе архивов видеозаписей из торговых залов. Для подготовки наборов данных, подходящих для обучения моделей ИИ, по-прежнему требуется участие инженера, однако его работа уже отчасти автоматизирована, например, такими доступными инструментами, как Roboflow Annotate, которые ускоряют цикл подготовки обучающего набора данных при контроле их качества.

Модели ИИ начинают свое обучение со случайных величин и корректируются в соответствии с данными обучающего набора. Но случайность — это не то, что востребовано бизнесом в реальном мире. Поэтому для воспроизводимости результатов в машинном обучении используют ряд стандартных подходов, таких как фиксация случайного начального числа (random_state). 

Однако при переносе обученной модели в среду эксплуатации лишь этого будет недостаточно. Хорошей практикой (но далеко не единственной) для обеспечения воспроизводимости результатов является раздельное хранение входных данных, их преобразований и признаков, полученных из данных. Ведь проблема заключается в том, что переменные, поступающие на вход модели, не являются признаками, которые она использует в своих вычислениях. 

Например, дата может быть разделена на день недели, месяц и признак выходного дня. Четкое структурирование и сохранение последовательности выделения признаков из входных данных позволят повторять действия с данными и получать ожидаемые результаты.

Также хорошим подходом для создания промышленных систем машинного обучения является построение сквозного воспроизводимого конвейера всех этапов построения CV-решения, к которым можно отнести:

● подготовку данных;
● строительство модели; 
● тренировку и оценку модели;
● развертывание обученной модели в промышленной среде. 

Шаги конвейера описываются при помощи таких решений, как, например, Kubeflow Pipelines, MLFlow и ряда других.

---

Читайте также:  «Центр правды»: как получить преимущества от ошибок и нарушений

---

При этом нужно следить за тем, чтобы данные, поступающие в модель, не сместились относительно тех характеристик, которые были изначально, при обучении модели. Ведь модель ИИ не творит чудес, она лишь воспроизводит выявленные в начальном наборе данных закономерности на новых данных. Этот процесс (смещение данных — data drift) подвергается постоянному мониторингу со стороны систем контроля промышленных решений машинного обучения и своевременно оповещает специалистов по данным для разбора конкретной нестандартной ситуации.

Модель обычно разворачивают в промышленной среде для создания предсказаний на основе данных, которые она (модель) не видела в процессе своего обучения. При этом логично, что модель должна работать отказоустойчиво и не нуждаться в постоянном обслуживании. 

Применительно к CV хорошей практикой является верификация входящего видеопотока на предмет пропущенных кадров, чтобы модель детектирования, или, например, классификации гарантированно имела входные данные. Также возможно построение смешанных архитектур решений (лямбда-архитектур), которые могут обрабатывать как видеопоток в режиме реального времени, так и видео/изображения с временной задержкой, тем самым снижая риски потери интернет-соединения, а также нагрузку на вычислительные мощности в пиковые периоды.

В продолжение темы интерактивного взаимодействия ритейлера и покупателя специалисты компании ITentika подготовили тестовый образец приложения для New Retail Forum 2022, которое может определять жесты и последовательности жестов покупателей, предлагая в ответ на них активное взаимодействие. 

В рамках выставки коммуникация пройдет на стенде компании в игровой форме, поддерживая общую тенденцию к геймификации. Эксперты ITentika специализируются на заказной разработке программного обеспечения и могут решить самые разные задачи – от модернизации отдельных систем до создания стратегии цифровой трансформации розничных компаний. Ждем вас на стенде № 16 29 и 30 сентября!

Подводя итог, можно уверенно сказать, что существующие технические решения в области компьютерного зрения и машинного обучения могут обеспечить удовлетворение актуальных бизнес-задач ритейла в части автоматизации взаимодействия с клиентом, соблюдая при этом базовые условия ведения бизнеса, такие как масштабируемость, воспроизводимость решений, стабильность сервиса. 

Ждем вас на стенде № 16 29 и 30 сентября на New Retail Forum 2022.

Сергей Кузнецов, 
руководитель ритейл-направления, ITentika.

Для New Retail

*На правах рекламы ООО «АЙТЕНТИКА»

16+