Предсказание будущего: как использовать ML-модели и ИИ в прогнозировании спроса

@Freepic



Эксперт по прогнозированию в Napoleon IT Андрей Кубрин рассказывает, какие задачи решает современный подход к прогнозированию, на какие технологии стоит обратить внимание и как бизнесу преодолеть основные барьеры на пути к успешной цифровой трансформации в этой области.

Сбор внутренних и внешних данных для прогноза

Вопрос прогнозирования спроса невозможен без качественных данных. Сегодня для управления информационными потоками большинство компаний используют системы управления базами данных (СУБД) — MS SQL, PostgreSQL. С помощью ETL-инструментов автоматизируется извлечение исходных данных, их преобразование к единому формату и загрузка в хранилище. 

Самый типичный сценарий: из разных источников стекаются данные из справочников (продукты, магазины, клиенты, регионы), транзакции (история продаж, запасы, промо), а также внешняя информация (макроэкономические показатели, погода и конкуренты).

Все это «сырье» служит основой для построения прогностических моделей. Многие компании уделяют особое внимание справочникам: ведь чем лучше размечены товары, чем подробнее описаны атрибуты магазинов, тем шире и глубже становится набор признаков, которые можно использовать при настройке моделей. Не менее важны и исторические транзакционные данные: если мы говорим о товарном ритейле, то именно от точных цифр продаж и остатков зачастую зависит, как алгоритм увидит закономерности и учтет сезонность или влияние акций.

Но чтобы модель прогнозирования была действительно «умной», недостаточно фокусироваться лишь на внутренней информации. Макроэкономические метрики (ВВП, уровень безработицы, ключевая ставка), календари праздников и крупных региональных событий, погодные факторы — все это во многих сферах напрямую воздействует на конечный потребительский спрос.

Так, для ритейла и FMCG, особенно если речь о производстве напитков, мороженого, сезонной одежды, метеоданные могут играть решающую роль. При повышении температуры продажи прохладительных напитков и легкой одежды, как правило, растут, а при ухудшении погоды розничные сети могут столкнуться с резкими скачками и сбоями спроса по отдельным категориям товаров. Но это не всегда и для всех важно, например, производители жевательной резинки на погоду никак не ориентируются.

Для B2B или промышленных предприятий критичным может оказаться трекер конкурентных цен, настроений на рынке, запуск новых продуктов у других производителей. Все это в перспективе можно и нужно закладывать в модели, если мы хотим получить по-настоящему точный прогноз.

Применимость ML-моделей и ИИ для прогнозирования

Вопрос о том, насколько современные технологии делают прогнозирование точнее, сейчас особенно актуален. Раньше компании чаще всего полагались на классические модели прогнозирования временных рядов, к примеру модели Хольта-Винтерса или Тейла-Вейджа. Сейчас же с расширением рынка экспертов и появлением более мощных инструментов ML-модели демонстрируют внушительный прогресс.

Автоматизация подбора гиперпараметров (AutoML) расширяет круг компаний, способных внедрять ML-модели без привлечения узких специалистов по Data Science. Однако автоматизированный поиск гиперпараметров должен сопровождаться строгим контролем качества модели для своевременного выявления переобучения. Лучшие же результаты достигаются при ансамблировании ML-моделей, объединяя предсказания нескольких алгоритмов, что позволяет компенсировать ошибки отдельных моделей и существенно повысить точность и стабильность итоговых прогнозов. 

Конечно, нет «волшебной таблетки», которая решит все задачи. Эффективность той или иной модели прогнозирования во многом зависит от характера данных и продаваемых товаров.

Сезонность и тренды

При ярко выраженной сезонности спроса (например, праздничные пики продаж, еженедельные циклы) специализированные сезонные модели зачастую дают наилучший результат. Классические подходы, как SARIMA или регрессионные модели с сезонными индикаторами, способны явно учитывать сезонные компоненты и справляются с этой задачей эффективно. 

Также получил распространение алгоритм Prophet – он специально разработан для бизнес-временных рядов с праздниками и трендами, позволяя пользователю добавлять в модель знания о важных событиях (выходные, распродажи и т.п.). Если же использовать нейросети, то необходимо либо снабдить их достаточным количеством данных, чтобы они сами «выучили» сезонные шаблоны, либо вводить сезонные фичи (например, номер месяца, дня недели, индикаторы праздников) как входные параметры. 

В условиях стабильной годовой цикличности традиционные методы могут быть не хуже современных: например, модели экспоненциального сглаживания (ETS) успешно прогнозируют продажи товаров с постоянной сезонностью и трендом, зачастую не уступая по точности более сложным алгоритмам.

С другой стороны, когда тренды быстро меняются или присутствуют нелинейные эффекты (например, стремительный рост категории или резкий спад спроса), ML-модели могут быстрее адаптироваться к новым паттернам за счет регулярного дообучения на новых данных. В целом, под стабильные сезонные ряды – хорошим выбором будут SARIMA/ETS/Prophet, а для динамично меняющихся трендов – пригодятся методы с постоянным обучением или частым обновлением модели (например, регулярный перерасчет XGBoost или рекуррентные сети с дообучением).

Ассортимент и группировка товаров

Различные товарные категории ведут себя по-разному, и оптимальные модели для них могут различаться. Например, товары с непрерывным массовым спросом (продукты питания, FMCG) обычно хорошо прогнозируются классическими методами с поправкой на сезонность и тренды – их спрос относительно устойчив. 

Товары с разрывным спросом (медленно реализуемые товары, long-tail), такие как запчасти, товары для хобби, дорогая техника – здесь традиционные методы часто дают сбои. Для таких SKU нужны специальные подходы: современные решения предлагают вероятностное прогнозирование спроса, оценивая распределение вероятностей для числа продаж в период.

Это позволяет лучше рассчитывать необходимые запасы под заданный уровень сервиса. В практике крупных ритейлеров применяется сегментация ассортимента по типам спроса (быстро оборачиваемый, сезонный, медленно оборачиваемый, новинки и т.д.) с последующим выбором модели под каждый сегмент. Например, товары группы A могут прогнозироваться моделью XGBoost с промо-факторами, товары группы B – сезонным ARIMA, C – вовсе на основании экспертных оценок из отдела закупок (если данных почти нет). На практике нередко используется ансамбль из разных моделей для разных товарных групп или временных горизонтов прогноза.

---

Читайте также: Модный AI: как AI-технологии помогают фэшн-индустрии и фэшн-ритейлу

---

Горизонт прогнозирования

Краткосрочные прогнозы (на неделю или на месяц вперед) и долгосрочные (план на год) предъявляют разные требования. Краткосрочный прогноз с высокой детализацией (день/неделя) критичен для оперативного управления запасами. Здесь нейросети и ML особенно полезны, так как могут в режиме реального времени перерабатывать свежие данные (продажи последних дней, текущие остатки, недавние события) и обновлять прогноз. Например, продвинутые алгоритмы на базе трансформеров интегрируют поток данных (в том числе онлайн-сигналы) и выдают высокоточные прогнозы на ближайшие дни.

Долгосрочные прогнозы (на 6–12 месяцев) чаще опираются на агрегированные данные и стратегические допущения. Здесь избыточная сложность модели может быть неоправданна, поскольку за длинный горизонт ситуация на рынке может существенно измениться, так как модель, обученная на прошлом, теряет актуальность. Поэтому для годовых прогнозов спроса компании нередко используют комбинацию базовых статистических трендов и экспертной оценки руководителей категорий. 

ML-модели тоже применяются для прогнозирования на кварталы вперед, но их предсказания обычно сопровождаются большим доверительным интервалом. Многие ритейлеры внедряют иерархическое прогнозирование: сначала модель прогнозирует совокупный спрос по категории/региону, затем распределяет его вниз по магазинам/SKU. Для этого хорошо подходят методы машинного обучения, умеющие обрабатывать иерархические временные ряды.


@Freepic

Барьеры при внедрении технологий в прогноз

● Качество данных

Практика показывает, что первое и самое серьезное препятствие — плохое качество данных. У многих компаний в базе встречаются дубли, пропуски, информация, хранящаяся в разных форматах. Процессы очистки и унификации, а также построение надежных интеграций могут затянуться на месяцы, особенно если на старте не уделялось должного внимания подготовке.

● Сложность интеграции в бизнес-процессы

Второй барьер — согласование между разными подразделениями. Прогнозирование затрагивает и логистику, и маркетинг, и финансы: всем им нужны отчеты, и все они готовы вносить правки. Согласовать роль каждого отдела в едином бизнес-процессе порой сложнее, чем запустить саму модель.

● Сопротивление переменам

Третий барьер — внутренняя культура и сопротивление переменам. Когда сотрудники годами строят планы в Excel, любая новая система встречает естественную настороженность. Люди опасаются за стабильность привычного процесса и за необходимость переучиваться. Задача топ-менеджмента — мотивировать участников проекта, давать конкретные аргументы и видение, зачем компании переход на более продвинутые инструменты.

● Финансирование проекта

Четвертая причина — ограничения по бюджету и инфраструктуре. Современные системы могут требовать значительных расходов, особенно если речь идет о платформенных решениях, облачных сервисах, больших объемах хранилищ и найме квалифицированной команды. Нередко компании ждут молниеносной окупаемости, хотя реальные результаты проявляются через полгода-год после внедрения, когда система становится зрелой и накоплены релевантные исторические данные.

● Ошибки моделей и их последствия

Даже лучшая модель не застрахована от ошибок. В случае прогнозирования спроса ошибки напрямую влияют на бизнес-показатели: недооценили спрос – получили out-of-stock и потерянные продажи; переоценили – затоваривание и списания. 

Снижение ошибок на несколько процентов может давать миллионы экономии для крупного ритейлера, но и наоборот – чрезмерное доверие сырым моделям может привести к убыткам. Поэтому компании часто идут на постепенное внедрение: сначала используют AI-прогноз как рекомендацию, параллельно с человеческим прогнозом, сверяют и вносят корректировки.

Полностью автоматическое управление запасами на основе AI – конечная цель, но ее достижение требует уверенности, что уровень ошибки приемлем. В реальности многие используют гибридный подход: модель дает прогноз, менеджер при необходимости его корректирует (особенно для акционных позиций, разовых событий). Такой симбиоз позволяет достичь наивысшей точности, хотя и требует организационных изменений.

Прогнозирование спроса — это не просто набор модных терминов и технологий. Это многоуровневый процесс, влияющий практически на все аспекты бизнеса: от складских операций и маркетинга до стратегии развития. Роль данных при этом выходит на первый план: без полноты и качества информационных потоков невозможно выстроить эффективную модель. Однако чистые данные — еще не гарант успеха: технологиям нужна поддержка со стороны управленческих решений, пересмотра процессов и корпоративной культуры.

Необходимо смотреть на прогнозирование спроса как на совокупность трех основ: качество данных, технологические инструменты и бизнес-эффективность. Без одного из этих элементов эффективность проекта снижается, и цель — будь то рост выручки, повышение рыночной доли или снижение складских остатков — достигается не в полной мере. Поэтому, вкладываясь в прогнозирование спроса, компания не просто получает «технологическую игрушку», а фундамент для долгосрочного развития.

Андрей Кубрин,
Эксперт по прогнозированию в Napoleon IT 

Для NEW RETAIL