Почему дубли в базе поставщиков мешают автоматизации закупок

У одного поставщика может быть несколько карточек: одна в ERP, другая в CRM, третья — на внутреннем портале. В одной системе компания указана под юридическим наименованием, в другой — под брендом, а отдельные профили могут быть созданы для филиалов.

Сотрудник отдела закупок обычно понимает, что речь идет об одной компании. Однако отчеты и автоматизированные системы без явной связи между карточками могут учитывать их как разных поставщиков. 

Из-за этого история заказов, возвратов и просрочек оказывается разделена между несколькими профилями. Компания не видит полный объем работы с контрагентом, а его рейтинг рассчитывается по неполным данным. Особенно заметной проблема становится при автоматической оценке поставщиков: ИИ-инструменты и другие системы наследуют эту фрагментацию данных. 

Откуда берутся дубли 

Чаще всего повторяющиеся карточки появляются в процессе обычной работы. Сотрудник ищет поставщика по названию бренда, хотя в базе он записан как юридическое лицо. Не найдя нужную запись, сотрудник создает новый профиль. 

Дубли также возникают при импорте данных из внешних каталогов, в которых названия, адреса и контакты представлены в другом формате. Со временем количество таких записей увеличивается.

«Для человека полное юридическое наименование и короткое название бренда могут обозначать одну компанию. Система не сделает такой вывод сама, если между записями нет явной связи», — объясняет Шади Эльяфи, senior backend-инженер B2B-платформы Fullinfo.

При этом не все похожие карточки являются дублями. Поставщик может работать через несколько юридических лиц, у каждого из которых свои договоры, счета и финансовая история. В таком случае записи нужно связать между собой, но не обязательно объединять в одну.

---

Читайте также: Контроль качества 2.0: как ритейл переходит на предиктивное управление и экономит миллиарды

---

Как дубли искажают данные 

Когда сведения разделены между несколькими карточками, закупочный отдел получает неполную картину. В одном профиле может храниться история крупных заказов, а в другом — информация о просрочках, возвратах или претензиях. 

Система рассчитывает показатели отдельно для каждой записи. В результате надежный партнер может выглядеть как новый поставщик без истории, а проблемный контрагент — получить завышенную оценку. 

Дубли мешают оценивать и общий объем закупок. Разные менеджеры могут независимо вести переговоры с одним поставщиком и получать разные коммерческие условия. Финансовый отдел не увидит совокупный объем обязательств, а история коммуникации окажется распределена между несколькими системами.

«Компания может считать, что работает с несколькими небольшими поставщиками, хотя фактически за ними стоит одна группа», — говорит Шади.

@Freepik (лицензия INV-C-2024-8250540)

Почему нельзя искать совпадения только по названию 

Название компании может быть написано с сокращениями, опечатками или на другом языке. После ребрендинга часть систем продолжает использовать старое наименование. Международный поставщик может фигурировать одновременно под локальным и английским брендами.

Поэтому две записи об одной организации иногда выглядят совершенно по-разному. 

Но автоматически объединять все похожие названия тоже нельзя: у независимых компаний могут быть близкие или даже одинаковые наименования. Перед сопоставлением данные необходимо привести к единому формату, а затем сравнить несколько признаков: 

● регистрационные идентификаторы;

● домены и адреса сайтов;

● телефоны и электронную почту;

● юридические и фактические адреса;

● банковские реквизиты;

● сведения о филиалах и материнских компаниях.

Совпадение нескольких признаков повышает уверенность в том, что записи относятся к одному поставщику, но не всегда дает однозначный результат. Спорные случаи лучше передавать сотруднику на проверку.

Почему ошибочное объединение опаснее дубля

Если система ошибочно объединит разных поставщиков, их заказы, договоры, реквизиты и финансовая история окажутся в одном профиле. Затем некорректные сведения могут попасть в отчеты и повлиять на закупочные решения.

Исправить такую ошибку будет сложно, особенно если система не сохраняет историю изменений. Поэтому каждое объединение необходимо фиксировать, а исходные записи — сохранять с возможностью восстановления.

«Если система не уверена в совпадении, безопаснее оставить две карточки и отправить их на проверку», — считает Шади.

Записи, совпадающие по надежным юридическим идентификаторам, можно обрабатывать автоматически. Пограничные случаи требуют участия человека. Особенно это важно при работе с группами компаний, у которых несколько брендов, филиалов и юридических лиц.

Такие профили часто нужно не объединять, а связывать между собой, сохраняя отдельные договоры, счета и историю операций.


@Freepik (лицензия INV-C-2024-8250540)

Что меняется после подключения ИИ

AI-системы используют данные, которые уже хранятся в ERP, CRM, внутренних каталогах и аналитических системах. Если один поставщик представлен несколькими несвязанными карточками, модель будет воспринимать их как разные организации. 

При ошибочном объединении произойдет обратная проблема: сведения о разных компаниях смешаются в одном профиле и могут попасть в итоговый ответ. При этом вывод AI-системы может выглядеть логичным и убедительным.

«ИИ не проверяет, правильно ли компания выстроила связи между карточками поставщиков. Если исходные данные неверны, хорошо сформулированный ответ все равно будет ошибочным», — говорит Шади.

До внедрения AI-инструментов компании стоит проверить, как в ее системах связаны бренды, филиалы, группы компаний и юридические лица. Также необходимо определить основной источник данных и назначить ответственных за проверку спорных записей.

Как снизить количество дублей

Очистка базы не должна быть разовой задачей. Перед созданием новой карточки система может показывать сотруднику возможные совпадения по названию, домену, адресу и юридическим идентификаторам.

Данные из внешних источников стоит проверять и нормализовать до импорта. Начать очистку можно с поставщиков, которые сильнее всего влияют на отчетность, закупочные лимиты и финансовые риски.

Так компания получает более точную историю взаимодействия с контрагентами, корректные рейтинги поставщиков и достоверные данные для автоматизации. Кроме того, единое представление о поставщике помогает учитывать совокупный объем закупок и занимать более сильную позицию на переговорах.

Главный принцип заключается не в том, чтобы автоматически объединить как можно больше записей, а в том, чтобы правильно определить отношения между ними: где находится настоящий дубль, где — отдельное юридическое лицо, а где — связанная компания внутри одной группы.

Для NEW RETAIL