Это вторая из пяти статей цикла про SAP Commerce Order Management. Первая, Процессы Order Management, которые никогда не завершаются по таймауту, была про движок процессов под OMS и про десять мест, где заказ ждёт сигнала извне. Эта статья спускается на уровень ниже, к шагу, который решает, откуда поедет товар.

Цикл посвящён механике работы в рантайме и проектным решениям по конфигурации, то есть уровню ниже прикладных руководств на SAP Help Portal. Если механизм там хорошо описан, я даю ссылку вместо пересказа и трачу место на то поведение, в котором приходится разбираться при настройке.

О коде в этой статье

Фрагменты Java ниже — это иллюстративная реконструкция: упрощённый пересказ алгоритма с переименованными переменными и свёрнутыми ветками, цель которого — показать, что делает расчёт. Это не воспроизведение какой-либо реализации, и читать их стоит как схемы. С фрагментами Spring, ImpEx и XSD иначе: это конфигурационные файлы из поставки, и я цитирую их как есть, ведь конфигурационный файл для того и существует, чтобы его читали и меняли.

Выбор точки отгрузки — это задача о назначениях

Покупатель заказывает три товара. Ритейлер держит запасы в национальном распределительном центре, четырёх региональных складах и двухстах магазинах, которые одновременно работают как точки фулфилмента. Что-то должно решить, какая физическая точка отгружает какую позицию, и от этого решения зависит бо́льшая часть затрат и бо́льшая часть клиентского опыта дальше по цепочке.

Между чем приходится выбирать, в отрасли хорошо известно:

Подходы к объединению этих критериев выстраиваются в спектр. На простом конце — упорядоченные списки правил («сначала магазин самовывоза, потом региональный склад, потом РЦ»): о них легко рассуждать, но их трудно оптимизировать. Посередине — простое аддитивное взвешивание: каждый кандидат получает оценку по каждому критерию, оценки нормализуются к общей шкале, умножаются на веса и суммируются. На сложном конце — полноценные солверы, где сорсинг формулируется как задача смешанного целочисленного программирования по всему заказу и решается на минимум общей стоимости. Так работают крупные OMS-продукты, сделанные специально для ритейла.

SAP Commerce использует простое аддитивное взвешивание по четырём критериям, с весами, настраиваемыми для каждого base store. Для коммерческой платформы это разумный выбор, а дальше в статье разобрано, как это взвешивание ведёт себя на практике.

Как устроен шаг сорсинга

Сорсинг читает заказ и запасы и выдаёт план, ничего не записывая. Отдельный шаг аллокации превращает план в консайнменты и события по запасам; о нём будет следующая статья.

Шаги по порядку:

  1. Позиции заказа группируются. Позиции, которые должны ехать вместе (сейчас это позиции с общей точкой самовывоза), образуют один контекст сорсинга.
  2. Собираются и фильтруются склады-кандидаты.
  3. Для контекста выбирается стратегия сорсинга.
  4. Стратегия ранжирует кандидатов по fitness и распределяет количества.
  5. Если нераспределённые количества остались, запускается следующая стратегия, если отработавшая стратегия не помечена как терминальная.

Шаг 2 выполняется в два отдельных этапа, и при чтении Spring-конфигурации это легко пропустить: этапы лежат в разных пакетах, и только у одного из них в названии есть «sourcing».

Двухэтапная фильтрация складов при сорсинге заказа в SAP Commerce

Внешний этап — WarehousesFilterProcessor из пакета warehouse.filter. Эталонный шаблон даёт ему единственный фильтр:

<bean id="defaultWarehousesFilterProcessor"
      class="...warehouse.filter.WarehousesFilterProcessor">
  <property name="filters">
    <list>
      <ref bean="declinedWarehousesFilter"/>
    </list>
  </property>
</bean>

DeclinedWarehousesFilter убирает склады, на которых сейчас действует SourcingBan. Бан создаётся, когда склад отклоняет консайнмент; длительность для причины «слишком загружен» задаётся свойством и по умолчанию равна одному дню:

warehousing.ban.toobusy.days=1

Этот процессор подключён ещё и к стратегии выбора складов, которой пользуется расчёт доступности. Склад, отклонивший консайнмент, выпадает не только из отбора кандидатов, но и из расчёта ATP, и витрина видит бан как снижение доступности. Нужно ли вам это, зависит от сети. В сети из десяти складов эффект трудно заметить, а при двух складах бан на время своего действия вдвое снижает доступность. Если вы хотите, чтобы баны сорсинга оставались внутри сорсинга, это изменение в одну строку.

Внутренний этап — SourcingFilterProcessor, и его фильтры комбинируются через операции над множествами, а не выполняются простой цепочкой:

<bean id="sourcingFilterProcessor"
      class="...sourcing.filter.SourcingFilterProcessor">
  <property name="filters">
    <list>
      <ref bean="deliveryCountryLocationFilter"/>
      <ref bean="pickupLocationFilter"/>
      <ref bean="availabilityLocationFilter"/>
    </list>
  </property>
</bean>

Каждый фильтр объявляет filterResultOperator:

Фильтр Оператор Действие
deliveryCountryLocationFilter NONE заполняет множество складами, обслуживающими страну доставки
pickupLocationFilter OR добавляет (объединением) склад за выбранной точкой самовывоза
availabilityLocationFilter AND пересекает со складами, где товар действительно есть

Первый фильтр в списке должен использовать NONE, потому что объединять пока не с чем. Это требование к порядку подразумевается конфигурацией, но не проверяется ею, поэтому если вы вставляете собственный фильтр в начало списка, дайте ему NONE, а оператор перенесите на фильтр, который раньше был первым.

Расчёт fitness

Когда множество кандидатов готово, ранжирование — это один вложенный цикл по матрице.

Матрица fitness при сорсинге: оценка, нормализация по столбцу, взвешивание, сумма

В эталонном шаблоне четыре фактора, у каждого есть evaluator, который выдаёт сырое число, и нормализатор, который переводит его в диапазон 0–100:

Фактор Вес по умолчанию Сырое значение Normalizer
DISTANCE 50 километры до адреса доставки reverse
ALLOCATION 30 суммарное доступное количество по товарам группы default
PRIORITY 20 Warehouse.priority, целое число reverse
SCORE 0 Warehouse.score, double default

Веса хранятся в SourcingConfig, привязанном к base store, то есть задаются для каждого base store отдельно и меняются в рантайме без деплоя. В руководствах SAP и в проектных шаблонах встречаются и другие примерные раскладки; значение имеет то, что записано в вашей собственной строке SourcingConfig, а любое значение по умолчанию — лишь отправная точка. SCORE поставляется с весом 0: фактор полностью подключён, но бездействует, пока проект не начнёт заполнять Warehouse.score из какого-нибудь внешнего показателя эффективности.

Оба нормализатора умещаются в одну строку:

// иллюстрация
double normalizeDefault(double value, double columnTotal) {
    if (Double.isNaN(value) || Double.isNaN(columnTotal)) {
        return 0d;
    }
    return value / columnTotal * 100d;
}

// иллюстрация
double normalizeReverse(double value, double columnTotal) {
    if (Double.isNaN(value) || Double.isNaN(columnTotal)) {
        return 0d;
    }
    return 100d - value / columnTotal * 100d;
}

«Default» означает «больше — лучше», «reverse» — «меньше — лучше». Расстояние и приоритет используют обратную форму, поэтому приоритет 1 ранжируется выше приоритета 5.

И само ранжирование:

// иллюстрация
double[][] matrix = new double[locations][factors];
double[] columnTotal = new double[factors];

// проход 1 - оценка с накоплением суммы по каждому столбцу
for (int l = 0; l < locations; l++) {
    for (int f = 0; f < factors; f++) {
        matrix[l][f] = evaluatorFor(f).evaluate(location(l));
        columnTotal[f] += matrix[l][f];
    }
}

// проход 2 - нормализация по столбцу, затем взвешивание и сумма
for (int l = 0; l < locations; l++) {
    double fitness = 0d;
    for (int f = 0; f < factors; f++) {
        double norm = normalizerFor(f)
                .normalize(matrix[l][f], columnTotal[f]);
        fitness += norm * weightOf(f) / 100d;
    }
    result[l] = withFitness(location(l), fitness);
}

sortDescendingByFitness(result);

Чтобы добавить фактор, нужны новый бин evaluator, запись в мапе и столбец весов. В следующих двух разделах разобраны свойства этой формулировки, из-за которых на реальных данных получаются неожиданные результаты.

Fitness зависит от набора кандидатов

Нормализация делит на сумму по столбцу среди кандидатов, участвующих в этом запуске. Поэтому оценка точки — это доля от столбца, и она меняется, когда меняется набор кандидатов.

Чаще всего этого не видно, потому что добавление или удаление кандидата масштабирует все оценки в столбце на один и тот же множитель, и порядок сохраняется. Всё меняется, когда суммы двух факторов сдвигаются в разной пропорции: разрыв между двумя точками в одном столбце сокращается быстрее, чем в другом.

Возьмём заказ из двух позиций по пять единиц, который обрабатывает NoSplittingStrategy; она ищет одну точку, способную покрыть всё.

Как кандидат, неспособный выполнить заказ, меняет победителя

При двух кандидатах побеждает WH-B: он на 100 км дальше, но запас у него в пять раз больше, и при весах 50 / 30 преимущество по аллокации перевешивает штраф за расстояние.

Теперь в набор кандидатов попадает третий склад. WH-C находится рядом и держит 500 единиц первого товара и ни одной второго, так что выполнить этот заказ в одиночку он не может. Стратегия проранжирует его, обнаружит, что проверку на отсутствие разбиения он не проходит, и пропустит. Но в обе суммы по столбцам он уже внёс вклад: небольшой в расстояние и очень большой в аллокацию. Разрыв по аллокации между A и B сжимается гораздо сильнее, чем разрыв по расстоянию, и теперь побеждает WH-A.

Так работает нормализация по столбцам в любой модели простого аддитивного взвешивания, и это влияет на то, как такую модель настраивать.

Подбор весов по агрегированным продакшен-данным менее надёжен, чем кажется, потому что одни и те же веса дают разное ранжирование в зависимости от того, сколько кандидатов прошло фильтры для конкретного заказа. При настройке фиксируйте набор кандидатов и меняйте по одному фактору за раз.

Фильтры тоже участвуют в оценке. Фильтр, который отсекает неправдоподобного кандидата, улучшает ранжирование всех остальных, поэтому ужесточить SourcingFilterProcessor дешевле, чем перебалансировать веса.

Если относительная оценка вашему бизнесу не подходит, можно написать собственный FitnessNormalizer, который переводит сырое значение в абсолютную шкалу (например, километры относительно фиксированного потолка в 500 км), и зарегистрировать его в fitnessNormalizerMap для нужных факторов. Нормализатор получает сумму по столбцу и вправе её игнорировать.

Как работает фактор расстояния

Значение — это расстояние по дуге большого круга в километрах, вычисленное по формуле гаверсинусов с радиусом Земли 6372,8 км. Дороги и время в пути оно не учитывает. В плотной городской застройке и везде, где мешают реки, горы или границы, ошибка систематическая и всегда в одну сторону. Проекты, которым это важно, обычно заменяют DistanceEvaluator на реализацию, которая обращается к сервису маршрутизации и агрессивно кеширует, ведь evaluator вызывается для каждого кандидата при каждой попытке сорсинга.

Чтобы вычислить расстояние, у адреса доставки должны быть координаты. Их записывает GeocodeShippingAddressAction — шаг процесса заказа, который выполняется непосредственно перед сорсингом и полностью пропускается для заказов с самовывозом. Он делегирует работу бину geoServiceWrapper.

Эталонная реализация за этим алиасом — заглушка, которая возвращает координаты для любого адреса и никогда не сообщает об ошибке:

<alias alias="geoServiceWrapper"
       name="defaultCommerceMockGeoWebServiceWrapper"/>
<bean id="defaultCommerceMockGeoWebServiceWrapper"
      class="...storelocator.impl.CommerceMockGeoWebServiceWrapper">
  <property name="baseStoreService" ref="baseStoreService"/>
  <property name="countryIsoGPSLocationMap"
            ref="countryIsoGPSLocationMap"/>
</bean>

В countryIsoGPSLocationMap девять стран — CN, JP, US, GB, GG, IM, JE, DE, CA — плюс DEFAULT с широтой 0 и долготой 0. Любой адрес в стране из списка геокодируется в одну и ту же фиксированную точку этой страны; любой адрес в остальном мире — в Гвинейский залив.

Получается, что на свежеустановленной системе фактор расстояния измеряет расстояние от каждого склада до одной из десяти фиксированных точек на Земле. Все заказы с доставкой в одну и ту же страну дают одинаковое ранжирование по расстоянию независимо от реального адреса. Для демо и интеграционных тестов этого достаточно, а подключение настоящего геокодера — задокументированный и несложный шаг: замена алиаса на GoogleMapsServiceWrapper занимает две строки. Я упоминаю это потому, что до такой замены результаты сорсинга выглядят вполне правдоподобно, и её легко отложить на потом, а затем потратить день на выяснение, почему ближайший магазин никогда не выигрывает.

Одна отсутствующая координата выключает весь фактор

Второе свойство расстояния касается и всех остальных факторов.

DistanceSourcingLocationPopulator записывает в расстояние null в пяти разных случаях: у заказа нет адреса доставки; у склада нет точки обслуживания; у точки обслуживания нет адреса; у адреса заказа нет широты или долготы; у точки обслуживания нет широты или долготы. В каждом случае пишется строка уровня INFO, и обработка идёт дальше.

// иллюстрация
if (deliveryAddress == null) {
    log.info("no delivery address; distance is null");
    target.setDistance(null);
    return;
}
PointOfServiceModel pos = posSelection.get(order, warehouse);
if (pos == null || pos.getAddress() == null) {
    log.info("no usable point of service; distance is null");
    target.setDistance(null);
    return;
}
// ... проверки широты и долготы устроены так же ...
target.setDistance(haversine(posLat, posLon, addrLat, addrLon));

DistanceEvaluator превращает этот null в Double.NaN. Первый проход добавляет каждое сырое значение в сумму по столбцу, так что одного NaN достаточно, чтобы вся сумма по столбцу стала NaN. Второй проход передаёт эту сумму нормализатору, а тот возвращает 0, если любой из аргументов — NaN, причём для каждой строки, включая те, где расстояние корректное.

Одно null-расстояние обнуляет столбец расстояния у всех кандидатов

Фактические веса становятся 0 / 30 / 20. Сорсинг по-прежнему выдаёт правдоподобный ответ с обычным выводом в лог, но для этого заказа расстояние больше не учитывает. Для этого достаточно одного распределительного центра без привязанной точки обслуживания или одного магазина, адрес которого импортировали без координат.

Тот же механизм действует и для других факторов. Warehouse.priority — это Integer без значения по умолчанию, поэтому у склада, созданного через ImpEx без явного приоритета, там null, и он убирает фактор приоритета из каждого заказа, в котором участвует как кандидат. У Warehouse.score значение по умолчанию 0, так что с ним безопаснее, но проект, который заполняет его из внешнего источника, может снова получить ту же дыру.

На проекте, который полагается на сорсинг, я бы добавил в пайплайн деплоя проверку данных: у каждого склада, который может стать кандидатом сорсинга, есть точка обслуживания с координатами и непустой приоритет. Ещё я бы добавил собственные evaluator'ы, которые вместо NaN подставляют заданное запасное значение (большое расстояние для неизвестной точки, средний приоритет для незаданного), чтобы пробел в данных ухудшал оценку одного кандидата, а не выключал целый критерий.

Фактор аллокации измеряет глубину запаса

AllocationFitnessEvaluator суммирует по всем позициям заказа в контексте сорсинга доступное в точке количество товара каждой позиции:

// иллюстрация
double evaluate(SourcingLocation location) {
    long total = 0L;
    for (AbstractOrderEntryModel entry : contextEntries(location)) {
        Long available = location.getAvailability()
                                 .get(entry.getProduct());
        total += (available == null) ? 0L : available;
    }
    return (double) total;
}

Это мера глубины запаса в паре с нормализатором default, то есть больше — лучше. С точки зрения бизнеса это значит «предпочитай точку, где товар закончится с наименьшей вероятностью», и для сети, где длинный хвост лучше сохранять, чем распродавать, это обоснованное значение по умолчанию.

Название наводит на другую мысль, поэтому скажу прямо: фактор не измеряет, какую часть заказа точка может покрыть, и не измеряет, сколько останется нераспределённым. Точка с 1000 единиц получает оценку намного выше, чем точка ровно с теми 10, которые нужны заказу, хотя обе покрывают заказ полностью. Суммирование по позициям вместо минимума даёт тот же эффект: точка с большим запасом одного товара и нулём другого может обойти точку, где есть понемногу всего.

Правильная ли это цель — вопрос бизнеса, и ответ зависит от категории. Если вам нужно покрытие, а не глубина, изменение небольшое и изолированное: собственный evaluator, возвращающий нераспределённый остаток и зарегистрированный в fitnessEvaluatorMap под ключом ALLOCATION:

// иллюстрация - меньше значит лучше, поэтому при регистрации
// ставьте в пару нормализатор reverse
double evaluate(SourcingLocation location) {
    long shortfall = 0L;
    for (AbstractOrderEntryModel entry : contextEntries(location)) {
        long needed = unallocatedQuantity(entry);
        long available = availabilityOf(location, entry);
        shortfall += Math.max(0L, needed - available);
    }
    return (double) shortfall;
}

Evaluator'у, у которого меньше значит лучше, нужен нормализатор reverse, а fitnessNormalizerMap индексируется по фактору, поэтому меняйте обе записи вместе, иначе фактор инвертируется. Именно здесь чаще всего ошибаются с собственными факторами: инвертированный фактор не бросает исключение и ставит худшего кандидата на первое место.

Стратегии сорсинга и флаг terminal

Стратегия сорсинга решает, как ранжированные кандидаты превращаются в назначения. Эталонный шаблон поставляет три стратегии.

NoSplittingStrategy ранжирует кандидатов и берёт первого, кто может полностью покрыть каждую позицию группы. Если такого нет, она ничего не назначает и помечает результат как неполный.

// иллюстрация
List<SourcingLocation> ranked = fitnessService.sortByFitness(ctx);
ranked.stream()
      .filter(loc -> coversEveryLine(ctx.getOrderEntries(), loc))
      .findFirst()
      .ifPresent(best -> ctx.getResult().getResults()
              .add(resultFactory.create(ctx.getOrderEntries(), best)));
ctx.getResult().setComplete(isFullyAssigned(ctx));

NoRestrictionsStrategy проходит по ранжированному списку и забирает из каждой точки сколько может, пока заказ не будет покрыт. Это жадный проход без глобальной цели, и число посылок получается как следствие ранжирования.

Две стратегии выполняются последовательно, сначала NoSplittingStrategy, — так эталонный шаблон выражает принцип «лучше одна посылка, но можно и несколько». Если для вашего бизнеса важнее всего, чтобы заказ уехал целиком, учтите, что у этого предпочтения нет веса: оно выражено только порядком в списке. Проекту, которому нужен настраиваемый компромисс, нужна стратегия, явно назначающая стоимость разбиению.

PickupStrategy обслуживает click-and-collect. Её выбирает маппер, а не позиция в списке:

<bean id="pickupSourcingStrategyMapper"
      class="...strategy.mapper.impl.PickupSourcingStrategyMapper">
  <property name="strategy" ref="pickupSourcingStrategy"/>
</bean>

Маппер срабатывает, когда у каждой позиции контекста есть deliveryPointOfService. Логика после этого тривиальна, потому что точку покупатель уже выбрал сам.

Ещё в бине задано свойство, которое другие стратегии оставляют по умолчанию:

<bean id="defaultSourcingPickupStrategy"
      class="...sourcing.strategy.impl.PickupStrategy"
      parent="abstractSourcingStrategy">
  <property name="posSelectionStrategy" ref="posSelectionStrategy"/>
  <property name="terminal" value="true"/>
</bean>

terminal="true" останавливает цепочку стратегий. Если в выбранном магазине товара не хватает, стратегия назначает то, что есть, помечает контекст как неполный, и больше никакая стратегия не запускается. Заказ с самовывозом никогда не перенаправляется в другую точку. Я считаю это правильным поведением по умолчанию: покупатель, который выбрал магазин, чтобы прийти туда, не хочет, чтобы его заказ без спроса отправили откуда-то ещё.

Но это значит, что частичное выполнение самовывоза становится вопросом бизнес-процесса, а не сорсинга. Остаток лежит нераспределённым, пока кто-то или что-то на него не отреагирует, и решить, что именно (уведомить и ждать, предложить разбиение, перевести остаток в доставку), нужно в проектном чек-листе. Эталонный шаблон оставляет это открытым, и при запуске с неизменённым шаблоном это легко упустить.

Чек-лист перед запуском

Проектные решения из этой статьи:

Область Что решить
Геокодирование заменить заглушку; проверить, что координаты попадают в адреса, а не в точки стран
Данные складов у каждого кандидата есть точка обслуживания с координатами и непустой приоритет
Запасные значения факторов собственные evaluator'ы возвращают заданное значение вместо NaN
Веса задать SourcingConfig для каждого base store по своей модели затрат, а не по значениям по умолчанию
Семантика ALLOCATION убедиться, что вам нужна именно глубина запаса, а не покрытие
Баны сорсинга решить, должен ли отклонивший склад выпадать ещё и из ATP
Фильтры ужесточить SourcingFilterProcessor, ведь фильтры влияют не только на состав кандидатов, но и на оценки
Нехватка при самовывозе определить, что происходит с остатком, когда в магазине самовывоза не хватает товара
Стоимость разбиения если число посылок важно, задать ему явную стоимость, а не полагаться на порядок стратегий

Большая часть этого — изменения конфигурации или небольшие бины; сам движок можно оставить как есть.

Следующая статья цикла (не знаю, как скоро..): доступность к продаже без резервирования. Расчёт ATP собирается через рефлексию из элемента формулы, чьи булевы свойства сопоставляются с именами методов DAO, а количества, определяющие состояние заказа (allocated, shipped, pending, unallocated), — динамические атрибуты, и это напрямую сказывается на всех, кто пытается строить по ним отчёты в SQL.