Обновление свойства у 240 тысяч товаров за 15 минут

Задача компании

Каталог насчитывал 240 тысяч товарных позиций. Массовые изменения передавались из 1С на сайт за 5–10 часов в зависимости от объёма обновления.

Пока выполнялся обмен, покупатель мог увидеть устаревшую цену или оформить заказ на отсутствующий товар.

Что выявил при разборе

• При каждом обмене передавался полный каталог. Это увеличивало длительность обновления и затрудняло обработку ошибок.
• Значительная часть передаваемых данных не менялась с предыдущей выгрузки.
• Задержки обновления создавали дополнительную работу: сотрудники сверяли данные и уточняли заказы у клиентов.

Что внедрил

• Перестроил обмен так, чтобы передавались изменения, а не весь каталог целиком.
• Настроил регулярный обмен и журнал обработки: какие данные обновлены, когда выполнена передача и где возникла ошибка.
• Разделил передачу характеристик, цен и остатков, чтобы длительная обработка одной группы данных не задерживала остальные.

Результат

• Массовое обновление одного свойства у 240 тысяч товарных позиций занимает не больше 15 минут. Раньше такое обновление занимало 5–10 часов в зависимости от объёма изменений.
• Сократилось количество заказов на отсутствующий товар и связанных с ними уточнений у клиентов.
• Сократилась потребность в ручной сверке сайта с учётной системой.

Как это устроено технически: Обмен с 1С, инкрементальные выгрузки, очередь заданий, журнал обмена с ошибками.