Задача
Команде нужно было регулярно получать чистые товарные данные из разных источников: сайты поставщиков, AJAX-каталоги, XLSX-прайсы с изображениями и каталоги с пагинацией. Ручной сбор занимал много времени и давал ошибки.
Разработали набор парсеров для товарных каталогов и прайсов: сбор карточек, изображений, характеристик, разделов, прогресса выполнения, JSON-выгрузок и подготовка данных к импорту в Bitrix.
Команде нужно было регулярно получать чистые товарные данные из разных источников: сайты поставщиков, AJAX-каталоги, XLSX-прайсы с изображениями и каталоги с пагинацией. Ручной сбор занимал много времени и давал ошибки.
Парсеры превратили разрозненные каталоги поставщиков в управляемые JSON-наборы: данные можно проверять, сопоставлять, импортировать в Bitrix и обновлять без ручного копирования.
Сайты, AJAX-каталоги и XLSX-прайсы обрабатываются отдельными парсерами под структуру каждого поставщика.
Прогресс, конфиги задержек, режимы test/full/update и логи помогают безопасно запускать долгие сборы.
Парсеры собирают изображения, характеристики, разделы, артикулы и описания, а не только названия товаров.
JSON-выгрузки, import_history и PHP-импорт упрощают перенос данных в каталог 1C-Битрикс.
Достаточно двух-трех предложений. Вернемся с уточняющими вопросами, вариантом первого релиза и понятной логикой запуска.