Кейс / Парсеры поставщиков

Парсеры каталогов поставщиков: Tinko, Dahua, AccordSB и ST-TM

Разработали набор парсеров для товарных каталогов и прайсов: сбор карточек, изображений, характеристик, разделов, прогресса выполнения, JSON-выгрузок и подготовка данных к импорту в Bitrix.

Python requests BeautifulSoup lxml openpyxl JSON PHP 1C-Битрикс CSV/XLSX
4источника данных
JSONединый формат выгрузки
Imagesсбор и дедупликация изображений

Задача

Команде нужно было регулярно получать чистые товарные данные из разных источников: сайты поставщиков, AJAX-каталоги, XLSX-прайсы с изображениями и каталоги с пагинацией. Ручной сбор занимал много времени и давал ошибки.

Решение

  • Tinko: проход по ID товаров, извлечение карточек, изображений, характеристик, разделов и прогресса.
  • Dahua: разбор XLSX, извлечение полноразмерных изображений из workbook/drawing XML, дедупликация и JSON-экспорт.
  • AccordSB: обход разделов каталога, пагинация, режимы test/full/update, конфиг задержек и сохранение прогресса.
  • ST-TM: AJAX/PAGEN-парсинг каталога, сортировка, пропуск служебных разделов, режимы full/update.
  • Bitrix import PHP-скрипты, истории импорта, логи и конфиги сопоставления данных.

Результат

Парсеры превратили разрозненные каталоги поставщиков в управляемые JSON-наборы: данные можно проверять, сопоставлять, импортировать в Bitrix и обновлять без ручного копирования.

01

Разные источники

Сайты, AJAX-каталоги и XLSX-прайсы обрабатываются отдельными парсерами под структуру каждого поставщика.

02

Контроль процесса

Прогресс, конфиги задержек, режимы test/full/update и логи помогают безопасно запускать долгие сборы.

03

Медиа и характеристики

Парсеры собирают изображения, характеристики, разделы, артикулы и описания, а не только названия товаров.

04

Подготовка к Bitrix

JSON-выгрузки, import_history и PHP-импорт упрощают перенос данных в каталог 1C-Битрикс.

Обсудим проект

Опишите задачу, а мы предложим следующий шаг

Достаточно двух-трех предложений. Вернемся с уточняющими вопросами, вариантом первого релиза и понятной логикой запуска.

смета после брифа архитектура до кода релиз по этапам