marketplace-harvester — збір каталогів і репрайсинг для Prom.ua, Rozetka та OLX
Огляд
Збирає каталоги товарів з маркетплейсів і магазинів конкурентів — Prom.ua, Rozetka, OLX та подібних — нормалізує їх і віддає в тому форматі, який імпортує магазин: фіди YML, XML або CSV для OpenCart, Shopify, WooCommerce чи Prom.ua, або одразу в KeyCRM. Модуль репрайсингу щодня порівнює ціни й або попереджає в Telegram, або сам коригує маржу. Це замінює ручне копіювання карток товарів (фото, описи, характеристики) і запізнілу зміну цін, яка за ним іде.
Складні місця та як вони закриваються
| Складне місце | Як закривається |
|---|---|
| Рендерити цілі HTML-сторінки повільно й важко | Де маркетплейс дає публічні чи мобільні ендпоінти — працюємо з ними; headless-браузер (Playwright) лише для сторінок без API |
| Картки товарів глибокі: варіанти, атрибути, залишки, оптові ціни | Витягується повне дерево категорій і кожен варіант (колір, розмір), оригінальні фото в повній якості |
| Кожен магазин імпортує свій формат фіда | Одна нормалізована модель і генератори YML / XML / CSV під цільову платформу — імпорт в один клік |
| Ціни розходяться, поки за ними ніхто не стежить | Планове порівняння 10 000+ артикулів із попередженням у Telegram або автокоригуванням маржі |
Як це працює
- Збір. API-first читачі для Prom.ua, Rozetka й OLX, headless-браузер як запасний варіант, пул сесій і проксі з ротацією, щоб запуск не зупинявся на першому ж блокуванні.
- Очищення. Дедуплікація, відповідність категорій цільовому дереву, нормалізація атрибутів і варіантів.
- Доставка. Готові до імпорту фіди або запис у CRM за розкладом.
- Репрайсинг. Щоденне порівняння цін; попередження або автоматична зміна маржі.
Також: marketplace-catalog-sync, feedsync, crmbridge.
Стек
Go · Playwright · PostgreSQL · Redis · генератори YML / XML / CSV · KeyCRM API · Docker