Переделать парсер OLX
Необходим переписать (либо написать с нуля) парсера на js (js-файл предоставлю) для новых целей.
Как работал парсер. На вход подавались урлы категорий и глубина парсинга, собирались данные c объявления. Post запросом отдавалось на бэк, где уже распихивалось в базу. Каждому параметру (атрибуту) соответствует id.
В новой версии на вход должен подаваться csv файл с урлами конкретных объявлений. Должны собираются все параметры (практически все, в старом парсере можно посмотреть и id и параметры) кроме имя и телефона автора объявления. Формат передачи данных можно в прошлом парсере посмотреть. Там основная загвоздка это атрибуты. Нужно сопоставить атрибуты с олх с внутренними idшниками этих атрибутов.
30.07.2020 14:32