Русский  English  Все проекты

Парсер для сайта



Здравствуйте.


Есть сайт с доступом по логину и паролю - http://costar.com/.


На нем есть 5 типов поиска, из которых 4 типа с разной структурой поисковой выдачи.


Для парсинга этого сайта есть готовый скрипт на Питоне, но скорость его работы меньше чем необходимо.

Требуемая скорость - не более 5 сек на парсинг 1 записи. Сейчас получается 8сек, из-за непрямого парсинга с URL, а методом кликов и переходов.


Чтобы облегчить задание и скрипт - решили авторизацию на сайте и переход в поисковой выдаче делать вручную.

Автоматизировать нужно только часть с парсингом самих данных и сохранением в CSV или XLSX формате(образец файла прилагаю).


Для доступа к сайту нужен NordVPN, либо индивидуальный платный прокси с локацией США, Лос Анджелес.

Как вариант, доступ может быть предоставлен с моего ПК удаленно по Anydesk или Teamviewer.


Приветствуется любой язык программирования. Запуск только из под Windows.



Вот видео работы Питон парсера сейчас - https://youtu.be/SCVxXKs19ak, между запросами интервал 8 сек, нужно 2-5сек.


03.04.2020 12:53



 Ответы фрилансеров