Парсер для сайта
Здравствуйте.
Есть сайт с доступом по логину и паролю - http://costar.com/.
На нем есть 5 типов поиска, из которых 4 типа с разной структурой поисковой выдачи.
Для парсинга этого сайта есть готовый скрипт на Питоне, но скорость его работы меньше чем необходимо.
Требуемая скорость - не более 5 сек на парсинг 1 записи. Сейчас получается 8сек, из-за непрямого парсинга с URL, а методом кликов и переходов.
Чтобы облегчить задание и скрипт - решили авторизацию на сайте и переход в поисковой выдаче делать вручную.
Автоматизировать нужно только часть с парсингом самих данных и сохранением в CSV или XLSX формате(образец файла прилагаю).
Для доступа к сайту нужен NordVPN, либо индивидуальный платный прокси с локацией США, Лос Анджелес.
Как вариант, доступ может быть предоставлен с моего ПК удаленно по Anydesk или Teamviewer.
Приветствуется любой язык программирования. Запуск только из под Windows.
Вот видео работы Питон парсера сейчас - https://youtu.be/SCVxXKs19ak, между запросами интервал 8 сек, нужно 2-5сек.