Как связать JavaScript и python в рамках плагина Chrome для парсинга?
Возникла задача написать парсер для сайта с криптой. Заказчик попросил отсылать push-уведомления при изменениях на сайте. Говорит, что скорость имеет первоочередное значение. Подскажите, возможно ли активировать python скрипт в такой ситуации или стоит поступить как то иначе? Просто плагины для Хрома работают через Js, а я работаю только на python
Ответы (1 шт):
Во-первых, тут у вас может быть классическая проблема XY. Вам нужны данные в push уведомлении или именно парсер для сайта?
Какого рода данные? Может, вы можете обойтись данными напрямую из API? Или, даже, подключиться к сокет соединению интересующего сайта напрямую из Phyton апки? Исследуйте API.
В случае, если вы хотите долго городить сложный и ненадежный инструмент, то можете сделать это в 3 этапа:
- Какой-нибудь puppeteer может из Phyton апки подключаться к сайту
- далее, ставить в puppeteer MutationObserver и подключать сокет соединение с вашим Phyton приложением. Как только MutationObserver ловит изменение, то JS может проверять изменение, и, если оно релевантно, пушить в сокет
- Phyton апка ловит сокет ивент и пушит требовательному клиенту
Итого:
- Исследуйте API, может вам не нужен парсер потому, что его делать долго и сложно. Может, эти же данные есть в другом месте. Например, нет смысла парсить бинанс за real-time курсом битка. Есть бесконечное кол-во сервисов, которые предоставляют нужные данные. Например,
api.coincap.io. - Если с API не выходит, то попробуйте сделать парсер, но дело мутное и с большими рисками.