обход блокировки при парсинге на Python
Добрый день Уважаемые форумчане!!! Возникла такая проблема, написал парсер, парсер собирал ссылки.
import request
from bs4 import BeautifulSoup
def handle():
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:71.0)
Gecko/20100101 Firefox/71.0','accept': '*/*'}
r = requests.get(url, headers=headers)
link = []
for i in range(0,2000):
url = f'https://www.marathonbet.ru/su/betting/Football+-+11?interval=H24={i}'
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.content, 'html.parser')
cotent = soup.find_all('a', class_='member-link')
cotent = cotent[::2]
for i in cotent:
link.append(f"https://www.marathonbet.ru{i.get('href')}
Три месяца работал как часы, без перебоев, запускался всегда в одно это же время, ну два дня назад дал сбой. Проверил верстку на сайте, не чего не изменилось, попробовал через selenium и вот что обнаружил!!!
Сначало идет проверка браузера, а потом уже секунд через 5-7 загружается нужная мне страница, как мне решить данную проблему, очень благодарень за помощь!!!