Есть ли возможность обойти защиту cloudflare не используя selenium?
Пробовал несколько методов обхода, в которые входит aiohttp, cfscrape. При общем обходе с помощью селениум трачу на это 2+ минуты (20 страниц). Хотел бы ускорить работу, но не могу понять как. Извлекаю коды товаров с одной страницы сайта https://www.ozon.ru по некоторому запросу (например, "майка"), не смог найти джсон файл с такими данными, поэтому приходится парсить так
def ozon_parse(url):
while True:
try:
browser = webdriver.Chrome()
browser.get(url)
links = [item.get_attribute('href') for item in browser.find_element(By.CLASS_NAME, 'widget-search-result-container').find_elements(By.TAG_NAME, 'a')]
update_links = [value.split('/')[4].rpartition('-')[2] for value in links if value.partition('?')[2].startswith('asb')]
browser.quit()
return [link for link, _ in groupby(update_links)]
except selenium.common.exceptions.WebDriverException:
continue