Почему requests не переходит на другие страницы при парсинге?
Хочу спарсить категорию телефонов постранично, но requests не переходит на нужную мне страницу при изменении page. При этом, если вручную переходить, по моей requests ссылке, то появляется нужная мне страница, а requests ее не видит. Мне нужно, чтобы requests переходил на разные страницы и парсил разные телефоны, а не одни и те же.
P.S Я использую настоящий IP сайта для обхода WAF
Код:
import requests
from bs4 import BeautifulSoup
requests.packages.urllib3.disable_warnings()
headers = {
'Host': 'www.mvideo.ru',
'Accept': '*/*',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
page = 3
response = requests.get(f'https://91.220.181.5/smartfony-i-svyaz-10/smartfony-205?page={page}', headers=headers, verify=False)
soup = BeautifulSoup(response.content, 'lxml')
for item in soup.find_all(class_='fl-product-tile-title__link sel-product-tile-title'):
print(item.text)
Вывод:
Смартфон Apple iPhone 14 Pro Max 256GB Deep Purple
Смартфон Apple iPhone 14 Pro 256GB Deep Purple
Смартфон Samsung Galaxy Z Fold4 256GB Black (SM-F936BZKBS)
Смартфон Tecno Spark 8с 4/64GB Magnet Black
Смартфон Xiaomi Redmi 9A 32GB Granite Gray
Смартфон Apple iPhone 13 Pro 128GB Sierra Blue
Смартфон Apple iPhone 13 Pro Max 256GB Alpine Green
Смартфон Apple iPhone 14 256GB Blue
Смартфон Apple iPhone 14 Plus 256GB Blue
Смартфон vivo X50 Pro Серая сталь (2006)
Смартфон realme GT Neo2 5G 8+128GB Neo Black (RMX3370)
Смартфон HUAWEI P50 Pocket Premium Gold (BAL-L49)