Ошибка при парсинге множества страниц

Question

Возникла ошибка при создании парсера на несколько страниц, суть парсера заключалась в том, что он должен был доставать ссылки со страницы, но произошла загвоздка, дальше первой страницы он искать не хочет. Мой код:

import requests
from bs4 import BeautifulSoup

num_of_page = 3
url = 'https://steamcommunity.com/market/search?#p'  

for i in range(1, num_of_page + 1):
    r = requests.get(url + str(i))
    soup = BeautifulSoup(r.text, 'html.parser')
    element = soup.find_all('a', class_='market_listing_row_link')
    for item in element:
        title = item.get('href')
        print(title)

Элементы выдаются с первой страницы, и так раз за разом, даже если вписать в значение url ссылку со второй страницы, данные будут приходить с первой. Ссылка на сайт: https://steamcommunity.com/market/search?#p1_popular_desc. Заранее спасибо)

Answer 1

Возможно я не совсем верно понял вопрос. Но вроде работает таким образом.

import requests
import time
from bs4 import BeautifulSoup
    
for i in range(1, num_of_page+1):
        r = requests.get('https://steamcommunity.com/market/search?#p' + str(i) + '_popular_desc')
        soup = BeautifulSoup(r.text, 'html.parser')
        element = soup.find_all('a', class_='market_listing_row_link')
        for item in element:
            title = item.get('href')
            print(title)
        print('Получил ссылки со страницы ' + str(i) + ' из ' + str(num_of_page))
        time.sleep(1)

БЛОГ НА HUSL

Ошибка при парсинге множества страниц

Ответы (1 шт):