Задержка отправки запроса при парсинге

Хочу реализовать задержку между запросами, примерно понимаю, что для этого нужно использовать schedule. Но как это реализовать в своём коде - не понимаю.

for i in range(30, 60):
    url = f'https://www.livelib.ru/reviews~{i}'
    req = requests.get(url)
    soup = BeautifulSoup(req.text, 'lxml')
    books_links = soup.find_all(class_ = 'lenta-card-book__link')
    for books_link in books_links:
        server = 'https://www.livelib.ru'
        book_pages_href = server + books_link.get('href')
        book_pages.append(book_pages_href)

with open('book_pages.txt', 'a') as file:
    for L in book_pages:
        file.write(f'{L}\n')

with open('book_pages.txt') as file:
    lines = [line.strip() for line in file.readlines()]

    book_title = []


    for line in lines:
        q = requests.get(line)
        result = q.content

        soup = BeautifulSoup(result, 'lxml')
        book_title = [soup.find('h1').text]
        print(book_title)

Запрос выглядит примерно так. И подобных ему запросов еще около 5. При сборе данных в какой-то момент, вместо нужного текста я получаю - "Подождите несколько секунд идёт переадресация на страницу".

Можно ли реализовать задержку на отправку запроса при каждой итерации? Или как-то по-другому решить проблему?


Ответы (0 шт):