Задержка отправки запроса при парсинге
Хочу реализовать задержку между запросами, примерно понимаю, что для этого нужно использовать schedule. Но как это реализовать в своём коде - не понимаю.
for i in range(30, 60):
url = f'https://www.livelib.ru/reviews~{i}'
req = requests.get(url)
soup = BeautifulSoup(req.text, 'lxml')
books_links = soup.find_all(class_ = 'lenta-card-book__link')
for books_link in books_links:
server = 'https://www.livelib.ru'
book_pages_href = server + books_link.get('href')
book_pages.append(book_pages_href)
with open('book_pages.txt', 'a') as file:
for L in book_pages:
file.write(f'{L}\n')
with open('book_pages.txt') as file:
lines = [line.strip() for line in file.readlines()]
book_title = []
for line in lines:
q = requests.get(line)
result = q.content
soup = BeautifulSoup(result, 'lxml')
book_title = [soup.find('h1').text]
print(book_title)
Запрос выглядит примерно так. И подобных ему запросов еще около 5. При сборе данных в какой-то момент, вместо нужного текста я получаю - "Подождите несколько секунд идёт переадресация на страницу".
Можно ли реализовать задержку на отправку запроса при каждой итерации? Или как-то по-другому решить проблему?