Парсинг hh.ru. Проблема
Начал писать код для парсинга вакансий hh.ru. После запуска код выдал ошибку 404, хотя должен выдавать 20 чисел 200. Не понимаю, в чем проблема. Пробовал URL редактировать, такую же ошибку выдавал. Код писал в двух файлах на Replit: первый написан в main.py, второй - в headhunter.py. Помогите, пожалуйста.
main.py
from headhunter import extract_max_page, extract_hh_jobs
max_page = extract_max_page()
extract_hh_jobs(max_page)
headhunter.py.
import requests
from bs4 import BeautifulSoup
ITEMS = 100
URL = f'https://hh.ru/search/vacancy?text=python&items_on_page={ITEMS}'
headers = {
'Host': 'hh.ru',
'User-Agent': 'Safari',
'Accept': '*/*',
'Accept-Encoding': 'gzip, deflate, br',
'Connection': 'keep-alive'
}
def extract_max_page():
hh_request = requests.get(URL, headers=headers)
hh_soup = BeautifulSoup(hh_request.text, 'html.parser')
pages = []
paginator = hh_soup.find_all("span", {'class': "pager-item-not-in-short-range"})
for page in paginator:
pages.append(int(page.find('a').text))
return pages[-1]
def extract_hh_jobs(last_page):
for page in range(last_page):
result = requests.get(f'{URL}&page={page}', headers)
print(result.status_code)