Парсинг hh.ru. Проблема

Начал писать код для парсинга вакансий hh.ru. После запуска код выдал ошибку 404, хотя должен выдавать 20 чисел 200. Не понимаю, в чем проблема. Пробовал URL редактировать, такую же ошибку выдавал. Код писал в двух файлах на Replit: первый написан в main.py, второй - в headhunter.py. Помогите, пожалуйста.

main.py

from headhunter import extract_max_page, extract_hh_jobs

max_page = extract_max_page()
extract_hh_jobs(max_page)

headhunter.py.

import requests
from bs4 import BeautifulSoup

ITEMS = 100
URL = f'https://hh.ru/search/vacancy?text=python&items_on_page={ITEMS}'

headers = {
  'Host': 'hh.ru',
  'User-Agent': 'Safari',
  'Accept': '*/*',
  'Accept-Encoding': 'gzip, deflate, br',
  'Connection': 'keep-alive'
}

def extract_max_page():
  hh_request = requests.get(URL, headers=headers)
  hh_soup = BeautifulSoup(hh_request.text, 'html.parser')

  pages = []
  
  paginator = hh_soup.find_all("span", {'class': "pager-item-not-in-short-range"})
  
  
  for page in paginator:
    pages.append(int(page.find('a').text))
  return pages[-1]
  
def extract_hh_jobs(last_page):
  for page in range(last_page):
    result = requests.get(f'{URL}&page={page}', headers)
    print(result.status_code)

Ответы (0 шт):