Response 403 | Парсинг зарубежного сайта | Proxy
Всем здравствуйте! Начал работать над парсингом зарубежного сайта. На сайт без ВПН не попасть. Взял прокси с сайта https://proxy6.net на локацию США, так как с ВПН по локации США на сайт успешно заходит. Решил хотя бы добиться от GET запроса на сайт статус кода 200, но без успешно
Собственно вот и проблемы. Решил, ради интереса, выводить локацию с сайта 2ip.ru, при переданных параметрах headers и proxies. Локация выводится "США, Лос-Анджелес". Но при GET запросе на сайт, который я хочу спарсить я все равно получаю код 403. Прошу помощи
from urllib import response
import requests
from bs4 import BeautifulSoup
from proxies_config import login, password, proxy
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36 OPR/85.0.4341.79 (Edition globalgames-sd)',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'Accept-Encoding': 'gzip, deflate, br',
'accept-language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
'sec-ch-ua-mobile': '?0',
'sec-fetch-dest': 'document',
'sec-fetch-mode': 'navigate',
'sec-fetch-site': 'none',
'sec-fetch-user': '?1',
'upgrade-insecure-requests': '1',
}
proxies = {
'https': f'http://{login}:{password}@{proxy}'
}
def get_data(url):
response = requests.get(url=url, headers=headers, proxies=proxies)
print(response)
# Функция вывода локации
def get_location(url):
response = requests.get(url=url, headers=headers, proxies=proxies)
soup = BeautifulSoup(response.text, 'lxml')
location = soup.find('div', class_='value-country').text.strip()
print(location)
if __name__=='__main__':
#get_data('https://www.acehardware.com/departments')
get_location('https://2ip.ru')`