Не могу получить данные с сайта используя requests, статус кода 503

Question

Нужно распарсить https://mangalib.me. Но что-то не очень получается... Ответ в браузере

<html id="site_type" lang="ru" data-id="1">
  <head>
    <meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0">
    <meta charset="utf-8"/>
    <meta http-equiv="Pragma" content="no-cache"/>
    <meta http-equiv="Expires" content="-1"/>
    <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"/>
    <title> Манга.  Читать мангу онлайн на русском. Манга онлайн! </title>
    <meta name="description" content="Манга, Манга онлайн! У нас вся Читать мангу бесплатно и без регистрации! Читать Читать мангу! Читать мангу на русском языке, переводы Читать мангу, популярная Читать мангу

При использование requests, данный ответ получаю

<!DOCTYPE html>
<html lang="en-US">
<head>
    <title>Just a moment...</title>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
    <meta http-equiv="X-UA-Compatible" content="IE=Edge">
    <meta name="robots" content="noindex,nofollow">
    <meta name="viewport" content="width=device-width,initial-scale=1">
    <link href="/cdn-cgi/styles/challenges.css" rel="stylesheet">
    <meta http-equiv="refresh" content="35">

Я решил использовать прокси, вот что получилось

  <html lang="en-US">
       <head>
          <title>Access denied</title>
          <meta http-equiv="X-UA-Compatible" content="IE=Edge" />
          <meta name="robots" content="noindex, nofollow" />
          <meta name="viewport" content="width=device-width,initial-scale=1" />
          <link rel="stylesheet" href="/cdn-cgi/styles/errors.css" media="screen" />
          <script>

И ведь это не из-за js или капчи, уже не первый человек парсил этот сайт с помощью requests, и проблем не было, думаю сами можете попробовать. Версия python: 3.10.4, версия requests: 2.28.1 . Код

session = requests.Session()
r = session.get('https://mangalib.org')
print(r.text)

Решил добавить в headers данные

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
}

Думаете помогло ? А вот нет... И да, статус кода 503. Я подумал что может проблема с библиотекой requests, и установил aiohttp, скажу так: Вообще не помогло. И вот теперь я в тупике, прокси не помог, смена инструментов тоже. Если использовать selenium то все ок, но мне нужно с помощью requests

Answer 1

Купил прокси, и проблема была решена(Эта фигня сожрала у меня неделю), не советую использовать бесплатный прокси

БЛОГ НА HUSL

Не могу получить данные с сайта используя requests, статус кода 503

Ответы (1 шт):