Блокировка программы при попытке парсинга на сервере

Question

У получил бан по ip на сайте https://777score.ru. Я купил себе сервер с удаленным рабочим столом. Проверил работу сайта запустив его через браузер хром, открывается без проблем, бана и каких либо блокировок нет. Но при попытке запуска самого парсера на сервере, получаю следующий html код. Скажите пожалуйста, как обойти данную проблему? Ведь сайт через браузер открывается нормально. Возможно в настройках виндовс что-то нужно изменить? Я уже даже не знаю на что думать.

<!DOCTYPE html>
<!--[if lt IE 7]> <html class="no-js ie6 oldie" lang="en-US"> <![endif]--><!--[if IE 7]>    <html class="no-js ie7 oldie" lang="en-US"> <![endif]--><!--[if IE 8]>    <html class="no-js ie8 oldie" lang="en-US"> <![endif]--><!--[if gt IE 8]><!--><html class="no-js" lang="en-US"> <!--<![endif]-->
<head>
<title>Attention Required! | Cloudflare</title>
<meta charset="utf-8"/>
<meta content="text/html; charset=utf-8" http-equiv="Content-Type"/>
<meta content="IE=Edge" http-equiv="X-UA-Compatible"/>
<meta content="noindex, nofollow" name="robots"/>
<meta content="width=device-width,initial-scale=1" name="viewport"/>
<link href="/cdn-cgi/styles/cf.errors.css" id="cf_styles-css" rel="stylesheet"/>
<!--[if lt IE 9]><link rel="stylesheet" id='cf_styles-ie-css' href="/cdn-cgi/styles/cf.errors.ie.css" /><![endif]-->
<style>body{margin:0;padding:0}</style>
<!--[if gte IE 10]><!-->
<script>
  if (!navigator.cookieEnabled) {
    window.addEventListener('DOMContentLoaded', function () {
      var cookieEl = document.getElementById('cookie-alert');
      cookieEl.style.display = 'block';
    })
  }
</script>
<!--<![endif]-->
</head>
<body>
<div id="cf-wrapper">
<div class="cf-alert cf-alert-error cf-cookie-error" data-translate="enable_cookies" id="cookie-alert">Please enable cookies.</div>
<div class="cf-error-details-wrapper" id="cf-error-details">
<div class="cf-wrapper cf-header cf-error-overview">
<h1 data-translate="block_headline">Sorry, you have been blocked</h1>
<h2 class="cf-subheadline"><span data-translate="unable_to_access">You are unable to access</span> 777score.ru</h2>
</div><!-- /.header -->
<div class="cf-section cf-highlight">
<div class="cf-wrapper">
<div class="cf-screenshot-container cf-screenshot-full">
<span class="cf-no-screenshot error"></span>
</div>
</div>
</div><!-- /.captcha-container -->
<div class="cf-section cf-wrapper">
<div class="cf-columns two">
<div class="cf-column">
<h2 data-translate="blocked_why_headline">Why have I been blocked?</h2>
<p data-translate="blocked_why_detail">This website is using a security service to protect itself from online attacks. The action you just performed triggered the security solution. There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.</p>
</div>
<div class="cf-column">
<h2 data-translate="blocked_resolve_headline">What can I do to resolve this?</h2>
<p data-translate="blocked_resolve_detail">You can email the site owner to let them know you were blocked. Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.</p>
</div>
</div>
</div><!-- /.section -->
<div class="cf-error-footer cf-wrapper w-240 lg:w-full py-10 sm:py-4 sm:px-8 mx-auto text-center sm:text-left border-solid border-0 border-t border-gray-300">
<p class="text-13">
<span class="cf-footer-item sm:block sm:mb-1">Cloudflare Ray ID: <strong class="font-semibold">777f0ee76a09bb50</strong></span>
<span class="cf-footer-separator sm:hidden">•</span>
<span class="cf-footer-item hidden sm:block sm:mb-1" id="cf-footer-item-ip">
      Your IP:
      <button class="cf-footer-ip-reveal-btn" id="cf-footer-ip-reveal" type="button">Click to reveal</button>
<span class="hidden" id="cf-footer-ip">193.124.92.162</span>
<span class="cf-footer-separator sm:hidden">•</span>
</span>
<span class="cf-footer-item sm:block sm:mb-1"><span>Performance &amp; security by</span> <a href="https://www.cloudflare.com/5xx-error-landing" id="brand_link" rel="noopener noreferrer" target="_blank">Cloudflare</a></span>
</p>
<script>(function(){function d(){var b=a.getElementById("cf-footer-item-ip"),c=a.getElementById("cf-footer-ip-reveal");b&&"classList"in b&&(b.classList.remove("hidden"),c.addEventListener("click",function(){c.classList.add("hidden");a.getElementById("cf-footer-ip").classList.remove("hidden")}))}var a=document;document.addEventListener&&a.addEventListener("DOMContentLoaded",d)})();</script>
</div><!-- /.error-footer -->
</div><!-- /#cf-error-details -->
</div><!-- /#cf-wrapper -->
<script>
  window._cf_translation = {};


</script>
</body>
</html>

Answer 1

<meta content="noindex, nofollow" name="robots"/>

Сервер считает Вас роботом. Пробуйте передавать headers тем самым маскируя себя под обычного клиента. Смотрите как формируются cookies в браузере и в парсере. Возможно парсеру не хватает одного небольшого запроса, чтобы получить куку и действовать как браузер.

Букмекеры не самые бедные люди, защит там полно может быть. Так вот нахрапом брать главную страницу, которая у Вас так и так не зарендерится нет смысла. Так что лучше от задачи отталкиваться.

Если знакомы с php, можете попробовать данный парсер:
https://github.com/San4ezZ-89/777Parser

Если он заработает, то можно будет изучить разницу между requests, postman и данным парсером.

Скорее всего здесь дело в cookies, но просто так скопировать их из браузера не получится, также на робота выведет.
Подробнее о блокировках на английском SO.

Обратите внимание на __cf_bm cookie, он в браузере появляется одним из первых, а response с роботами неоднократно ссылается на cf-.

Последнее обновление

Помучал сайт ещё через Tor. Обычные браузеры, всё же, шалят с JS даже если его запрещать. В Tor на сайт не пускает и просит включить JS. Так что тут либо драйвер использовать, либо упорно изучать что в js происходит и имитировать активность.

БЛОГ НА HUSL

Блокировка программы при попытке парсинга на сервере

Ответы (1 шт):

Последнее обновление