Как спарсить сайт? Python BS4

Question

Учусь парсить сайты. Решил попробовать спарсить сайт https://www.citilink.ru/. Вот код:

from bs4 import BeautifulSoup
import requests

url = "https://www.citilink.ru/product/duhovoi-shkaf-electrolux-ezb52410ak-chernyi-315175/"

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
                         "Chrome/55.0.2883.87 Safari/537.36 [email protected]"}

full_page = requests.get(url, headers=headers)
soup = BeautifulSoup(full_page.content, 'html.parser')

print(full_page.text)

По идее он должен вывести html код страницы с товаром. Но выводит:

<html>
<head>
    <title>Загрузка...</title>
    <script src="https://cdn.jsdelivr.net/npm/js-cookie@2/src/js.cookie.min.js"></script>
    <script>
      document.addEventListener("DOMContentLoaded", function() {
        var value = '';
          
        var value2 = 'eW5h';
              

        value = value + value2;
          
        var value2 = 'x4M0';
              
        value2 = value2.split("").reverse().join("")
              

        value = value + value2;
          
        var value2 = 'f4g3';
              
        value2 = value2.split("").reverse().join("")
              

        value = value + value2;
          
        var value2 = '8w==';
              

        value = value + value2;
          

        var config = document.getElementById('el22457').dataset;
        Cookies.set(config.name, value, {
          domain: config.domain,
          expires: new Date(new Date().getTime() + 60 * 60 * 1000),
        });
        document.location.reload()
      });
    </script>
</head>
<body>
    <div id="el22457" data-name="_pcl" data-domain=".citilink.ru"></div>
</body>
</html>

Насколько я понял это капча? Как обойти ее?

БЛОГ НА HUSL

Как спарсить сайт? Python BS4

Ответы (0 шт):