Selenium Python headless режим не работает с прокси

Question

у меня проблема когда добавляю прокси с headless режимом то выдает такую ошибку, а вот без headless режима и включенных прокси все работает нормально, так же если убрать прокси то и headless режим будет работать, то есть эти 2 вещи не могут работать вместе, кто подскажет как это можно решить

вот сама ошибка

selenium.common.exceptions.WebDriverException: Message: unknown error: failed to wait for extension background page to load: chrome-extension://ojgblnmdcpnelkbnncmiajmgkoanhefc/_generated_background_page.html from unknown error: page could not be found: chrome-extension://ojgblnmdcpnelkbnncmiajmgkoanhefc/_generated_background_page.html

вот код для добавления прокси и добавления headless режима

options.add_argument("--headless")

pluginfile = 'proxy_auth_plugin.zip'
manifest_json = """
{
    "version": "1.0.0",
    "manifest_version": 2,
    "name": "Chrome Proxy",
    "permissions": [
        "proxy",
        "tabs",
        "unlimitedStorage",
        "storage",
        "<all_urls>",
        "webRequest",
        "webRequestBlocking"
    ],
    "background": {
        "scripts": ["background.js"]
    },
    "minimum_chrome_version":"22.0.0"
}
"""

background_js = """
var config = {
        mode: "fixed_servers",
        rules: {
          singleProxy: {
            scheme: "http",
            host: "%s",
            port: parseInt(%s)
          },
          bypassList: ["localhost"]
        }
      };

chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

function callbackFn(details) {
    return {
        authCredentials: {
            username: "%s",
            password: "%s"
        }
    };
}

chrome.webRequest.onAuthRequired.addListener(
            callbackFn,
            {urls: ["<all_urls>"]},
            ['blocking']
);
""" % (proxy_host, proxy_port, proxy_user, proxy_pass)

with zipfile.ZipFile(pluginfile, 'w') as zp:
    zp.writestr("manifest.json", manifest_json)
    zp.writestr("background.js", background_js)

options.add_extension(pluginfile)

мне нужно чтобы прокси с авторизацией работали в headless режиме

Answer 1

Вариант без плагина

from selenium import webdriver

proxy = "password:username@url:port" // вроде так

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--proxy-server={}'.format(proxy))
driver = webdriver.Chrome(chrome_options=chrome_options)

PS: Ещё так надо регистрировать onAuthRequired:

chrome.webRequest.onAuthRequired.addListener(
    function(details, callbackFn)
    {
        console.log("onAuthRequired: ", details, callbackFn);
        callbackFn({
            authCredentials: {username: "user", password: "password"}
        });
    },
    {urls: ["<all_urls>"]},
    ['asyncBlocking']
);

БЛОГ НА HUSL

Selenium Python headless режим не работает с прокси

Ответы (1 шт):