Не попадаю по кнопке selenium

Пытаюсь при помощи selenium нажать на кнопку "Продолжить". Сценарий таков:

1. Прокручиваю страницу с помощью функции scroll_to_element. Чтобы прокрутка не останавливалась на одном и том же месте использую random.

    def scroll_to_element(self, how, what):
        element = self.driver.find_element(how, what)
        self.driver.execute_script("arguments[0].scrollIntoView({ behavior: 'smooth', block: 'nearest' });"
                                   "scroll({ top: arguments[1], behavior: 'smooth' });",
                                   element, random.raindint(100, 300))

2. Перемещаю мышь из текущего положения (нахожу при помощи pyautogui.position()) в место нахождения кнопки "Продолжить".

    def click_element(self, how, what):
        element = self.driver.find_element(how, what)
        start_point = [pyautogui.position().x, pyautogui.position().y]
        finish_point = [element.location["x"], element.location["y"]
        pyautogui.moveTo(finish_point[0], finish_point[1])
        pyautogui.click()

При выполнении функции click_element не попадаю по кнопке "Продолжить".

Прорисовал движение мыши - каждый раз мышка переходит в одно и тоже положение на экране, независимо от прокрутки страницы.

Как сделать так, чтобы мышка попадала на нужную кнопку.
Ответы вроде найди элемент через driver.find_element(By.NAME, "color_input").click() и кликни по нему не подходят. Нужно именно навести мышку и нажать левую кнопку.