Как указать количество страниц для парсинга, если мне не известно?

Всем привет! Написал функцию-парсер, который получает данные с 10 ссылок (и в каждой ссылке ходит по страницам, но мне неизвестна максимальная страница, да и в каждой ссылке может находится различное количество страниц.

Как быть? Я в этом деле новичок.. Буду признателен за ответ!

Часть кода:

def parser(url):
data = []

for page in range(1, 3000):
    print(page)

    PRODUCT_URL = url+f"?p={page}"

    driver = webdriver.Chrome(executable_path='./chromedriver.exe')
    driver.get(PRODUCT_URL)
    sleep(3)
    html = driver.page_source
    soup = BeautifulSoup(html, "lxml")

    items = soup.find_all('div', class_='product details product-item-details')

где я вместо url - подставляю необходимую ссылку для ее парсера.

Вопрос в том: как заменить в данном случае range(1, 3000) ,чтобы парсер прекращал идти по страницам, на которых уже нет необходимых данных, и корректно прекращал свою работу.