Как получить ответ со следующей страницей поиска requests?

Есть сайт ФИПС со всеми зарегистрированными патентами. Он работает так: заполняется форма, которая определяет в каких базах будет происходить поиск на https://www.fips.ru/iiss/db.xhtml, далее после post запроса и нажатия submit "перейти к поиску" он переходит на https://www.fips.ru/iiss/search.xhtml с новой формой и новым submit. Ниже мой код

import requests
from bs4 import BeautifulSoup

post_url = 'https://new.fips.ru/iiss/db.xhtml'

with requests.Session() as s:
    s.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'
    r = s.get(post_url)
    soup = BeautifulSoup(r.text,"lxml")
    payload = {i['name']:i.get('value','') for i in soup.select('input[name]')}
    payload['db-selection-form:dbsGrid1:0:dbsGrid1checkbox'] = 'on'
    payload['db-selection-form:j_idt90'] = 'перейти к поиску'
    r = s.post(post_url,data=payload)
    print(r.text)

Проблема в том, что после моих действий в ответе он вновь возвращает https://www.fips.ru/iiss/db.xhtml, а не https://www.fips.ru/iiss/search.xhtml, как это происходит в браузере. Как исправить данное поведение на необходимое мне?