Как спарсить бесконечную ленту?

Мне необходимо написать программу на питоне, которая парсит список участников в группе в Однокласниках.

Это бесконечная лента, доступная по ссылкам такого вида: https://ok.ru/group/{ID}/members

При прокрутке ленты на сервер посылаются запросы примерно такого содержания:

# Параметры запроса
params = {
    "cmd": "GroupMembersPagingBlock",
    "st.gid": "тут ID группы"
}

# Данные формы
data = {
    "fetch": "false",
    "st.page": 1,  
    "st.lastelem": "1653221577045",  
    "gwt.requested": "тут хэш уникальный для сессии, можно достать с первой страницы"  
}

Возникла проблема с параметром "st.lastelem": "1653221577045". Как я понял, пользователи в группе упорядочены по дате их входа в эту группу и для продолжения парсинга нужно каждый раз отправлять дату входа последнего спаршеного пользователя что бы получить данные следующих. Но проблема в том, что в html этих дат нет, ни в виде UNIX-чисел, ни в виде текста, вообще. А указание неверного времени получить данные не позволяет, да и к тому же время должно стыковаться с номером страницы. Подскажите, как решить эту проблему? Без использования селениума.


Ответы (0 шт):