Как спарсить бесконечную ленту?
Мне необходимо написать программу на питоне, которая парсит список участников в группе в Однокласниках.
Это бесконечная лента, доступная по ссылкам такого вида: https://ok.ru/group/{ID}/members
При прокрутке ленты на сервер посылаются запросы примерно такого содержания:
# Параметры запроса
params = {
"cmd": "GroupMembersPagingBlock",
"st.gid": "тут ID группы"
}
# Данные формы
data = {
"fetch": "false",
"st.page": 1,
"st.lastelem": "1653221577045",
"gwt.requested": "тут хэш уникальный для сессии, можно достать с первой страницы"
}
Возникла проблема с параметром "st.lastelem": "1653221577045". Как я понял, пользователи в группе упорядочены по дате их входа в эту группу и для продолжения парсинга нужно каждый раз отправлять дату входа последнего спаршеного пользователя что бы получить данные следующих. Но проблема в том, что в html этих дат нет, ни в виде UNIX-чисел, ни в виде текста, вообще. А указание неверного времени получить данные не позволяет, да и к тому же время должно стыковаться с номером страницы. Подскажите, как решить эту проблему? Без использования селениума.