Распознавание OpenCV в Python m3u8 hls

Пытаюсь получить потоковое видео в формате плейлиста m3u8. Первые 5-50 секунд все ок, потом получаю разные ошибки и окно закрывается, например

[tls @ 0x11d8089b0] Error in the pull function.

[tls @ 0x11d8089b0] The specified session has been invalidated for some reason.

И падаю с ошибкой

[h264 @ 0x140220400] error while decoding MB 31 39, bytestream -6

Traceback (most recent call last):
  File "xxx/main.py", line 21, in <module>
    cv2.imshow('frame',frame)
cv2.error: OpenCV(4.5.4) /private/var/folders/b7/g6qfbypj0tq32j5_trjh516r0000gn/T/pip-req-build-f8yjfelj/opencv/modules/highgui/src/window.cpp:1006: error: (-215:Assertion failed) size.width>0 && size.height>0 in function 'imshow'

При другой реализации была похожая ошибка типо "нет кадра", но проблема видимо в том же.

Предполагаю, это происходит из за того, что поток не успевает прогружаться/считываться/ что - то еще. Пытался пропускать такие кадры через try/except, но ничего не вышло. Как можно решить эту проблему? Меня устроит даже снижение fps, пропуск нескольких секунд/сегментов из трансляции.

import cv2
import sys
VIDEO_URL = "https://s123.cdn.ngenix.net/live/_definst_/live123.smil/playlist.m3u8"

cap = cv2.VideoCapture(VIDEO_URL)
if (cap.isOpened() == False):
    print('!!! Unable to open URL')
    sys.exit(-1)

fps = cap.get(cv2.CAP_PROP_FPS)
wait_ms = int(1000/fps)
print('FPS:', fps)

while(True):
    # read one frame
    ret, frame = cap.read()

    # display frame
    cv2.imshow('frame',frame)
    if cv2.waitKey(wait_ms) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()