При использовании selenium забивается полностью диск dev/sda1

На облачном сервере расположен парсер, который каждый день проходит по нужным ссылкам и собирает нужные данные. Selenium используется только для сайта investing.com, и для него есть около 80 ссылок.

Оперативки на сервере 4 ГБ. Диск 20 ГБ. Стала замечать, что парсер периодически отрабатывает с ошибкой, как раз когда диск dev/sda1 занят полностью

selenium.common.exceptions.WebDriverException: Message: unknown error: session deleted because of page crash
from unknown error: cannot determine loading status
from tab crashed

Помогает только перезагрузка сервера. Может есть еще какие-то варианты, как почистить диск, или как настроить selenium, чтоб он потреблял меньше памяти? Сейчас для него такие настройки

options = webdriver.ChromeOptions()
options.binary_location = "/usr/bin/google-chrome"
options.add_argument("user-agent=Mozilla/5.0 Chrome/127.0.6533.88 (X11; Ubuntu; Linux x86_64; rv:84.0) Gecko/20100101 Firefox/84.0")
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_argument("--headless=new")
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
options.add_argument("--disable-javascript")
options.add_argument("--disable-images")
service = Service(executable_path="chromedriver-linux64/chromedriver")
driver = webdriver.Chrome(service=service, options=options)

Вот вывод команды df -h

Filesystem      Size  Used Avail Use% Mounted on
tmpfs           389M  1.0M  388M   1% /run
/dev/sda1        20G   20G     0 100% /
tmpfs           1.9G     0  1.9G   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs           389M   16K  389M   1% /run/user/0