Удаление файлов после проведения действий над ними Python

Запускаю python файл как веб страничку с помощью Flask , через HTML форму получаю файл от пользователя(себя в данном случае). Далее у меня идет конвертация и сразу же отправка пользователю назад, уже конвертированого файла. Я хочу, чтобы после того, как пользователь получил файл, файлы удалялись с сервера (ибо зачем мне память засорять ). Если выполнять с частью кода ниже, получается, что удаляется только файл пользователя(filename), а при попытке удаления конвертированого файла (output_filename) происходит ошибка и отправки пользователю не происходит. Если убрать строку os.remove(output_filename) отправка произойдет, но удалится только тот файл, что отправлял пользователь на сервер, а тот что получился и отправился пользователю останется. Помогите пожалуйста!

...
result = send_file(output_filename, as_attachment=True)
os.remove(filename)
os.remove(output_filename)
return result
...