как удалить библиотеку pip

Вот так

py -m pip uninstall <name-package>

Можно удалить все библиотеки, собранные в файл, например requirements.txt

py -m pip uninstall -r requirements.txt 

Документация