Динамический формировать robots.txt

Стал записывать в таблицу бд, url адреса которые возвращают 404 код + 410

Ранее на сайте было 4000 публикаций, оставил 10%. + перед удалением перешел на другой url публикаций(вместео /news-auto-top, стал /n-23123) и тут же стал делать 301 перенаправление с url на конце которых был слеш.

В общем если нырять в говно, то целиком... Забросил сайт, икс упал, посещаемость упала, так и так...

В последнее время решил доделать... Не о том, спустя год, роботы по-прежнему обходили страницы 404...

Они удаляются, роботы перестают обходить их, но это очень долго. Куда быстрее выставить запрет в robots.

• в публикациях были изображения по 2-5, url которых тоже изменил. В общем те карусели...

Стал вести таблицу и записывать url, вижу какие страницы боты посещают с кодом 404, какие не существуют...

sitemap на сайте, формата php. То есть не через крон, сразу отдаю данные бд, все работает..

К вопросу. В гугл консоле, вебмастре нет возможности указать какой файл играет роль robots.txt. Остается только обновлять его по крону...

Что если обновлять robots по крону и выгружать в него таблицу с url адресами несуществующих страниц. Дабы в ручную не добавлять...

Был ли у кого подобный опыт?