Робот Google заблокирован в файле robots.txt. Как исправить?
возникла проблема с индексацией сайта на Wordpress в Google.
Как видим поисковый робот Яндекса спокойно индексирует страницы:
А в Google выдача такая:
Файл robots.txt выглядит так:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /wp-includes/*.css
Allow: /wp-includes/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.js
Allow: /*.css
Allow: /*.js
Sitemap: https://swiftagency.ru/sitemap.xml/
Ошибка в Google Search Console:
Ответы (1 шт):
Автор решения: SeVlad
→ Ссылка
Можно вообще удалить этот роботс, полный ненужного хлама. ВП сам сформирует правильный.
Единственный момент- к дефолтному можно добавить
Disallow: /wp-json/
Т.к. яндекс может индексировать служебку. (возможно уже нет, но тут лучше перестраховаться)