Страницы не закрываются от индексации
Закрыл от индексации несколько URL, добавив в robots.txt следующие строки
Disallow: /warranty/
Disallow: /payment/
Disallow: /patent/
Но screaming frog и яндекс вебмастер по-прежнему утверждают, что на этих страницах отсутствует description.
Подскажите, пожалуйста, что не так.
Ответы (1 шт):
Автор решения: SIA
→ Ссылка
Из документации Google:
Файл robots.txt не предназначен для того, чтобы запрещать показ ваших материалов в результатах поиска Google
Из документации Яндекса:
Ограниченные в robots.txt страницы могут участвовать в поиске Яндекса.
Исходя из этого, robots.txt - просто рекомендация, а не прямой запрет для ботов
Плюсом - сторонние сервисы аналитики/диагностики сайтов могут проверять его с задержкой/кэшировать/етц. Проще всего эти моменты уточнить у поддержки конкретного сервиса