SEO Relevance

SeoRelevanceBot

Робот сервиса SEO Relevance — инструмента для SEO-специалистов, который сравнивает текст страницы с конкурентами в поисковой выдаче. Если вы видите SeoRelevanceBot в логах сайта, это значит, что пользователь SEO Relevance попросил проверить одну из ваших страниц.

Как он представляется

Mozilla/5.0 (compatible; SeoRelevanceBot/1.0; +…/bot)

Что он делает

  • Загружает только ту страницу, адрес которой пользователь сам указал для анализа. По ссылкам не переходит и сайт не обходит.
  • Берёт только HTML-код страницы — не больше 5 МБ. Картинки, скрипты, стили и файлы не загружает.
  • Ничего не отправляет на сайт: не заполняет формы, не входит в аккаунты, не обходит капчи и другие проверки.
  • Делает не больше двух запросов в секунду к одному сайту. Если сайт ответил ошибкой 5xx или 429 или не ответил, пробует ещё не больше двух раз.
  • Из страницы берётся только текст для подсчёта слов. Страница не публикуется и не индексируется.

Как запретить доступ

SeoRelevanceBot работает по запросу пользователя, поэтому, как и другие подобные сервисы, отдельно robots.txt не читает. Чтобы закрыть ему доступ, отдавайте ошибку 403 запросам с «SeoRelevanceBot» в User-Agent. Например, в nginx:

if ($http_user_agent ~* "SeoRelevanceBot") {
    return 403;
}

Получив отказ, робот повторять запрос не будет, а пользователь увидит, что сайт закрыт для анализа.