ГлавнаяБлог Скорость обхода страниц

Скорость обхода страниц

Заходя на сайт, поисковый робот в первую очередь просматривает файл robots.txt. В нем указан набор инструкций, определяющих поведение робота – в частности, доступ к страницам сайта, разрешение на их индексацию.

Одним из параметров файла robots.txt является директива Crawl-delay, задающая минимальную частоту обращения робота к сайту и позволяющая регулировать нагрузку от поисковых ботов на сервер.

Настраивая файл robots.txt, владельцы сайтов обычно ставят значение Crawl-delay в соответствии с классическими рекомендациями, представленными в Интернете. Так, если этот параметр равен 2, то после скачивания ботом одной страницы и до начала скачивания другой пройдет 2 секунды. Минимальное значение для Яндекса составляло 0,1 секунды, однако, последние изменения сделали директиву Crawl-delay неактуальной.

Отказ Яндекса от учета директивы Crawl-delay

С 22 февраля 2018 года поисковые роботы Яндекса перестали учитывать Crawl-delay. Основной причиной этого стало то, что подавляющее большинство сайтов сейчас находятся на мощных серверах, обеспечивающих высокую скорость работы. И присутствие поисковых роботов не оказывает на сервер большой нагрузки, не приводит к замедлению работы сайта, его доступности пользователям. В то же время учет роботами Crawl-delay замедляет индексирование страниц сайтов, что не отвечает интересам их владельцев.

Именно поэтому Яндекс последовал примеру Google, уже давно не учитывающего данный параметр. Скорость обхода страниц сайта поисковыми роботами Яндекса теперь не регламентируется значением Crawl-delay, что обеспечивает максимально быструю индексацию страниц сайта. Если же владелец сайта все-таки хочет по каким-то причинам ограничить скорость обхода, он может это сделать, зайдя в Яндекс.Вебмастер, выбрав раздел «Индексирование» и настроив необходимым образом инструмент «Скорость обхода».

инструмент «Скорость обхода»

Данный инструмент позволяет установить скорость обхода страниц сайта поисковыми роботами в двух вариантах:

  1. автоматически;
  2. вручную.

В первом случае необходимо выбрать пункт «Доверять Яндексу» (он включен по умолчанию, это самый оптимальный вариант). Скорость обхода в этом случае будет устанавливаться Яндексом автоматически, с учетом анализа работы сервера и допустимой нагрузки на него.

Также Вы можете выбрать пункт «Задать вручную» и перемещением ползунка установить интересующую Вас частоту запросов бота к серверу. Пункт Crawl-delay в файле robots.txt никакого значения больше не имеет, поэтому может быть удален или оставлен как есть.

КОНТАКТНАЯ ИНФОРМАЦИЯ
  • 620010, г. Екатеринбург
    ул. Грибоедова, 32/20, оф. 707, 709
    Тел. +7 (343) 204-78-80
    E-mail: client@artena.ru
  • 625049, г. Тюмень, ул. Новосибирская, 131.
    Тел. +7 (3452) 39-65-52,
    E-mail: tumen@artena.ru
  • 119331, г. Москва, пр-т Вернадского, 29, офис 508
    Тел. +7 (495) 128-21-42
    E-mail: msk@artena.ru
Похвалить
Пожаловаться
Посоветовать