Яндекс больше не учитывает Crawl-delay

В блоге «Яндекса» появилась запись о том, что поисковые роботы теперь игнорируют директиву Crawl-delay. Она предназначалась для ограничения скорости обхода страниц сайта, с ее помощью для поискового робота устанавливался временной интервал между завершением загрузки одной страницы и началом загрузки следующей. Это ограничение предназначалось для уменьшения нагрузки на сервер, а также минимизировало риск возникновения сбоев при посещении интернет-ресурса ботами поисковика.

Почему Crawl-delay теперь игнорируется?

Эта директива стала бесполезной из-за технического прогресса. Большинство серверов стали динамичными — они способны отдавать разную скорость ответа в определенные промежутки времени. В результате Crawl-delay перестала работать, поэтому сначала ее перестал учитывать Google, а теперь очередь дошла и до «Яндекса». Роботы завершают осмотр в автоматическом режиме, как только они отмечают снижение интенсивности работы сервера или выявляют технические ошибки. Согласно информации из блога «Яндекса», игнорирование позволит решить несколько задач:

• Устранение проблемы медленного скачивания документов.
• Более быстрое появление и обновление страниц в поисковом индексе.
• Установка оптимальных настроек обхода поисковыми ботами с учетом максимально допустимых нагрузок.

Для оптимизации скорости обхода в панель «Вебмастер» был добавлен новый инструмент. Он позволяет устанавливать оптимальное ограничение скорости обхода страниц и не допускать никаких нарушений. Инструмент добавлен в раздел «Индексирование», при этом в нем по умолчанию выставлено значение, говорящее о доверии «Яндексу». Это значит, что интенсивность обхода будет определяться в автоматическом режиме, при этом бот определяет допустимый уровень серверных нагрузок. Если же действия робота приводят к замедлению сервера, вебмастер может самостоятельно настроить скорость и установить оптимальное значение.

Что делать SEO-специалистам?

Нововведение позволяет удалить директиву Crawl-delay из файла robots.txt, так как поисковые боты больше ее не учитывают. В панели инструментов можно найти и использовать новую функцию, которая позволит самостоятельно устанавливать оптимальную скорость. Это сведет к минимуму риск сбоев и замедление работы сервера, а также устранит проблемы с индексацией.