Преимущества
- 1. Качество на 1 месте!
- 2. Надежная команда
- 3. Делаем "под ключ"
- 4. Честные цены
- 5. Надежная команда
В блоге «Яндекса» появилась запись о том, что поисковые роботы теперь игнорируют директиву Crawl-delay. Она предназначалась для ограничения скорости обхода страниц сайта, с ее помощью для поискового робота устанавливался временной интервал между завершением загрузки одной страницы и началом загрузки следующей. Это ограничение предназначалось для уменьшения нагрузки на сервер, а также минимизировало риск возникновения сбоев при посещении интернет-ресурса ботами поисковика.
Эта директива стала бесполезной из-за технического прогресса. Большинство серверов стали динамичными — они способны отдавать разную скорость ответа в определенные промежутки времени. В результате Crawl-delay перестала работать, поэтому сначала ее перестал учитывать Google, а теперь очередь дошла и до «Яндекса». Роботы завершают осмотр в автоматическом режиме, как только они отмечают снижение интенсивности работы сервера или выявляют технические ошибки. Согласно информации из блога «Яндекса», игнорирование позволит решить несколько задач:
Для оптимизации скорости обхода в панель «Вебмастер» был добавлен новый инструмент. Он позволяет устанавливать оптимальное ограничение скорости обхода страниц и не допускать никаких нарушений. Инструмент добавлен в раздел «Индексирование», при этом в нем по умолчанию выставлено значение, говорящее о доверии «Яндексу». Это значит, что интенсивность обхода будет определяться в автоматическом режиме, при этом бот определяет допустимый уровень серверных нагрузок. Если же действия робота приводят к замедлению сервера, вебмастер может самостоятельно настроить скорость и установить оптимальное значение.
Нововведение позволяет удалить директиву Crawl-delay из файла robots.txt, так как поисковые боты больше ее не учитывают. В панели инструментов можно найти и использовать новую функцию, которая позволит самостоятельно устанавливать оптимальную скорость. Это сведет к минимуму риск сбоев и замедление работы сервера, а также устранит проблемы с индексацией.