301-редирект стал полноценной заменой директивы HOST

В официальном блоге «Яндекса» появилась информация о том, что 301-редирект стал окончательной заменой директивы HOST, поэтому ее можно убирать из файла robots.txt. При этом все еще нельзя забывать то том, что постраничный 301-редирект должен оставаться на всех неглавных зеркалах. Если перенаправление еще не было установлено, вебмастер получит от поисковика соответствующее уведомление.

Наиболее распространенные ситуации

В блоге «Яндекса» перечислены распространенные ситуации, чтобы объяснить вебмастерам, как поступать в подобных случаях. Вот некоторые из них:

1. Предполагается переезд на новый домен или протокол. В этом случае нужно поставить постраничный 301-редирект, а затем перейти в панель «Вебмастера» и прописать новое главное зеркало. После этого останется дождаться завершения переезда, который займет несколько дней.
2. Предполагается перемещение на новый домен, но по каким-либо причинам использование 301-редиректа невозможно. Новый ресурс добавляется в «Вебмастер», после чего нужно использовать «Переезд сайта». Окончание операции занимает до нескольких недель.
3. Менять ничего не требуется. Убедитесь, что постраничные редиректы установлены на всех неглавных зеркалах. Это позволит роботу найти требуемый адрес в поиске.
4. Менять ничего не надо, но установить редирект нет возможности. В этом случае главное зеркало выбирает робот. Если его нужно заменить, используйте функцию «Переезд сайта».
5. У ресурса есть мобильная версия. Ситуация осталась прежней: для мобильных версий редирект ставить необязательно.
6. Изменились зеркала из-за того, что редирект не был установлен правильно. Чтобы провести полноценное перемещение, необходимо воспользоваться инструкцией, прописанной в первом пункте.

Как теперь поступать с директивой HOST?

Из-за последних изменений она полностью утратила свое значение, поэтому ее лучше удалить из файла robots.txt. Но даже если владелец ее оставит, робот будет ее просто игнорировать — она больше не играет никакой роли. По словам представителей «Яндекса», обновление позволит ускорить обновление индексов, а также увеличить скорость переездов по редиректам, что поможет в продвижении сайтов. Интересно, что Google уже давно отказался от использования HOST, а российский поисковик занялся этим вопросом только сейчас.