Part-Start.ru

Апрель 10, 2012 | Рубрика: Оптимизация и раскрутка

Как закрыть сайт от индексации

Закрыть сайт от индексации

Чаще возникает другой вопрос: Когда же мой сайт проиндексирует поисковик? Однако, на практике, приходится решать обратную задачу - закрывать контент от индексации поисковыми роботами.

Сразу нужно оговориться, что индексация - это включение в индекс, в базу данных поисковика, отдельных страниц. Когда проиндексирована Главная страница, обычно говорят, что сайт проиндексирован.

Вы можете закрыть от индексации весь свой сайт полностью или запретить роботу заходить только в некоторые его разделы. Можно закрыть отдельную страницу или только ссылку на странице. Яндекс позволяет скрывать от своего бота часть текста на странице.

Закрыть сайт от индексации

Зачем бывает нужно исключить из индексации все страницы сайта:

  • Ваш сайт находится в тестовом режиме.
  • Сайт в разработке, наполняется контентом.
  • Сайт доступен для ограниченной части пользователей.

Вот три варианта, когда нужно закрыть сайт от индексации, и список может быть расширен. Далеко не всегда нам нужно, чтобы поисковый робот видел, что лежит на нашем сервере. И мы можем полностью закрыть ему доступ к контенту на сайте. Для этого нужно использовать специальный файл для управления поисковыми роботами: robots.txt

Вы можете закрыть сайт, разделы сайта, ссылки  или часть текста на странице от индексации поисковыми роботами. Обычно речь идет о поисковиках Яндекс и Google.

Закрыть разделы сайта от индексации

Бывает, что нужно закрыть сайт от индексации не полностью, а только некоторые его части. Особенно это актуально для сайтов, которые работают под управлением CMS, на движках типа WordPress. В этом случае приходится закрывать целые разделы сайта и служебную информацию.

CMS, которые работают на PHP+MySQL позволяют сортировать информацию, например по рубрикам или тегам, что приводит к тому, что робот воспринимает такую выдачу, как дублирование контента. Значит нужно такие разделы сайта закрыть от индексации.

Вот несколько практических ситуаций, когда нужно закрыть разделы или, иначе говоря, папки на сервере от индексации поисковым роботом:

  • Вы используете WordPress или другую CMS, которая сортирует контент.
  • У вас на сайте есть информация для ограниченного круга лиц.
  • Вы используете цитаты, контент с других ресурсов.

Можно еще закрывать папки с иллюстрациями, с видео и аудио контентом. Любые разделы и страницы которые нужно срыть от поисковика и предотвратить их появление в поисковой выдаче.

Закрыть отдельные страницы на сайте от индексации

Используя файл robots.txt, можно закрыть от индексации не только раздел сайта, а и любую отдельную страницу. Однако, рекомендуется, для запрещения индексации страницы, использовать специальные meta теги.

На WordPress эта задача решается с помощью специальных SEO плагинов

Вы можете легко закрыть от индексации страницу на которой используется цитирование (Copy-Past), чужой текст. Это может быть полезно для сайтов с большими блоками новостей.

Закрыть от индексации отдельные фрагменты текста

Да, можно закрыть от робота Яндекса отдельные фрагменты текста. Для этого нужно перейти в режим редактирования HTML и заключить текст в специальные теги. Обо всем этом можно узнать из видео.

Закрывайте сайт от индексации поисковым роботам, тогда, когда считаете нужным, и в том объеме, который вам необходим. Для этого имеется достаточно технических приемов.

Закрыть от индексации ссылки на странице

От индексации можно закрывать любые ссылки, как внешние, которые ведут на другие ресурсы, так и внутренние. Это может понадобиться в нескольких типичных случаях.

Вы поставили ссылку на другой сайт, но не хотите, чтобы по этой ссылке передавался PR и тИЦ, вес страницы. Значит, эту ссылку нужно закрыть от индексации.

Вы делаете внутреннюю перелинковку, по определенной заранее SEO схеме, и некоторые ссылки закрываете от индексации. Пользователь по ним может перейти, а для робота они закрыты и вес страницы не передают.

Вы закрыли от индексации страницу на которой есть Copy-Past, закройте от индексации и ссылки на эту страницу.

Все правила управления поведением поискового робота Яндекса подробно, с примерами,  расписаны на странице справки Яндекс для вебмастеров.

Вот так, используя все инструменты, можно очень гибко настроить и закрыть сайт от индексации. Либо полностью, либо только его части, начиная с крупных разделов и заканчивая отдельной ссылкой!

 

Найдите нужную статью на сайте. Введите слово или фразу в форму поиска!

Комментарии

Как закрыть сайт от индексации

Avatar

Ирина Сташенко

Апрель 10th, 2012 at 20:04

Спасибо, Георгий! Как же все сложно, и все время приходится держать в голове массу информации. Хорошо, что вы и ваш сайт помогают с этим справляться.

Avatar

Георгий Пичугин

Апрель 16th, 2012 at 13:10

Здравствуйте, Ирина! Ну, как и в любом деле. Потом, все это укладывается в голове постепенно и входит в привычку

Напишите комментарий

Ссылки

PART-START

Свежие записи

Refill Services canadian pharmacy of seeing a doctor. A catalog of medical and cosmetic products with descriptions. Thematic categories, search by alphabet and key words. All in online pharmacies [!* viagra super active We constantly offer promotions for our customers. The details of the bonus program, see Special Offer.