• АУКЦИОН! ФОРУМ "САМОДЕЛЬНИКИ" ПРОДАЁТСЯ!!! Начальная стоимость форума "САМОДЕЛЬНИКИ" - 5000 рублей. Пишите в рубрике "Аукцион" в комментарии свои суммы.УДАЧИ!
#1
Индексация сайта поисковыми система - это процесс занесения их в поисковую базу. После чего они начинают ранжироваться с другими документами. Обычно у вебмастеров возникает противоположный вопрос с ускорением индексации сайта. В этой статье мы рассмотрим обратный вопрос: как запретить индексацию сайта.

Зачем запрещать индексацию сайта?
Задача закрыть сайт полностью от индексации возникает редко. Чаще всего закрывают сайт частично. Тем не менее причиной закрытия сайта может быть смена структуры сайта, смена дизайна, технические работы.



Способы запретить индексацию сайта
Есть два способа запретить индексацию сайта. Рассмотрим каждый в отдельности.

1. Через метатег robots
В разделе заголовочных тегов <head> есть специальный метатег robots. В нем можно запретить или разрешить индексацию. Также можно запретить роботу переходить по ссылкам.

На всех страницах сайта нужно прописать следующее:

<head>
<meta name="robots" content="noindex,nofollow">
Или более кратко:
<meta name="robots" content="none">
</head>

2. Через файл robots.txt
Файл robots.txt находится в корне сайта:

http://www.site.ru/robots.txt
Предназначение этого файла - управление индексацией сайта. В нем можно задавать правила, которые будут запрещать к индексации какие-то каталоги или же какие-то группы страниц.

Причем можно задавать отдельные правила для каждой поисковой системы (Яндекс, Гугл, Мэйл). Чтобы запретить индексацию всего сайта в Яндексе нужно написать в файле robots.txt:

User-agent: Yandex
Disallow: /
Если нужно запретить во всех поисковых системах то вместо Yandex поставим звездочку:

User-agent: *
Disallow: /
 
Вверх