Как удалить страницы из индекса поисковых систем

Удаление страниц из индекса поисковых систем – задача довольно частая. Иногда меняется структура сайта, иногда – удаляются карточки товаров или страницы блога. Причины могут быть разные, но решаются они тремя операциями:

• предварительными настройками на сайте,
• отправкой запроса поисковой системе,
• окончательными настройками на сайте.

Рассмотрим оба этих действия на простом примере: мы изменили код категории с oldcode на newcode, и теперь нам необходимо сделать так, чтобы и поисковые системы и простые пользователи всего этого не почувствовали.

Предварительные настройки сайта

Прежде всего, необходимо запретить индексирование страниц с неактуальными ссылками. Для этого используем файл robots.txt, в котором укажем следующую директиву:

Disallow: /oldcode

Этим мы сообщим поисковикам о том, что запрещается обход страниц, чей адрес начинается с /oldcode.

Еще один важный момент: нам необходимо убедиться, что при обращении к старым адресам отдается код 404 Not Found. Cotonti Siena делает это автоматически и позволяет разработчику создать кастомную страницу 404.

В справочных руководствах поисковые системы также рекомендуют использовать мета тег noindex для таких страниц:

<meta name="robots" content="noindex">

Видимо, имеется ввиду ситуация, при которой для старых страниц не отдается ответ 404. Иначе теряется смысл действия:

Поскольку поисковики определяют статус 404, контент таких страниц не индексируется. Соответственно, использовать noindex или nofollow в разметке страницы 404 не требуется.

Запросы в поисковые системы

Для того, чтобы ускорить удаление страниц из индекса, нам необходимо сообщить об этом поисковым системам. Для этого обратимся к сервисам Yandex Webmaster, Google Search Console или аналогичным.

Удаление страниц в Yandex Webmaster

В блоке навигации “Инструменты” кликнем по ссылке “Удаление страниц из поиска”:

Как видим, нам предлагается удалить страницы точечно либо по префиксу. В первом случае лимит ограничен 500, во втором – 20 запросами в сутки. Рекомендую протестировать удаление запросом по адресу, и, если запрос принят, удалить все страницы по префиксу. В нашем случае запрос будет выглядеть как:

https://example.com/oldcode

Яндекс довольно быстро производит удаление. Если заявка принимается, примерно через 15-20 минут вы получите статус “Удалена”.

Обратите внимание на то, что удалению не подлежат страницы, для которых настроен 301 редирект!

Очень бы хотелось, чтобы удаленные страницы соответствующим образом отображались где-нибудь в блоке “Страницы в поиске” с соответствующей пометкой. Но пока эта возможность отсутствует.

Удаление страниц в Google Search Console

Товарищи из Маунтин-Вью предлагают аналогичный сервис, доступный по прямой ссылке “Удаления” в блоке боковой навигации:

Как видим, возможности аналогичны Яндексу. Единственное отличие – опция “Удаление фрагмента”, позволяющая удалить ссылки до следующей индексации. Видимо, кому-то это необходимо.

Финальные настройки сайта

Когда поисковые системы обработают ваши запросы, стоит подумать о том, чтобы история больше не повторялась. Для этого настроим 301 редиректы для устаревших страниц, вернее для их адресов. Сделаем мы это с помощью проектного плагина, в котором создадим или используем часть с хуком

Hooks=input

Это самый верхний хук, который обрабатывается в самом начале формирования страницы. Здесь нам необходимо определить запрашиваемый адрес и, если он совпадает с устаревшим, настроить переадресацию.

В зависимости от поставленной задачи, мы должны либо заменить все старые ссылки на новые, либо перенаправить старые ссылки на общий новый адрес. Но прежде всего определим запрашиваемый адрес:

$srch_path = "https://" . $_SERVER['SERVER_NAME'] . $_SERVER['REQUEST_URI'];

Теперь определим наличие в адресе устаревшей подстроки:

if (preg_match("[/oldcode]", $srch_path)) {
  echo ‘YES!’;
}

Под условие попадет раздел, системная страница или страница раздела. Теперь необходимо решить, что делать дальше:

if (preg_match("[/oldcode]", $srch_path)) {
    // echo 'YES!';
    $redir_path = str_replace('/oldcode', '/newcode', $srch_path);
    // ... или перенаправим на главную:
    // $redir_path = $cfg['mainurl'];
    header("HTTP/1.1 301 Moved Permanently");
    header("Location: " . $redir_path);
    exit();
}

Если у нас просто изменился код категории, произведем замену в адресе. Или просто перенаправим клиентский браузер на главную страницу. Таким образом, все сохранившиеся ссылки на старые страницы будут перенаправляться на новые адреса и не будут повторно индексироваться поисковиками.

Заключение

Рутинная задача удаления страниц из индекса поисковых систем проста и понятна, особенно если знать и учитывать в работе все сопутствующие нюансы. Cotonti Siena и ваши скромные навыки в PHP-программировании составляют все необходимое для того, чтобы сделать удаление неактуальных адресов процедурой, доступной пользователю даже начального уровня.

Нескучной оптимизации!

В прошлый раз мы разбирались с оформлением ссылок на телефоны и мессенджеры.