Как запретить индексацию страниц

Недавно мы рассказывали о том, как удалить страницы из индексации. Но этой истории в ряде случаев можно избежать если заранее сформировать запрет на индексирование. Подобные случаи встречаются, например, если на сайте создаются служебные страницы, которые могут, но не должны индексироваться по причине отсутствия в них релевантного контента.

Запрет индексации: как правильно

Инструкции для поисковых систем по запрету индексации контента можно подразделить на два типа:

• через файл robots.txt
• через meta-тег в элементе HEAD

Начнем с простого и в качестве примера запретим индексирование раздела https://example.com/bookmarks в файле robots.txt. Для этого добавим в него простую строку:

Disallow: /bookmarks

Теперь необходимо убедиться в том, что данный файл доступен поисковым системам. Если вы используете Google Search Console, в разделе Настройки можно найти отчет о доступности и валидности robots.txt. Яндекс Вебмастер в разделе Инструменты предлагает (простите за тавтологию) инструмент под названием Анализ robots.txt 

Оба сервиса обеспечивают не только автоматическое определение наличия robots.txt в корневом разделе сайта, но и анализ ошибок в нем. Яндекс в этом плане более демократичен, тогда как Google с будет “придираться” ко всяким мелочам. Например, к инструкции

Host: https://example.com

Если речь идет лишь о предупреждениях, последствий можно не опасаться, однако все же рекомендуется их исправить.

И все же запретить индексацию корректнее всего будет с помощью meta-тега. Таким образом нам не придется ожидать, пока поисковик перепроверит ваш robots.txt и применит содержащиеся в нем инструкции. Для этого нам надо лишь включить в элемент HEAD метаданных HTML-документа следующий тег:

<meta name="robots" content="noindex" />

Сделать это можно с помощью шаблонизатора и XTPL-логики, однако есть и более эффективный программный способ.

Как запретить индексирование страницы в CMS Cotonti с помощью плагина

Прежде всего, изучим файл /system/header.php. В районе строки 120 найдется следующий код:

if (!empty(Cot::$sys['noindex'])) {
  Cot::$out['head_head'] .= Cot::$R['code_noindex'];
}

При непустом элементе noindex массива $sys в элемент HEAD будет добавлен искомый meta-тег. Размечен он будет с помощью размещенной в файле /system/resources.rc.php ресурсной строки:

$R['code_noindex'] = '<meta name="robots" content="noindex" />';

При желании ее можно переопределить, однако необходимости в этом нет. По крайней мере, на момент написания данной публикации.

Но вернемся к /system/header.php и решим как будем определять Cot::$sys[‘noindex’]. Очевидно, с помощью хука, который находится выше. А он такой один – header.first.

В проектном плагине создаем часть plugin_name.header.first.php с указанным хуком и прописываем в нем единственную строку php-кода:

<?php
/* ====================
[BEGIN_COT_EXT]
Hooks=header.first
[END_COT_EXT]
==================== */

defined('COT_CODE') or die('Wrong URL');

($c == ‘bookmarks’) && $sys['noindex'] = 1;

Поскольку с помощью массива $sys происходит наполнение элемент метаданных HTML-документа HEAD, при выполнении условия будет произведена вставка тега

<meta name="robots" content="noindex" />

и запрет индексирования будет реализован. Остается только обновить плагин в панели администрирования, чтобы данная его часть подключилась.

Заключение

Как видим, в экосистеме Cotonti Siena запретить индексацию страницы или раздела совсем несложно. Наш пример демонстрирует самый простой кейс. В реальной жизни условие может быть более сложным. Однако это более эффективный и быстрый способ. Впрочем, никто не запрещает вам одновременно добавить необходимое правило или правила в robots.txt

В прошлый раз мы разбирались с тем, как добавить счетчик посещения разделов сайта на Cotonti Siena.