Robots.txt или noindex: который из инструментов предпочесть и в каких ситуациях

Файл robots.txt и мета-тег noindex являются двумя основными инструментами в распоряжении SEO-специалиста, с помощью которых можно работать с индексированием контента. Да, это два основных, но не единственных инструмента. Об этом многие часто забывают и используют их не по назначению. В результате цели и задачи поискового продвижения не достигаются вовремя, либо не достигаются вообще.

Рассмотрим назначение robots.txt и noindex с примерами их правильного использования и напомним читателю о том, какие еще инструменты можно и нужно использовать в комплексе с этими двумя.

Зачем нужен robots.txt

Как справедливо замечают многие оптимизаторы, robots.txt является своеобразной маршрутной картой для поисковых роботов. Именно это простое определение проясняет его назначение. Но, по странным причинам, многие его не понимают или игнорируют.

Для правильного использования robots.txt необходимо понимать, что он умеет, и для чего он даже не предназначен.

Прежде всего, вспомним, что Robots Exclusion Protocol (REP) и его реализация в виде файла исключений были придуманы в далеком 1994 году, а сам файл первоначально назывался RobotsNotWanted.txt. И тогда и сейчас идея базировалась на некоем общественном договоре, согласно которому ботам предписывалось уважать правила robots.txt – именно уважать, а не соблюдать.

Второй момент заключается в том, что уважать директивы robots.txt предписывается легитимным роботам, а это понятие сегодня во многом размыто.

Основными потребителями файла robots.txt являются поисковые роботы, обращение к которым происходит с помощью User-Agent:

User-agent: Yandex
# Директивы для Яндекса

Если обратить внимание на серверные логи, мы увидим, что поисковый бот первым делом запрашивает robots.txt, и уже только после этого начинает обход страниц вашего сайта:

192.133.77.15 - - [07/Feb/2026:04:11:49 +0300] "GET /robots.txt HTTP/1.1" 200 351 "-" "Twitterbot/1.0"
192.133.77.15 - - [07/Feb/2026:04:11:50 +0300] "GET /images/sample-image.webp HTTP/1.1" 200 93254 "-" "Twitterbot/1.0"

Понятно, что легитимный бот “отправляется в плавание” не просто так, а в сопровождении соответствующей документации от разработчика. В ней, кроме всего прочего, указывается и способ блокировки бота – если его посещения являются нежелательными. Запрет базируется исключительно на все том же User-Agent:

User-agent: Google
Disallow: /
# Запрещаем сканирование для ботов Google

Собственно, отсюда и расширение зоны влияния robots.txt – сегодня в него попадают также и легитимные ИИ-боты. Несмотря на то, что никакого влияния на индексирование и ранжирование вашего проекта они не оказывают, вы можете указать им на нежелательность присутствия аналогичным способом:

User-Agent: GPTBot
Disallow: /
# Запрещаем сканирование для бота ChatGPT

Теперь о самом главном:

Файл robots.txt мягко запрещает сканирование страниц сайта или сайта целиком. Запрет на индексацию или удаление страниц из индекса не входит в круг его задач.

И кстати: нежелательные страницы (даже указанные в robots.txt) могут быть проиндексированы, например, по внешним ссылкам. Кроме этого, уважение robots.txt сегодня является очень расплывчатой формулировкой. Если поисковые роботы традиционно его соблюдают (хотя кто проверял), то, например, ИИ-боты в поиске уникального контента и материала для обучения легко проигнорируют его директивы. Про вредоносных ботов и говорить не приходится.

Зачем нужен мета-тег noindex

Вторым (а может и первым) по важности инструментом оптимизатора является мета-тег noindex:

<meta name="robots" content="noindex" />

Наличие всего одного тега в разметке страницы отправляет сигнал поисковой системе о том, что страницу не нужно индексировать. Применительно к CMS Cotonti, можно говорить о том, что данный мета-тег может применяться:

• в рамках стандартного функционала,
• в пользовательских расширениях.

В первом случае это использование noindex в локациях, не предназначенных для индексирования (admin, login, passrecover и проч). Во втором – добавление noindex по необходимости программным способом с помощью переменной Cot::$sys['noindex'] и хука header.first:

<?php
/* ====================
[BEGIN_COT_EXT]
Hooks=header.first
[END_COT_EXT]
==================== */

defined('COT_CODE') or die('Wrong URL');

($c == 'private_cat') && Cot::$sys['noindex'] = 1;

Важно всегда помнить, что:

Мета-тег noindex не запрещает сканирование страницы. Его назначение состоит в том, чтобы сообщить поисковой системе о том, что страницу нельзя индексировать.

Опять же, сообщение адресуется только поисковым системам. Любые другие роботы скорее всего его проигнорируют.

Какие еще инструменты доступны оптимизатору?

В распоряжении специалиста по SEO есть еще четыре важных инструмента:

• мета-тег canonical,
• редиректы,
• страницы ошибок,
• файл .htaccess

Первый используется для указания основного URLа если страницы сайта имеют технические дубли. Например, в Cotonti Siena одна и та же страница может быть доступна через page id и через page alias. В таких случаях в качестве канонического URL будет указан адрес, использующий алиас.

Файл .htaccess используется реже, но все же он может стать полезным в качестве последней линии обороны, где надо физически блокировать “посторонние” заходы по IP-адресу или тому же User-Agent.

Robots.txt vs. Noindex – типовые ошибки и неправильные решения

Очень часто “девочки-маркетологи” становятся источником странных, и, как показывает анализ, бессмысленных и даже ошибочных идей. В силу клипового мышления и неправильного понимания сути вещей, такие идеи настойчиво продвигаются и нередко остаются действующими надолго, а в отдельных случаях – навсегда.

Запрет параметров в robots.txt

В среднестатистическом robots.txt 2026 года вы всегда найдете строки типа

Disallow: *yandex_ad_client_id=
Disallow: *gtm_latency=

Добавляют их, видимо, потому, что “насилование” robots.txt избыточными и бесполезными директивами считается индикатором того, что оптимизатор не зря получает зарплату. Но давайте вспомним, что:

Действие robots.txt распространяется исключительно на свой домен и протокол.

Это означает, что внешние переходы по контекстным или другим параметрическим ссылкам в его юрисдикцию не попадают. Таким образом, указание их в robots.txt может вызвать ошибки индексации или привести к перерасходу краулингового бюджета. И работать это уж точно не будет.

Если, к тому же, у вас правильно настроены канонические URL’ы (а проверить это несложно), такие действия полностью утрачивают смысл.

Запрет в robots.txt страниц с указанным noindex

Это еще одна типичная ошибка, которую с завидным упорством повторяют многие горе-оптимизаторы. Напомним еще раз о том, что происходит в таких ситуациях:

1. robots.txt запрещает поисковому боту переход по указанному адресу,
2. поисковый бот не видит страницу с мета-тегом noindex,
3. страница остается проиндексированной.

Таким образом, получаем совершенно обратный эффект.

Блокирование неканонических ссылок и редиректов в robots.txt

Еще одно бессмысленное действие, которое и не приводит ни к каким результатам и часто вызывает непредсказуемые последствия или ошибки. Если на странице присутствует канонический URL, никаких дополнительных действий от веб-мастера не требуется. Аналогично по редиректам. 

В обоих случаях вы передаете соответствующий сигнал поисковику, так что дальше он уже разберется сам.

Конечно, периодический контроль необходим, но надо понимать: robots.txt это не средство для исправления ошибок индексации.

Если по какой-то причине в индекс попала нежелательная или не предназначенная для этого страница, удалите ее через инструментарий веб-мастера (GSC или Яндекс Вебмастер) и установите мета-тег noindex. Дальше поисковая система сама выяснит что к чему. Главное – не закрывать ей доступ к такой странице. Как бы странно это ни звучало!

Как избежать ошибок в использовании robots.txt, noindex и других инструментов

Как правило, ошибки возникают там, где все слишком сложно. Практика, наблюдения и анализ показывают что оптимально составленный файл robots.txt содержит в себе только абсолютно необходимые директивы, а основную работу выполняют noindex, canonical и редиректы. Отсюда главный вывод:

Не перегружайте robots.txt и используйте его только в тех случаях, когда других способов помешать индексации не существует.

Неплохой практикой является блокирование отдельных служебных папок и файлов – ресурсов, индексирование которых (несмотря на маловероятность) иными способами предотвратить нельзя. Хороший пример:

Disallow: /cgi-bin/

Технически претензий нет, но практически – сомнительно чтобы на эту папку “позарился” какой-нибудь поисковик. А если и так, что он там найдет и проиндексирует? Неужели файл-заглушку?

Не блокируйте Javascript, CSS и другие ресурсы, которые участвуют в формировании страницы.

В списке проиндексированных страниц вашего сайта вы никогда не увидите ссылки на CSS-файлы или другие ресурсы. Однако, "на всякий случай" заблокировав их в robots.txt, вы помешаете поисковой системе проанализировать стили и “увидеть” страницу правильно. Снова мимо.

Всегда используйте сервисы для проверки своей версии robots.txt от Google или Яндекс. Последний более функционален и позволяет не только верифицировать файл, но и проверить доступность указанных вами ссылок, в том числе с учетом внесенных в него изменений.

Заключение

Если вы знаете теорию и понимаете азы, ошибиться с настройкой индексации будет предельно сложно. Повторим правила:

• robots.txt необходим для предотвращения сканирования поисковыми ботами страниц сайта и физических папок или файлов, которые не могут быть защищены от индексирования,
• используйте валидатор robots.txt в Яндекс Вебмастер для проверки как самого файла, так и действия его директив,
• блокируйте только то, что может быть просканировано и, соответственно, проиндексировано,
• не перегружайте robots.txt избыточными директивами,
• для исключения страниц из индекса используйте мета-тег noindex,
• убедитесь что страницы с noindex доступны поисковым ботам (т. е. для них отсутствует блокировка в robots.txt),
• регулярно мониторьте список проиндексированных страниц в инструментарии вебмастера.

Соблюдение этих правил поможет вам иметь полный контроль над индексацией страниц своего сайта.

Двумя днями ранее мы рассказали о том, как заблокировать бота.