Petalbot: что за бот и как его заблокировать

За последнее время стал часто замечать на сайтах своих проектов присутствие бота Petalbot. Вначале присутствие данного бота было хоть и заметным, но редким. Однако за последнее время видеть его я стал чаще. Отсюда интерес и настоящий обзор.

О поисковом роботе Petalbot

Поиск информации о данном боте не вызывает сложностей. Все поисковые системы отлично о нем осведомлены и сообщают следующую информацию:

Petalbot представляет собой легитимный робот поисковой системы Petal Search компании Huawei. Создан бот в 2020 году ее дочерним ирландским разработчиком Aspiegel SE.

Китайская IT-компания Huawei Technologies всегда старалась – как минимум – идти в ногу со своими конкурентами из США и Европы. Видимо, именно эти “хождения” быстро привели к тому, что на Huawei были наложены санкции в виде ограничений в доступе на рынки США, Великобритании, Австралии, Индии и некоторых других стран.

Для пользователей продукции Huawei самым болезненным ограничением стало отсутствие предустановленного Google Play и довольно сложная процедура его установки. Отсюда разработка собственной HarmonyOS и ключевых сервисов, одним из которых и стал упомянутый выше Petal Search.

Как и любой другой поисковик, Petal Search обзавелся собственными поисковыми роботами или ботами, под общим юзер-агентом Petalbot. Под общим – поскольку ботов принципально два – мобильный PetalBot(mobile) и “десктопный” PetalBot(PC). Впрочем, последний, судя по всему, сделан на перспективу, поскольку поискового сервиса под него не существует. Поэтому Petalbot работает исключительно в интересах мобильного приложения, предустанавливаемого на все устройства Huawei.

Что делает Petalbot на вашем сайте

Поисковые роботы Petal Search официально выполняют вполне прозаическую функцию – занимаются поиском информации для сервисов Huawei Assistant и AI Search, которые и составляют основу Petal Search. Боты анализируют сайты на предмет наличия полезного контента и возможности рекомендовать его своим пользователям.

Другими словами, Petalbots это дружественные боты, которые не выполняют деструктивных или нежелательных действий на вашем сайте.

Все же, вызывает сомнение главный вопрос: кого видит своими потребителями Petal Search. На мой личный и субъективный взгляд, это исключительно китайскоязычные пользователи, которые не смогут почерпнуть ничего полезного из белорусских или российских сайтов. Кроме этого, Petal Search доступен только на платформе Huawei и совершенно неизвестен нашим пользователям.

Как запретить доступ Petalbot к сайту

Несмотря на некоторую имиджевую скандальность китайского бренда, поисковый робот Petalbot причисляется к категории “послушных” или “вежливых”, поскольку в своих действиях он использует директивы robots.txt 

Соответственно, и заблокировать его просто:

User-agent: PetalBot
Disallow: / 

Официальный сайт не скрывает информацию о User-Agent Petalbot:

Бот	User-Agent	Полный User-Agent
PetalBot(PC)	PetalBot	Mozilla/5.0 (compatible;PetalBot; +https://webmaster.petalsearch.com/site/petalbot)
PetalBot(mobile)	PetalBot	Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot; +https://webmaster.petalsearch.com/site/petalbot)

Сервера ожидаемо находятся в Гонконге и Сингапуре, и оперируют достаточно большим количеством IP-адресов.

Нужно ли блокировать Petalbot?

Технически, это легитимный и совершенно безвредный поисковый робот, который выполняет действия, аналогичные действиям спайдеров Яндекс и Google. Однако вся информация собирается для поисковой системы, предназначенной для аудитории, находящейся в удаленных регионах и совершенно не говорящей по-русски.

После появления на некоторых моих проектах ботов Petalbot начал появляться экзотический трафик. Здесь и Вьетнам и Бразилия и Индонезия. При этом, речь уже идет о конкретных пользовательских заходах с IP-адресов интернет-провайдеров. 

Вроде бы и трафик, но насколько он продуктивен? Здесь большой вопрос. В подавляющем большинстве, это “мусорные” заходы с высоким процентом отказов. Нужны ли они вам? Скорее всего, нет. Лично я для себя принял однозначное решение, не дожидаясь ухудшения показателей сайта.

Поскольку robots.txt это "щадящее" решение, более быстрым и радикальным станет запрет в .htaccess:

<IfModule mod_rewrite.c>
	RewriteCond %{HTTP_USER_AGENT} petalbot [NC]
	RewriteRule ^ - [F,L]
</IfModule>

В течение примерно получаса на вашем сайте не останется и следа от ботов с сигнатурой Petalbot.

Заключение

Petalbot является легитимным поисковым роботом, разработанным китайской компанией Huawei для собственной поисковой системы Petal Search. Этот поисковик физически доступен только на мобильных устройствах Huawei и по факту совершенно не востребован для нашего потребителя.

Несмотря на отсутствие деструктивных действий, наша рекомендация однозначна: Petalbot лучше заблокировать. Отсутствие внимания к действиям данного поискового робота может стать причиной нецелевого и бесполезного трафика, от которого сложно ожидать чего-либо позитивного.

Поскольку директивы вашего robots.txt не являются последней инстанцией, боты Petal Search довольно быстро пополнят поисковую базу. А обратный процесс будет уже гораздо более длительным. Так что чем раньше вы заблокируете ботов Petalbot, тем лучше.