Перейти к содержанию
GetProfit
Войти

← Все термины

Googlebot

Googlebot — общее название поисковых роботов Google Поиска, то есть программ, которые загружают страницы сайта, чтобы Google мог рассмотреть их для своего индекса.

Как работает

У Googlebot два типа — Smartphone и Desktop. Большинство запросов приходит от смартфонного краулера, потому что для большинства сайтов Google в основном индексирует мобильную версию. Новые адреса Googlebot находит в основном по ссылкам на уже просканированных страницах.

Магазин посещают и другие краулеры Google. Storebot-Google сканирует страницы товаров, корзины и оформления заказа, чтобы собрать данные о цене, доставке и оплате для Google Shopping. AdsBot проверяет посадочные страницы объявлений. Google-InspectionTool загружает страницы для проверки URL в Google Search Console.

User agent, то есть название краулера в каждом запросе, легко подделать, поэтому собственная проверка Google — по IP-адресу. Обратный DNS-запрос должен вернуть имя в домене googlebot.com, google.com или googleusercontent.com. Прямой запрос по этому имени должен вернуть тот же IP. Опубликованные Google списки IP-адресов тоже подходят.

Если защита от ботов отвечает настоящему краулеру кодом 403, Google считает страницу отсутствующей и удаляет её из индекса. Коды 429 и 5xx замедляют сканирование; проиндексированные страницы какое-то время остаются, но в итоге исключаются. Наше руководство показывает, как проверить Googlebot за защитой от ботов на CDN.

Пример

Пример на вымышленном магазине, числа не клиентские.

В логе CDN магазина посуды два запроса с user agent Googlebot. Для 66.249.66.1 обратный запрос возвращает crawl-66-249-66-1.googlebot.com, который разрешается обратно в тот же IP: это Googlebot. Второй IP разрешается в домен хостинг-компании: самозванец, его безопасно блокировать.

Не путать с

  • Индексация — Googlebot загружает страницы, а индексация решает, сохранит ли их Google. Блокировка краулера в robots.txt не удерживает URL вне результатов.

Верно и неверно

  • Неверно: «Мы отправили запрос с user agent Googlebot, получили 403, значит, CDN блокирует Google.» Верно: запрос с вашего собственного IP показывает, как защита обходится с самозванцем, а не с Googlebot.
  • Неверно: «robots.txt разрешает Googlebot, значит, краулер Google Shopping пройдёт.» Верно: у Storebot-Google в robots.txt своё имя user agent, и правила, написанные для Googlebot, на него не действуют.

Источники