Physical Address

304 North Cardinal St.
Dorchester Center, MA 02124

Новый пользовательский агент Googlebot для сканирования содержимого смартфонов

На протяжении многих лет Google использовала различные поисковые системы для сканирования и индексации контента для полнофункциональных телефонов и смартфонов. Все эти поисковые системы для мобильных устройств получили название Googlebot-Mobile. Однако функциональные телефоны и смартфоны имеют существенно разные возможности устройств, и мы видели случаи, когда веб-мастера непреднамеренно блокировали сканирование или индексацию приложений со смартфона, хотя на самом деле они хотели заблокировать только сканирование или индексацию функций телефона. Из-за этой двусмысленности Google не смог проиндексировать содержимое некоторых сайтов, размещенных на смартфонах, или распознать, что эти сайты оптимизированы для смартфонов.

Новый робот Googlebot для смартфонов

Чтобы прояснить ситуацию и предоставить веб-мастерам больший контроль, мы прекращаем использование «Googlebot-Mobile» для смартфонов в качестве пользовательского агента, начиная с 3-4 недель. С этого момента пользовательский агент для смартфонов будет идентифицировать себя просто как «Googlebot», но по-прежнему будет отображаться в mobile другом месте в user-agent строке. Вот новые и старые user-agent:

Новый робот Googlebot для смартфонов user-agent

Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4
(KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4
(compatible;  Googlebot /2.1; +https://www.google.com/bot.html)

(обновлено в августе 2015 г.)

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26
(KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25
(compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Робот Googlebot-мобильный для смартфонов user-agent мы скоро уйдем на пенсию:

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26
(KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25
(compatible; Googlebot-Mobile/2.1; +https://www.google.com/bot.html)

Это изменение затрагивает только Googlebot-Mobile для смартфонов. Пользовательский агент обычного робота Googlebot не меняется, и оставшиеся два мобильных сканера Googlebot по-прежнему будут ссылаться на функцию телефонные устройства в своих user-agent строках; для справки, это:

Обычный робот Googlebot user-agent:

 Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Два робота Googlebot-мобильные пользовательские агенты для полнофункциональных телефонов:

SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1
    UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0
    (compatible; Googlebot-Mobile/2.1; +https://www.google.com/bot.html)
DoCoMo/2.0 N905i(c100;TB;W24H16)
    (compatible; Googlebot-Mobile/2.1; +https://www.google.com/bot.html)

Вы можете протестировать свой сайт с помощью Функции «Выборка от Google» в инструментах для веб-мастеров, также вы можете просмотреть полный список наших существующих поисковых систем в Справочном центре.

Сканирование и индексация

Пожалуйста, обратите внимание на это важное последствие user-agent обновления: новый поисковый робот Googlebot для смартфонов будет следовать правилам поиска по тегам robots.txt, robots meta тегам и HTTP-заголовкам для Googlebot вместо Googlebot-Mobile. Например, когда будет развернут новый поисковик, это правило robots.txt заблокирует весь обход с помощью нового Googlebot для смартфонов user-agent, а также обычного Googlebot:

User-agent: Googlebot
Disallow: /

Это robots.txt правило заблокирует поиск с помощью функциональных поисковых систем Google для телефонов:

User-agent: Googlebot-Mobile
Disallow: /

Согласно нашему внутреннему анализу, это обновление затрагивает менее 0,001% URL-адресов, предоставляя веб-мастерам больший контроль над сканированием и индексацией их контента. Как всегда, если у вас есть какие-либо вопросы, вы можете:

  • Ознакомьтесь с нашими рекомендациями по созданию сайтов, оптимизированных для смартфонов
  • Узнайте больше о управлении обходом и индексацией Googlebot
  • Спросите на наших форумах помощи веб-мастерам или посетите одно из наших рабочих мест для веб-мастеров.