Свежие скидки на d-zeus, d-wp и zerber!

Блог / Неофициальные визиты Гугла

Не так давно в конференции по дорвеям обсуждали js, с помощью которого можно определить гуглбота, а заодно выясняли заходит ли гуглбот под видом обычного пользователя или нет. Далее реальный пример.

Анализировал я логи одного своего дорвея и мое внимание привлекло поведение следующего IP:

  • 66.102.8.217 - - [28/Mar/2018:03:02:04 +0300] "GET /page/ HTTP/1.1" 200 8407 "http://www.google.com/url?..." "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"

На первый взгляд ничего необычного. Переход с гугла, браузер IE11. Дальше, как обычно ведет себя браузер пользователя в подобных ситуациях — загрузил скрипты, стили и картинки:

  • 66.102.8.217 - - [28/Mar/2018:05:38:48 +0300] "GET /wp-content/themes/quickpress/style.css?ver=4.9 HTTP/1.1" 200 3893 "http://site.ru/page/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"
  • 66.102.8.217 - - [28/Mar/2018:03:02:05 +0300] "GET /wp-content/plugins/contact-form-7/includes/js/scripts.js?ver=4.9.2 HTTP/1.1" 200 14092 "http://site.ru/page/" "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"
  • 66.102.8.217 - - [28/Mar/2018:03:02:34 +0300] "GET /wp-content/uploads/2017/10/img.jpg HTTP/1.1" 200 732 "http://site.ru/page/" "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"

Я обратил внимание на этот запрос, только потому что с этого IP поступали и другие запросы, но уже с другим UserAgent-ами.

  • Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko
  • Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko
  • Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko

Пробил IP по Whois:

И стало понятно, что IP принадлежит Гуглу.

Бот это или нет, пока не понятно, буду изучать дальше. Было бы прикольно пробить его с помощью того же js. Как минимум это ручные заходы от сотрудников гугла (наверное это Сергей, Лари и Эрик хотели посмотреть на мои доры).

comments powered by Disqus