Внимание! Спешите забрать свой промокод на Zerber, d-wp и d-zeus!

Блог / Googlebot, js, iframe, или как гуглбот видит ваши сайты

Чтобы убедиться, что гугл умеет рендерить страницы и смотреть на них как браузер, достаточно добавить несколько сайтов в https://www.google.com/webmasters/tools/home и, через некоторое время, работники индийского отделения гугла, бесплатно сделают скриншот для каждого вашего сайта.


На снимке 3 моих дорвея, перекрытые одинаковым фреймом.
Все важное замылено, чтобы вам не палить.

Слив трафика на моих дорвеях устроен довольно обыденно: поверх содержимого обфусцированным js кодом выводится iframe. На каждом доре код, который выводит фрейм немного отличается. На каждой странице дора во фрейм передается параметр (кей), т.е. каждый раз во фрейме грузится разная страница (думаю так у многих). На скриншоте выше видно, как гугл сделал скриншоты этих 3-х дорвеев уже перекрытых фреймами. При этом отчетливо видно, что содержимое фрейма везде одинаковое — думаю это вряд ли выйдет плюсом в карму для этих дорвеев.


Самое интересное

Так вот, по логам сервера отчетливо видно, что при индексации страниц сайта, гуглбот смотрит что находится во фрейме и индексирует это содержимое. При чем он показывает реферер, с какой страницы он пришел, и не скрывает, что он гуглбот. Смотрите сами.


Гуглбот заходит на страницу дорвея http:/site.ru/1827.html в 00:08:48

66.249.78.18 - - [15/Oct/2015:00:08:48 +0400] "GET /1827.html HTTP/1.0" 200 28534 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

На этой странице с помощью js выводится iframe с адресом http://site-iframe.ru/search/key (где key это title страницы)


Через 4 секунды другой гуглбот (из той же подсети, но с другим IP) заходит на страницу, которая была открыта во фрейме, при этом он показывает, что пришел со страницы http:/site.ru/1827.html

66.249.64.238 - - [15/Oct/2015:00:08:52 +0400] "GET /search/key HTTP/1.0" 200 453961 "http:/site.ru/1827.html" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Таким образом гуглбот полностью имитирует загрузку фрейма в браузере за единственным отличием в том, что содержимое фрейма грузится с другого IP (хотя и такое может встречаться при загрузке страницы обычным браузером).


Из всего этого можно сделать вывод, что при индексации гуглбот выполняет джаваскрипт, а так же индексирует содержимое фреймов, даже, если фреймы выводятся джаваскриптом. Другими словами гуглбот видит ваши доры так же как и браузер, а если точнее, то даже лучше — ведь ему доступны такие органы восприятия, которые не доступны обычному человеку.


Гуглбот смеется над вашими попытками скрыть слив трафика.

comments powered by Disqus