Внимание! Спешите забрать свой промокод на Zerber, d-wp и d-zeus!

Блог / Как Яндекс мой robots.txt шатал

Сегодня бот Яндекса очень неприлично поступил с одним из моих дорвеев. Он зашел в robots.txt 190 раз! Сначала делал по 20 запросов в секунду, потом немного успокоился, а потом пошла вторая волна. А потом вообще пропал. Конечно же в индекс ничего не попало. Дорвей в шоке, закрылся фреймом и никому не показывается.

Вот результаты экспертизы.

Что делать? Как поступать в таких случаях? Какую помощь я могу оказать дорвею? Может купить ему ссылок? Или сам выйдет?

UPD: выяснилось, что это и не Яндекс вовсе, просто кто-то прикинулся его юзерагентом.

comments powered by Disqus