Просматривая логи заметил бота от индийского поисковика Guruji. Поэтому кратким его описанием продолжаю своё знакомство с региональными поисковиками.
Логично, что если он отметился у меня в логах, то используется собственный паук, который соблюдает стандарты robots.txt. Так как этот локальный поисковик нацелен на выдачу информации по крупнейшим городам Индии, то аудитория у него на 59% индийская соответственно.
Ох уж этот робот.тхт )
ОтветитьУдалитьСпасибо вам!
Экзотический бот
ОтветитьУдалить