"Главное внедрить, а потом разберёмся"
Наверное ребята из вебальты действовали по этому принципу. Сначала атаковали сайты своим ботом - стремились собрать как можно больше документов в индексе. И, конечно, ни о каком Disallow: / и речи быть не могло.
Ага, собрали 363 844 949 документов объёмом 9 573Гб. Теперь тем же самым оптимизаторам, у которых ложили сервера, предлагают вручную эту базу от дорвеев чистить. Я плакалЪ, посему облегчил неграм работу.
User-agent: Webalta
Disallow: /
Может поменяемся ссылками? ,)
ОтветитьУдалитьточно)))
ОтветитьУдалить