Боты

Продолжаю традиционную сухую и скучную публикацию о ботах. Поскольку некоторые проекты впоследствии оказываются вполне успешными стартапами.

1. Kalooga.com - какой-то европейский бот. На сайте почти нет никакой информации и ссылки не работают. Чтобы зарегистрироваться, нужно отправить e-mail. Внизу странички приведена статистика:
   • 6 879 790 галерей
   • 130 716 010 фоток
     
2. MLBot. Здесь всё ещё кошмарнее. Единственное, что сказано - бот соблюдает стандарты robots.txt:

   User-agent: MLBot
   Disallow: /

3. Spinn3r индексирует блогосферу. На сайте много информации. Есть блог. Статистика:
   • 40 000 постов в час
   • 12 000 000 проиндексированных блогов
4. dotbot | DotNetDotCom.org создан 10 июня 2008 г. На сайте обновляемая статистика в режиме реального времени. На данный момент проиндексировано 91 792 домена, 9 179 298 страниц. Приведена любопытная таблица ответа серверов:
   • 200 - 74,77%
   • 302 - 11,48%
   • 404 - 6,63%
   • 301 - 4,86%
   Бот уважает robots.txt:

   User-agent: dotbot
   Disallow: /