Компания Microsoft объявила об изменении технологии краулинга поисковика Live Search. MSNbot, обновлённый до версии 1.1 поддерживает протоколы компрессии HTTP и условных вычислений, что позволяет существенно сократить трафик при индексировании сайтов.
Первый тип компрессии позволяет сжимать файлы перед скачиванием, второй позволяет определить изменения контента страницы по сравнению с предыдущим визитом бота и в случае, если изменений нет, [...]
Рубрика: MSN | Помечено: Ask, Googlebot, Live Search, Microsoft, MSN, MSNbot, Yahoo Slurp | 1 комментарий »
