Yahoo aura sorti un nouveau site web spider

Salut,

Récemment, Yahoo a publié une nouvelle page web spider-Slurp 3.0

Ce nouveau Yahoo! Slurp 3.0 reconnaît le même agent utilisateur et de toutes les directives du fichier robots.txt pour Yahoo! Slurp, mais itll s'identifier comme Slurp 3.0 dans vos journaux Web.

Les gens vont voir quelques changements en raison de cette nouvelle page Web d'araignée, comme indiqué ci-dessous par Sharad Verma de Yahoo Search.

«a) Les robots d'exploration commencera à partir d'un autre et beaucoup plus petite série d'adresses IP, mais itll encore de la crawl.yahoo.net domaine. Les contrôles de reverse DNS pour identifier notre robot d'exploration de continuer à travailler. S'il vous plaît noter que si vous sont basés sur IP en utilisant la reconnaissance de nos robots d'exploration, vous pouvez voir une baisse de l'exploration / couverture de Yahoo! Nous vous recommandons fortement de passer à reverse DNS basé sur l'identification de Yahoo! Slurp si vous utilisez une autre méthode pour éviter ce problème. L'ensemble actuel de PI disparaîtra de vos journaux Web dans les prochaines semaines.

b) Les robots d'exploration sera également de publier un nouveau user-agent, Yahoo! Slurp/3.0. Directives existantes robots.txt pour "Slurp" ou Yahoo! Slurp va continuer à travailler, mais si vous avez des directives spécifiques à Slurp/2.0, ils ne seront pas reconnus par le robot d'exploration de nouvelles (si l'utilisation de l'Slurp/2.0 user-agent est très rare sur le web, de sorte que vous ne sera probablement pas en affecté). Nous recommandons en précisant la version abrégée de: User-agent: Slurp. Check out "Comment puis-je éviter que mon site ou de certains sous-répertoires à partir de l'exploration? sur notre page d'aide pour plus de détails.

Ces modifications auront une incidence sur la principale Yahoo! Recherche sur le Web crawlers. Robots d'exploration de même que le respect de Yahoo! Slurp directive, mais plus spécifiquement d'identifier eux-mêmes, tels que Yahoo! Slurp la Chine et d'autres, ne seront pas affectées. "

De - http://www.ysearchblog.com/archives/000531.html

J'ai regardé brièvement ce lien, et a remarqué la mention de yahoo peut-être à tort d'identifier lui-même comme Wget. Je trouve cela intéressant, parce que je viens récemment interdit Wget retreiving de pages de ozzu après avoir trouvé de nombreuses requêtes par seconde à partir de quelqu'un d'utiliser. Maintenant, je me demande si cela a été fait dans Yahoo comme je l'ai jamais vérifié l'adresse IP.

Quiconque aperçoive Yahoo! Bots être identifié comme Wget Slurp au lieu de 3.0?

cool, je dois consulter mes stats pour voir si je peux voir le nouveau Yahoo bot dans mes logs.