Yahoo mise à jour du site: domaine

Big Sandbox de Google, AskJeeves et Yahoo. MSN Indexes rapide
Par Mike Banks Valentine (c) 2005

L'annonce des retards qui en sont venus à être appelé Google Sandbox
effet sont en fait vrai dans la pratique à chacune de quatre haut niveau
les moteurs de recherche, sous une forme ou une autre. MSN, semble-t-il a la
court délai d'indexation à 30 jours. Cet article est le
deuxième d'une série suivant les araignées à travers une nouvelle marque
site Web à compter du 11 Mai 2005, lorsque le site a d'abord été
faites vivre ce jour-là sous un nouveau nom de domaine acheté.
http://publish101.com/Sandbox2

Auparavant, nous nous sommes penchés sur les 35 premiers jours et détaillée les
comportement d'exploration de Googlebot, Teoma, MSNBot et que Slurp
ils ont parcouru les pages de ce nouveau site. Nous avons découvert que
chaque robot araignée affiche un comportement nettement différent dans
l'exploration de fréquence et de même différents modes d'indexation.

Pour référence, il ya environ 15 à 20 nouvelles pages ajoutées à
le site tous les jours, qui sont liées à la page d'accueil
un jour. Structure du site est non-traditionnel, sans catégories
et un lien structure liée à l'auteur la liste de leurs pages
articles ainsi que d'un "articles" l'indice varie de
lien vers les pages contenant des contenus similaires.

Ainsi, l'examen permet d'où nous sommes les uns avec les araignées et d'exploration
regarder les pages explorées et de comparer les pages indexées par le moteur.

L'araignée AskJeeves, Teoma a exploré la plupart des pages sur
le site, mais les indices ne pages 60 jours plus tard, à ce jour.
Il s'agit clairement d'un site vieillissement retard thats calqué sur Google
Sandbox comportement. Bien que l'araignée de Teoma Ask.com a
explorées plus de pages sur ce site que tout autre moteur de plus d'un
Délai de 60 jours et semble être fatiguée de ramper comme theyve
pas retourné depuis Juillet 13 - leur première rupture dans les 60 jours.

Dans les deux premiers jours, le robot Googlebot gobbled jusqu'à 250 pages et
n'a pas de retour jusqu'à 60 jours plus tard, mais n'a pas encore indexées
une seule page dans les 60 jours depuis qu'ils ont pris cette première exploration.
Mais Googlebot fait preuve d'un regain d'intérêt pour l'exploration
l'exploration de ce site depuis l'étude de cas a été publié
sur plusieurs sites à fort trafic. Maintenant, le robot Googlebot est à la recherche à un
quelques pages chaque jour. Jusqu'à présent, aucun de plus de 20 pages à un
décidément lackluster rythme, un véritable "Explorer" qui tenir
occupés pendant des années que si elle se poursuit lentement.

MSNBot exploré timidement pour les 45 premiers jours, plus de la recherche
30 à 50 pages par jour, mais pas jusqu'à ce qu'ils trouvent un fichier robots.txt
fichier, qui a négligé de post mercredi sur le site pendant une semaine et
bobbled alors que le ballon nous avons changé la structure du site, puis
pas réussi à mettre en oeuvre les robots. txt dans de nouveaux sous-domaines jusqu'à ce jour
25 - Et puis MSNBot n'a pas de retour avant 30 jours. Si peu
d'autre ont été découverts sur les premières explorations et de l'indexation, nous
avons vu que MSNBot qui s'appuie fortement sur le fichier robots.txt
et de l'application correcte de ce fichier sera la vitesse d'exploration.

MSNBot est maintenant à l'exploration avec enthousiasme partout entre
200 à 800 pages par jour. En fait, nous avons eu à utiliser
un "crawl-retard" dans la commande des robots. txt après MSNBot
a commencé à frapper 6 pages par seconde la semaine dernière. L'index de MSN maintenant
montre 4905 pages 60 jours de cette expérience. Des pages en cache
changement hebdomadaire. MSNBot apparaît notly a constaté que la façon dont il aime
nous avons changé la structure de la page afin d'inclure une nouvelle fonctionnalité qui
des liens vers des questions de plusieurs autres pages de l'article.

Slurp est étrangement inactifs alors alternativement hyperactif
pour des périodes de temps. Le robot Yahoo regarder 40 pages
un jour de 4000 et la suivante, puis suffit de regarder à la maison
Page d'accueil de quelques jours, puis revenir en 3000 pour les pages
jour suivant et le retour à l'examen du fichier robots.txt pour seulement deux jours.
La cohérence n'est pas une malédiction subie par Slurp. Yahoo montre maintenant
6 pages dans son index, dont une page d'erreurs et un autre est un
"index / de la page que nous n'avons pas affiché une page d'accueil de plusieurs
sous-domaines. Mais Slurp a exploré facilement 15.000 pages à ce jour.

Les leçons apprises dans les 60 premiers jours sur un nouveau site suivant:

1) Google explore de 250 pages sur la première découverte de liens de site.
Ensuite, ils ne reviennent pas jusqu'à ce qu'ils trouvent d'autres liens et d'exploration
lentement. Google n'a pas réussi à l'index nouveau domaine pour les 60 jours.

2) Yahoo cherche des pages d'erreurs et une fois qu'ils trouvent des liens défectueux
explore sans cesse jusqu'à ce que vous leur dites-leur d'y mettre fin.
Alors pourquoi ne pas explorer à tous pour les semaines jusqu'à ce que l'exploration fortement
un jour et légèrement dans les prochains hasard.

3) MSNBot requiert les fichiers robots.txt et une fois qu'ils décident qu'ils
comme votre site, mai exploration trop rapide, exigeant "Crawl-delay"
instructions dans ce fichier robots.txt. Mettre en œuvre immédiatement.

4) Bad robots peuvent-ressources et de frapper un trop grand nombre de pages trop
rapidement jusqu'à ce que vous leur dire de rester à l'extérieur. Nous avons interdit 3 bots
purement et simplement après avoir claqué nos serveurs pour une journée ou deux.
Noté "aipbot" explorés en premier puis "BecomeBot" est venu
et puis "Pbot" de Picsearch.com explorées fortement la recherche
pour les fichiers image, nous n'avons pas. Bad bots, rester en dehors. Le mieux est de
mettre en œuvre le fichier robots.txt pour toutes les exclusions, mais si les moteurs de haut
souche de leurs robots d'exploration des ressources de votre serveur. Nous avons considéré
l'exclusion du moteur de recherche chinois Baidu nommé. com quand
ils ont commencé à explorer très tôt. Nous ne nous attendons pas beaucoup
trafic en provenance de la Chine, mais pourquoi exclure d'un milliard de personnes?
D'autant plus que Google est selon la rumeur à l'examen d'une
BAIDU.COM possible l'achat de l'entrée à marché chinois.

L'essentiel est que tous les moteurs weve découvert semblent
délai d'indexation de nouveaux noms de domaine pendant au moins trente jours.
Google a jusqu'à présent retardé l'indexation ce nouveau domaine de 60
jour depuis la première exploration. AskJeeves a exploré des milliers
de pages, alors que l'indexation aucun d'entre eux. MSN indexe plus vite que
tous les moteurs, mais nécessite le fichier robots.txt. Slurp Yahoos explorations
à nouveau repartir pour 60 jours, mais seulement six indices du total
15.000 pages ou plus explorées à ce jour.

Il semble que nous ayons réglé qu'il existe un retard d'indexation,
mais si ce site est officiellement «Sandboxed" et si
ce retard est universel est moins claire. Beaucoup de webmasters demande
qu'ils ont été pleinement indexées dans les 30 jours de la première
poster un nouveau domaine. Mercredi amour de voir les autres suivre les araignées
par le biais de nouveaux sites suivants sur le document de lancement de leurs résultats
public de sorte que le comportement d'exploration et d'indexation sont prouvés.