Certains bots Bad ignorer htaccess?

ive essayé d'ajouter quelques robots collecteurs de mauvais à mon htaccess mais pourquoi les robots collecteurs encore à venir et de ramper dans mon site?
ai-je tort de l'écrire? Ici, il est (avec les keep-venir-back bots):


une erreur?

Et quand j'ajoute "Yahoo! Slurp» à la liste, mon site est de 500 le code d'erreur pour être consulté.
Hows la bonne façon d'écrire Yahoo! Slurp sur la liste ci-dessus?

Merci d'avance

Il n'y a rien que vous pouvez faire pour les empêcher de revenir . Vous ne pouvez contrôler ce qu'ils voient. Si vous regardez dans les fichiers journaux pour eux, voyez-vous l'état HTTP 200 OK codes de leurs demandes, ou êtes-vous voir 403 codes de statut HTTP Interdite?

Lorsque vous ajoutez Yahoo, utilisez "Slurp" au lieu de "Yahoo!".

Alright je me le procurer.
Ils ont tous envoyé à 403.

Mais cette Twiceler continuer à essayer de ramper même interdite / zone protégée et à tout les liens rompus IVE fixée ultérieurement (il était de leur cache de la loi précédente peut-être?) Mais il a envoyé à 403 & 404 (this on me glisse dehors!) En d fin de toute façon.

Merci pour ton aide encore une fois joebert maître.

Peut-être que vous avez oublié de tourner à RewriteEngine on?

Ce devrait être avant que votre «badbot" lignes...



Utilisez des noms bot exacte et les rediriger ailleurs...Cela arrêt de l'exploration de votre site pour de bon.


Mais j'ai vraiment <3 Googlebot...

Merci pour la réponse d webmaster [+ -]
Ive il allumé. Mais de toute façon cette connerie Twiceler semble hors de contrôle. Il a même oftenly essayez d'accéder à des zones interdites. amuse à peine de moi.

En fait, j'ai besoin de Googlebot trop ^ ^
Mais je n'aime pas sa façon de liste toutes les pages mon lien quand ils supposent pour être lu d'une certaine façon que je veux (comme des cadres, cela signifie que je ne veux pas que quelqu'un sait d chemin de liens directement à partir de Google). Ugly!

@ Clcheapshoes520
Comment savez quoi?

Il ya des robots qui ne ignorer votre htaccess pas que vous pouvez faire à ce sujet, mais j'espère qu'ils s'en aller. Cependant, je écarquillé Twiceler et coutures légitime afin im not sure vous sûr que vous savez ce qu'il répond à? Je n'ai jamais entendu parler de lui et j'ai tendance à bloquer tout, mais MSN (maintenant bing) Google (je sais que vous avez bloqué, mais je pense que le fait que c'est la recherche la plus utilisée représente pour la bande passante) yahoo et tout les autres, je trouver qui sont bonnes.

plus - ce peut être vrai pour la plupart des sites de recherche mais il est de 2 robots Googlebot Google pour les sites et googleimagebot pour obtenir les images de votre site si vous bloquez celui qu'il ne bloque pas l'autre.

tastysite @
«Il ya des robots qui ne ignorer htaccess"
WOW! Thats surprenant! Je Tho htaccess est le Tout-Puissant que rien ne peut échapper à ses commandes. * * Pâle

Je ne m'inquiète pas si Twiceler est légitime ou Sumthing, sachant qu'elle continuer à essayer d'accéder à des répertoires interdits sur mon site.
En fin de compte, je bloquer toutes les adresses IP des bots Twiceler.

Je mets Granda googles bot sur ma surveillance. Mais je déteste son ImageBot: p

Merci pour votre aide, tastysite!

BTW J'ai une autre diable continuer à essayer de récupérer mes données via libwww-perl.
ive ajouter une certaine manière à mon htaccess mais continuent d'affluer. quelqu'un sait comment mettre dehors libwww-perl de mon web?
son donjon à venir tout le temps, tous les jours

heres mon htaccess pour elle