Algunos bots inadecuado ignorar htaccess?

ive estado tratando de agregar algunos robots de mal a mi htaccess pero ¿por qué los bots siguen llegando y hormigueo en mi sitio?
no lo escribo mal? aquí está (con esos de mantenimiento de venir-back bots):


cualquier error?

Y si añado "Yahoo! Slurp" a la lista, mi sitio web en el código de error 500 para que se accede.
cómos la forma correcta de escribir Yahoo! Slurp en la lista anterior?

gracias de antemano

No hay nada que pueda hacer para evitar que se volver . Sólo se puede controlar lo que ven. Si usted mira en los archivos de registro para ellos, ¿está usted viendo HTTP 200 códigos de estado en Aceptar para sus peticiones, o estás viendo 403 Forbidden códigos de estado HTTP?

Cuando se agrega Yahoo, utilice "Slurp" en lugar de "Yahoo!".

Bien lo entiendo.
Ellos enviaron a 403.

Pero esta Twiceler seguir tratando de rastrear incluso prohibido / áreas protegidas y de los enlaces rotos ive fijos más tarde (era de su caché del acto anterior, tal vez?), Pero lo envió a 403 y 404 (un this me arrastra hacia fuera!) En d final de todos modos.

Gracias por ayudarme de nuevo, joebert maestro.

Tal vez se le olvidó su vez Reescribirmotor en?

Esto debe ser antes de que su "badbot" líneas...



Utilice nombres bot exacta y redirigir a otra parte...Esto detendrá el rastreo de su sitio para siempre.


Pero realmente <3 Googlebot...

Gracias por responder webmaster d + [-]
Ive encendido. Pero de alguna manera esta maldita Twiceler parece fuera de control. Incluso optándose en la mayoría intenta tener acceso a zonas prohibidas. Apenas me divierte.

En realidad necesito Googlebot también ^ ^
Pero no me gusta su forma de lista de todas mis páginas enlazan cuando se supone que debe ser visto en cierto modo quiero (como marcos, significa que yo no quiero que nadie sabe d ruta enlaces directamente de google). Feo!

@ Clcheapshoes520
¿Cómo saber qué?

Hay algunos robots que hacen caso omiso de sus htaccess no puede hacer mucho al respecto pero espero que vaya. sin embargo yo desorbitados Twiceler y costuras legítima por lo que no estoy seguro ¿Estás seguro de saber lo que responde a? Nunca he oído hablar de él y tiendo a bloquear todo el msn, pero (ahora bing) google (sé que lo han bloqueado, pero creo que el hecho de que es la búsqueda más utilizados compensa el ancho de banda) yahoo y todas las otras que encontramos que son buenas.

más - esto puede ser cierto para la mayoría de los sitios de búsqueda, pero hay dos googlebot Los robots de Google para los sitios y googleimagebot para obtener las imágenes de tu sitio si usted bloquea una que no bloquee el otro.

tastysite @
"Hay algunos robots que hacen caso omiso de htaccess"
WOW! Eso es sorprendente! Yo Tho htaccess es el todopoderoso que nada puede escapar de sus comandos. * * Pálida

No me importa si es legítimo o Twiceler sumthing, sabiendo que seguir intentando el acceso a directorios prohibido en mi sitio web.
Al final, puedo bloquear todas las IPs contra los robots de Twiceler.

Puse Granda bot googles en mi vigilancia. Pero no me gusta su ImageBot: p

Gracias por tu ayuda, tastysite!

por cierto tengo un diablo más seguir tratando de agarrar mis datos a través de libwww-perl.
ive que añadir algunas formas de mi htaccess pero siguen viniendo. Alguien sabe cómo echar a libwww-perl de mi web?
sus siguen llegando todo el tiempo, todos los días

heres mi htaccess para que