Lista de mala Robots

He puesto juntos una lista de los bots que no quiere a su sitio araña Puede ver o descargar aquí la lista:

Lista de mala robots

No puedo decir que estoy de acuerdo en cuanto a su razonamiento o la mayoría de los que veo en tu lista, pero por favor ¿podría usted explicar esto un poco. Es evidente que su vínculo da algunas razones en su puesto, pero la gente aquí que no haga clic en el vínculo no tiene idea de por qué se debe. Por no hablar de algunas pequeñas instrucciones para los nOObs sobre cómo crear un archivo robots.txt para prohibir los bots no deseados.

Pensé el tema que es una pegajosa en este foro que ayuda a explica más sobre robots.txt:

http://www.ozzu.com/other-search-engines/common-search-engine-terms-t24816.html

Ayudaría a cualquiera que tenga alguna pregunta acerca de cómo crear un archivo robots.txt. Sin dejar de mencionar que algunos noobs han preguntado cómo o dónde colocar el robots.txt y yo hemos contestado esto.

Supongo que no es tanto cómo crear un archivo robots.txt, sino más bien por qué los robots son malos. Y yo lo hice leer la entrada en su enlace, obviamente.... nOObs lectura, pero aquí, por primera vez, no tendrá una pista de por qué nos dicen de prohibir los bots a no ser que hagan clic en su vínculo y comprender lo que está diciendo. Incluso su entrada en el vínculo no dar una amplia razón. Mayormente Im justo señalar que usted envió un "hacer esto porque su mal" algo después sin dar mucho de una explicación de por qué el....

mi captura deriva?

/ / editar - para que conste en acta, creo que más o menos de acuerdo con los robots en su lista.

Bueno si alguien tiene una pregunta entonces podría pedir. Tuve Nuevo tema que hace mucho tiempo y nadie ha preguntado por qué cada bot es considerado malo.