Una pregunta sobre el archivo robots.txt!

Hola chicos, me gustaría discutir con qué beneficios pueden obtenerse de archivo robots.txt, cuando la promoción de sitio web? ¿Podrías por favor explicar cómo cargar los datos de este archivo al hosting? ¿Es public_html subido al directorio raíz como así?

La finalidad de un archivo robots.txt es detener los robots de rastreo de partes de su sitio web que desea mantener privada. Sin embargo, al mismo tiempo, su diciéndole al mundo privado donde las cosas se encuentran. Desde un punto de vista de seguridad el punto de vista, hay gente que busca el archivo robots.txt si tienen algún interés en comprometer su sitio web. I wouldnt utilizarlo.