Ancho de banda de problema debido a los robots

Hola chicos, Im no está seguro de si esta es la sección correcta a este problema puesto in Mods, por favor, pasar a la sección apropiada si este es un mal lugar para estar in

Ok, aquí es, desde entonces he cambiado de 2.1.7 a 2.3.3 IPB juntas, mi ancho de banda ha pasado por el tejado. Yo solía ir a través de alrededor de 30 conciertos al mes, sé que van a través de 120 giga, y el robot de google come hasta alrededor de 85 giga, el yahoo bot otros 10 giga.

Mi límite es de 40 gig y después de cada concierto que es de $ 4 a pop.

Ahora el problema, muy alto rango en cada motor de búsqueda, y no quieren perder, pero tengo que controlar la cantidad de ancho de banda de los bots pasar. No quiero prohibir por completo, ya sea como i perderá mi motor de búsqueda y clasificación.

He encontrado esto en lo que respecta a la yahoo bot
http://help.yahoo.com/l/us/yahoo/search ... rp-03.html



Ahora, tengo un servidor VPS de mi sitio, por lo que mis preguntas son las siguientes.

¿Qué valor debo usar, y es hay una cosa similar que puedo hacer para un robot google?

¿O hay otra manera de reducir la cantidad de ancho de banda consumen los bots?

Muchas gracias por tu ayuda. Malos darle una oportunidad y ver cómo voy. ¿Aquí como respuesta a los resultados.