SearchMe.com...Comment arrêter sa folie!

Tout d'abord je ne suis pas sûr de l'endroit où ces questions devraient être la maison, mais je l'ai vu juste de le mettre dans la conception de sites Web, car il pourrait effectuer un grand nombre de personnes.

Je gère un site Web pour un travail où chaque URL se termine par un identifiant unique. SearchMe a été construit par des personnes ne sachant pas ce que l'enfer qu'ils font et peuvent consulter la page d'accueil plusieurs fois car il représente pour l'ensemble de l'adresse Web sans se rendre compte qu'il a été là avant.

Il est vissé le trafic de bûches, martelant le serveur, et l'assassinat de notre bande passante.

Je sais que la plage d'adresses IP qu'ils utilisent et leur nom d'araignées et de certains de leurs alias.

Pour résoudre ce problème, j'ai un peu d'options, les bloquer dans le fichier vhosts avec apache ou avec htaccess. J'ai essayé de haut en bas pour faire de la vhosts travail et ne pas les bloquer. Et ils ne respectent pas le fichier robots.txt.... Changer le site web n'est pas une option.

Comment pourriez-vous aller à ce sujet?

J'ai réfléchi à l'aide de PHP, et que sa eux de les renvoyer vers leur site eux-mêmes afin qu'ils marteau dur comme ils le font de nous.

Toute aide sera la bienvenue, à leur application plat sucks sites et des marteaux.

Merci d'avance.

Bonjour kbergmann,

Avez-vous envisagé Apache mod-rewrite pour changer votre URL à quelque chose de plus convivial? Par exemple vous pouvez changer cela:



À quelque chose comme ceci:



Vous pouvez trouver plus d'informations sur le site Web Apache:

http://httpd.apache.org/docs/2.0/misc/rewriteguide.html

Pete

C'est une option, mais nous essayons de ne pas aller trop exotique ici au travail avec apache mods.

Dans votre proposition de code où vous avez `id`, nous avons `c` qui n'agit pas comme une pièce d'identité et est unique à chaque visiteur et je crois que c'est lié aux sessions. SearchMe hits chaque page de succession, donc à chaque fois qu'il revient dans une nouvelle page, il est un nouvel ID de session car il ne s'agit pas seulement de suivre les liens sur les pages. Il n'est pas très intelligent d'araignée...

Je comprends bien que l'aide, je vous remercie.

Avez-vous essayé http://www.searchme.com/support/spider/#pos_02 ?

Oui, et de les envoyer par courriel a l'araignée sur le site. Ce n'est que temporaire bien que la prochaine recherche qui se fait, à marteler le serveur.

C'est une bonne idée, ils ont juste besoin de quelqu'un qui sait ce qu'ils font à la tête qu'ils pourraient l'être avec succès avec cette idée si cela fonctionne correctement.

Avez-vous essayé de votre fichier robots.txt?

Oui, ils ont lu plusieurs centaines de fois et apparaît notly mais pas les 2 lignes.

lol ok