Robots

[Cristian Rodriguez]

On Apr 11, 2005 1:40 PM, Jose Miguel Vidal Lavin <jmvidal en sertotal.cl> wrote:
> Señores
> 
>     Hace unos meses atras consulte como poder detener el scanneo por
> parte de bots hacia los sitios que hay alojados en ciertos servidores y
> la respuesta es tener un archivo de nombre robots.txt con el siguiente
> contenido:
> 
> User-agent: *
> Disallow: /
> 
>     Pero revisando los accesos hacia el server me he dado cuenta que
> estan sacando informacion desde el sitio generando un alto trafico a los
> servidores y por ende el enlace se torna muy lento,  por lo pronto eh
> bloqueado las IP 

mala idea,tapa el problema de fondo,no lo soluciona

que me estan sacando la informacion y son generalmente
> de Brasil y Francia y no hay aca ninguna posibilidad de que sean sitios
> de gente conocida a la empresa.
> 
>     Algun dato como poder bloquear definitivamente estos bots?
> 

si son datos de la empresa y solo informacion de esta,podrias requerir
autorizacion para descargar cierto tipo de archivos.

tambien puedes usar apache mod_rewrite
http://www.google.cl/search?hl=es&q=mod_rewrite+bots 
(UTFG :) )

salu2