Robots

[Francisco Collao Garate]

Jose Miguel Vidal Lavin wrote:
> Señores
> 
>    Hace unos meses atras consulte como poder detener el scanneo por 
> parte de bots hacia los sitios que hay alojados en ciertos servidores y 
> la respuesta es tener un archivo de nombre robots.txt con el siguiente 
> contenido:
> 
> User-agent: *
> Disallow: /
> 
>    Pero revisando los accesos hacia el server me he dado cuenta que 
> estan sacando informacion desde el sitio generando un alto trafico a los 
> servidores y por ende el enlace se torna muy lento,  por lo pronto eh 
> bloqueado las IP que me estan sacando la informacion y son generalmente 
> de Brasil y Francia y no hay aca ninguna posibilidad de que sean sitios 
> de gente conocida a la empresa.
> 
>    Algun dato como poder bloquear definitivamente estos bots?
> 
> saludos

Chanchamente hice esto para evitar lo de los robots.txt

en el home del sitio

ln -s /dev/null robots.txt

la verdad no se si es muy sano pero resulta y para el trafico de la red.

-- 
Francisco Collao Gárate
Ingeniero de Ejecución Químico
LinuxUser #363300
http://pcollaog.lcampino.cl
[Usa Firefox y redescubre Internet http://www.firefox.cl]