Robots

[Jose Miguel Vidal Lavin]

Señores

    Hace unos meses atras consulte como poder detener el scanneo por 
parte de bots hacia los sitios que hay alojados en ciertos servidores y 
la respuesta es tener un archivo de nombre robots.txt con el siguiente 
contenido:

User-agent: *
Disallow: /

    Pero revisando los accesos hacia el server me he dado cuenta que 
estan sacando informacion desde el sitio generando un alto trafico a los 
servidores y por ende el enlace se torna muy lento,  por lo pronto eh 
bloqueado las IP que me estan sacando la informacion y son generalmente 
de Brasil y Francia y no hay aca ninguna posibilidad de que sean sitios 
de gente conocida a la empresa.

    Algun dato como poder bloquear definitivamente estos bots?

saludos