Veo este post en Techcrunch que viene a sostener otros posts anteriores mios sobre ciertos crawlers o servicios que abusan de los enlaces a terceros para obtener mejores page ranks, etc, que tiran webs o secan los mismos. En este caso se trata de Cuil, un buscador. El post es interesantísimo y cuenta lo que el administrador de sistemas ha ...

Estamos “moscas” últimamente con el comportamiento de algunos bots, en concreto con el de google. Entre las cosas que voy recopilando y que iré actualizando están estas. Otras hablan de evitar “loopings” de páginas, enlaces dentro de la misma página hacia la misma página… En ...