Hay circunstancias en las que nos puede interesar que los robots de los buscadores no indexen ciertos directorios o documentos de nuestra web.
Este tutorial nos explica la utilización del archivo robots.txt para limitar y controlar el acceso de los robots o crawlers de los buscadores a tu sitio web.