Buscando en robots.txt lo que está prohibido encontrar
Otra de las características que me sorprenden de los buscadores es que indexen los robots.txt. Ya os he contado muchas veces que el hacking driven by robots es algo de lo más común y la FOCA analiza los robots.txt buscando después los juicy files de un sitio web, pero para "jugar" un rato con esta característica aún es mejor.
Es genial, porque como es un archivo TXT no puedes usar una etiqueta Meta noindex y solo te queda ir a las etiquetas HTTP X-Robots-Tag: noindex, nofollow, pero por supuesto casi nadie - o nadie - lo aplica al fichero robots.txt en sí. Además, de que si pones una etiqueta de esas... ¿leería el bot de Google el contenido de robots.txt?
Esto hace que buscar directorios crappy haciendo Hacking con Buscadores a través de Google sea tan sencillo como forzar una búsqueda en los archivos robots.txt como algo como inurl:robots.txt ext:txt y luego añadir el nombre del directorio que más te guste.
Esto permite a cualquiera localizar los directorios de WordPress o cualquier otra plataforma comúnmente utilizada en Internet, pero no sólo eso. Se pueden buscar carpetas con nombres como privado", por ejemplo.
O sitios web con carpetas que guardan bases de datos protegidas por algo tan poco seguro como la oscuridad. Basta con que alguien acierte con el nombre del fichero de datos que almacena en esa carpeta la base de datos para que la descargue.
O casi cualquier cosa que se te ocurra, como documentos de cualquier tipo. En este caso yo he probado con los documentos Excel, pero puede aparecer de todo en los archivos robots.txt.
Desde luego, para un ninja dorkeando por robots.txt, esto puede ser una forma sencilla, cómoda y rápida de sacar maná de la red. ¿Tiene sentido que se indexen los ficheros que sirven para decirle a los buscadores que no indexen ficheros? Lo dudo mucho.
