Recorrer los enlaces que están denegados en el fichero robots.txt