|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
import requests # Descargar el fichero robots.txt url = "https://boe.es/robots.txt" response = requests.get(url) # Comprobar si la solicitud fue exitosa if response.status_code == 200: lines = response.text.splitlines() # Filtrar y mostrar líneas que contengan '/txt.php?' filtered_lines = [line for line in lines if '/txt.php?' in line] if filtered_lines: print("Líneas que contienen '/txt.php?':") for line in filtered_lines: print(line) else: print("No se encontraron líneas con '/txt.php?'.") else: print("Error al descargar el archivo robots.txt") |