Cuando se navega por una web utilizando la barra de Alexa, después de tres días Alexa recorre esa web como se puede ver en los siguientes logs:
|
1 2 3 4 |
2009-11-12 13:53:29 192.168.1.34 GET /re.asp 404 Mozilla/5.0+(Firefox/3.5.5 2009-11-12 13:53:37 192.168.1.34 GET /r/re.asp 200 Mozilla/5.0+(Firefox/3.5.5 2009-11-15 19:28:02 192.168.1.34 GET /re.asp 404 ia_archiver+(+https://www.alexa.com/site/help/webmasters;+crawler@alexa.com) 2009-11-15 19:28:10 192.168.1.34 GET /re/re.asp 200 ia_archiver+(+https://www.alexa.com/site/help/webmasters;+crawler@alexa.com) |