User-agent: *
Disallow:
Request-rate: 1/5         # la freqüència màxima és d'1 pàgina cada 5 segons