User-Agent: Seznambot
Request-rate: 300/1m
# pro Seznambota: prohledávat všechno, rychlost 300 url za minutu 

User-agent: *
Allow: