User-agent: *
      Crawl-delay:1
      Allow: /