git.infodrom.org Git - infodrom.org/www.infodrom.org/blob - src/robots.txt

   1 # Infodrom Oldenburg
   2 #
   3 # Copyright (c) 2002 by Martin Schulze <joey@infodrom.org>
   4
   5 # Sorry, only one crawler is allowed to index the mail archive.
   6 # Traffic gets too high, making it too expensive for us.  If
   7 # it doesn't reduce, we'll have to shut down the service.
   8 #
   9 User-agent: *
  10 Disallow: /Mail-Archive/
  11 Disallow: //Mail-Archive/
  12 Disallow: /Linux/HOWTO/
  13
  14 # Google is our preferred search engine
  15 User-agent: Googlebot
  16 Disallow: /
  17
  18 # This is the Internet Archive archiver from web.archive.org
  19 # User-agent: ia_archiver
  20 # Disallow: /
  21