# ROBOTS.TXT
# man: http://de.selfhtml.org/diverses/robots.htm

# Verzeichnisse werden mit leading und trailing slash angegeben...


# jedem Agent...
#User-agent: *
# ...alles erlauben
#Disallow:

# Massendownloader vom CGI Verzeichnis fernhalten
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /cgi-bin/