# robots.txt für http://www.figurenladen.net/ # Eine Liste der aktuellen Robots Stand 15.04.2003 ######################################## # Abacho: AbachoBOT # Acoon: Acoon Robot v1.50.001 # Altavista: Scooter/1.0 scooter@pa.dec.com # Altavista: Scooter-3.0.g12-23 # Altavista: Mercator-1.2 # Altavista: Mercator-1.1 # Aladin: Aladin/3.324 # Euroseek: Freecrawl # Eule: Eule-RobotEule-Robot # Excite: ArchitextSpider # Fireball: KIT-Fireball/2.0 # Google: Googlebot/2.1d # Google: BackRub/2.1 # Hotbot: Slurp/si # Hotbot: Slurp/2.0 # Lycos: Lycos_Spider_(T-Rex) # Nathan: Tarantula # Northernlight: Gulliver/1.3 # Northernlight: Gulliver/1.1 # MSN: msnbot ########################################################################################## # Alle Robots zugelassen User-agent: * Disallow: ######################################################################################### # Verzicht auf alle expliziten "Allow"- Befehle, da das dem aktuellsten Standard # entspricht, der nur von den wenigsten Robots unterstützt wird. ######################################################################################### # Erweiterter "robots.txt" - Standard (wird z.Z. nur vom Googlebot unterstützt) # Wenn eine Zeichenfolge mit $ endet, muss $ dem Ende eines Namens entsprechen. # Wenn man beispielsweise verhindern möchte, dass Googlebot Dateien mit der # Erweiterung "gif" durchsucht, kann man den folgenden Eintrag in der Datei # robots.txt verwenden: # Beispiel: # User-agent: Googlebot # Disallow: /*.gif$ #########################################################################################