Eine Frage die mich mal interessiert: Warum wird eigentlich der Zugriff von Google blockiert? Mit dem Befehl Disallow: / in der robots.txt Datei darf die komplette Website nicht durchsucht werden. Das einzige was Google anzeigt ist folgendes: "Für diese Seite sind keine Informationen verfügbar." Hat das eine tiefere Bedeutung?
http://www.telefon-treff.de/robots.txt
ZitatAlles anzeigenUser-agent: *
Disallow: /admin/
Disallow: /images/
Disallow: /mod/
Disallow: /
# Wget
User-agent: Wget
Disallow: /
# Google Media
User-agent: Mediapartners-Google*
Disallow:
# Inktomi
User-agent: Slurp
Disallow:
Crawl-delay: 20
