Indizierung durch Suchmaschinen - Viel doppelter Inhalt

    Mir ist aufgefallen, dass die Inhalte des Forums teilweise mehrfach aber gleichzeitig auch relativ unvollständig und verstreut über diverse Domains und IP-Adressen indiziert werden. Inbesondere ist im DNS eine Wildcard-Subdomain gesetzt, sodass jede erdachte oder durch einen Tippfehler entstandene Subdomain funktioniert und potenziell indiziert werden kann. Das kann doch keine Absicht sein, schließlich steigen so die Server-Last und der Datenverkehr und das Ranking in den Suchmaschinen fällt.



    Beispiele:
    https://www.google.com/search?q=site%3A213.203.218.90
    https://www.google.com/search?q=site%3A213.203.218.94
    https://www.google.com/search?q=site%3Awww.telefon-treff.com
    https://www.google.com/search?q=site%3Awww.telefon-treff.net
    https://www.google.com/search?…%3Aforum.telefon-treff.de


    Unter https://www.google.com/search?…ndydaten.telefon-treff.de stößt man wegen dem Wildcard-Eintrag auch noch auf weitere Kuriositäten wie ww.telefon-treff.de, wwd.telefon-treff.de, %3E%3E%3Ewww.telefon-treff.de, sowie natürlich die Variante ganz ohne Subdomain.


    Sinnvollerweise würde man nur eine kanonische Domain verwenden, die Bots von allen anderen Domains über Domain-spezifische robots.txts aussperren (geht über mod_rewrite) und die Wildcard-Subdomain am besten entfernen, wenn sie keinen konkreten Sinn hat.


    Die robots.txt ist übrigens auch suboptimal. So stimmt z. B. die Reihenfolge der User-agent-Regeln nicht. * greift bereits für alle, die anderen später folgenden Angaben für andere User-agents haben damit keine Wirkung mehr. Auch sollten typische Problem-Pfade wie z. B.


    /showthread.php?postid=


    unbedingt verboten werden, sonst gibt es von jeder Seite eines Themas noch 15 zusätzliche Adressen, über die sie indiziert werden kann. Grundsätzlich läuft da bei der Indizierung auch noch einiges mehr schief, aber bevor ich das alles heraussuche, möchte ich erstmal abwarten, ob meine Anregung überhaupt erwünscht ist.

    Ein Glück, dass endlich jemand kommt und nach fast 10 Jahren TT dem Team erklärt wie es geht. :rolleyes:
    SCNR

    Medizinmann und Mitglied Nr.2 des S///-Lampenbesitzer-Clubs!!!

    Jako, was willst Du uns sagen? Nicht jeder nutzt „unser“ Firefox-Suche-Plugin …

    Zitat

    Original geschrieben von A. Brettermeier
    Ist meine Anregung überhaupt erwünscht?

    Ich sehe das Problem genauso und würde mich freuen, wenn dem angenommen würde.


    mod_rewrite wäre ein Schritt wegen der Domain. Weil Tippfehler auf anderen Webseiten aber selten erneut gecrawlt werden, hilft das nur langsam. Übrigens sind auch viele Tippfehler direkt hier bei Telefon-Treff; gerade eben wieder einen gehabt – deswegen bin ich überhaupt hier. Die Wildcard-Domain sollte also bestehen bleiben, nur eben bei Suchmaschinen verschwinden.


    Als die Alternative sehe ich Googles Webmaster-Tools: kanonische Domain …


    Die URL-Parameter sind ein ganz eigenes Problem. Ich wäre schon froh, wenn das Domain-Problem gelöst wäre. Aber jetzt sind wir schon halb in einem SEO-Forum …
    :)

    redi von telefon-treff.de zu http://www.telefon-treff.de war letztens doch noch an?
    merkwuerdigerweise haben sies wohl wieder rausgenommen :(


    mir persoenlich waere ja

    Code
    RewriteEngine On

    RewriteCond %{HTTP_HOST} ^www\.(.+)$ [NC]

    RewriteRule ^(.*)$ [url]http://%1/[/url]$1 [R=301,L]

    lieber.


    den www host kann man sich ja schenken.

    Gerade bei der Google-Suche nach "o2 Portierungsgutschrift" gefunden:
    tt-team-nackt.fsk18.telefon-treff.de


    Offenbar auch ein Versuch möglichst weit oben in den Suchmaschinen zu erscheinen :D ;)

    Viele Grüße
    Martin

    Ahhh... offenbar sind alle beliebigen Kombinationen möglich.
    Wie schafft es die von mir genannte URL dann eigentlich zu Google? Probieren die alle möglichen ([mehr oder weniger] sinnvollen) Kombinationen aus? Sonst könnte das Suchergebnis ja auch zu aozbjlkjlkj.telefon-treff.de leiten...


    Ich kenne mich dazu wenig aus wie die Algorithmen funktionieren...

    Viele Grüße
    Martin

    Zitat

    Original geschrieben von Chris


    tt-schenkt-jedem-user-500-euro.telefon-treff.de
    ;)


    Ich schau hier sonst nie rein. Ich scheine Euros zu wittern. :p



    Ich spende meine 500 Euro dem Forum :top:


    [Edit by Chris: Link angepasst]

    Ich erhoffe nichts. Ich fürchte nichts. Ich bin frei.

    Zitat

    Original geschrieben von Martin Reicher
    Wie schafft es die von mir genannte URL dann eigentlich zu Google?


    Gib die URL doch mal bei google ein. ;)

    Wobei aber eben die genannte URL doch eigentlich auch einen entsprechenden Inhalt erhalten sollte, denke ich. Etwas Abschreckung kann nicht schaden - und manchmal sagen Bilder mehr als 1000 Worte.

    Mit Grüßen ...

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!

Benutzerkonto erstellen Anmelden