Automatisch Dateien aus dem INternet 1x am Tag runterladen? Ähnlich Podcasts.

  • Hallo.


    Ich habe ein online-Abo einer Zeitung. Jeden Tag gibts eine PDF-Version zum Download.
    Nun möchte ich nicht jedesmal über den Browser dorthin navigieren und die Datei manuell speichern müssen.


    Gibts das was automatisches?
    Irgendein Tool, welches mir jeden Tag das aktuelle PDF runterlädt?


    Grüße SpeedTriple

  • Das ist so nicht so leicht zu beantworten.


    Wenn das PDF Dokument jeden Tag den gleichen Dateinamen hat (was eher unwahrscheinlich ist), würde ein einfaches
    wget http://www.zeitung.de/pfad/dateiname.pdf
    genügen. Evtl noch die wget Optionen -user und -password benutzen, um sich beim Webserver der Zeitung anzumelden - die Zeitung ist ja wohl nicht einfach so zugänglich, wenn es schon ein Abo ist!?


    Ändert sich der Dateiname jeden Tag, wird die Sache komplizierter bis unmöglich. Also komplizierter, wenn der Dateiname im voraus zu bestimmen ist (z.B. dateiname-TT-MM-JJJJ.pdf), bzw unmöglich, wenn der Dateiname jeden Tag völlig anders aussieht (dateiname-ZUFALLSZAHL.pdf).
    Bei dateiname-TT-MM-JJJJ.pdf (oder sowas in der Art) würde noch ein kleines Script helfen, das dann den passenden Dateinamen an wget übergibt.


    wget dann einfach einmal am Tag über einen cronjob oder mit dem Windows Scheduler ausführen.


    Wegen wget: weiter Infos und Download-Links auf http://de.wikipedia.org/wiki/Wget

  • Hallo.


    Passwort und Username muss man vorher auf der Homepage anmelden.
    Da wäre natürlich eine Art Plugin oder Scrip für Firefox genial, da ich dann die Anmeldedaten in einem Cookie sichern könnte.


    Die Datei liegt in Verzeichnissen nach Datum. Für gestern wäre das z. B.:
    ..."Homepage".../epaper/uebersicht/2007/04/14/Dateiname_20070414.pdf


    Es ist also dynamisch, aber man kann es anhand es Datums vorhersagen.


    Ich bräuchte also einen Art download-manager mit scheduler und dynamischer Adresseingabe. :rolleyes:


    Grüße SpeedTriple

  • Zitat

    Original geschrieben von SpeedTriple
    Passwort und Username muss man vorher auf der Homepage anmelden.


    Und wenn Du in Deinem Browser mal direkt den passenden Link mit der Zeitung des Tages aufrufst? Kommt da ne Fehlermeldung oder eine Passwortabfrage? Letzteres wäre schön! :D


    Zitat


    Die Datei liegt in Verzeichnissen nach Datum. Für gestern wäre das z. B.:
    ..."Homepage".../epaper/uebersicht/2007/04/14/Dateiname_20070414.pdf
    Es ist also dynamisch, aber man kann es anhand es Datums vorhersagen.
    Ich bräuchte also einen Art download-manager mit scheduler und dynamischer Adresseingabe.


    Du brauchst das alles nicht wirklich!
    Scheduler hast Du schon bei Windows mit dabei und die "dynamische Adresseingabe" erledigt ein kleines Script bzw passender wget Aufruf.
    Sowas wie das hier würde jeden Tag ohne weiteres Zutun die aktuelle Zeitung downloaden:
    wget http://www.zeitung.de/epaper/uebersicht/$(date "+%Y")/$(date "+%m")/$(date "+%d")/Dateiname_$(date "+%Y%m%d").pdf


    Den Aufruf dann vom Scheduler erledigen lassen und es würde funktionieren, wenn -und das wäre noch abzuklären- die Sache mit Username und Passwort keinen Strich durch die Rechnung macht.


    (Ach ja, obiger wget Aufruf funktioniert hier unter Linux. Müsste auch unter Windows irgendwie mit Bordmitteln klappen, was ich hier aber nicht zusammenbasteln kann und will.)


    Wie schon in meinem letzten Post geschrieben: etwas kompliziert, aber (soweit ich das jetzt überblicken kann) durchaus lösbar Dein Anliegen :)

  • wget kann auch mit cookies umgehen, genauso kann man auch "Formulare absenden", und Name+PW via GET oder POST mitsenden. Wenn die Zeitungsseite ein "Auto-Login" anbietet, kann man sich sogar einfach den Cookie aus dem Browser kopieren und wget direkt mitgeben.


    Für die verschiedenen PDFs wäre es am einfachsten, wenn man die Download-Übersichtsseite mit "--recursive --level=1 --timestamping" (plus die übrigen für cookies etc.) holt, da landen neue PDFs einfach neben den alten.


    Kann man sich mit den Hilfe-Seiten on wget ganz gut zusammensuchen die notwendigen Optionen. DIe Frage ist, ob Speedtriple überhaupt Lust dazu hat sowas zu benutzen und sich selbst zusammenzubauen, oder ob er nicht lieber weiter nach einem GUI tool sucht...

    "That's not a hair question. I'm sorry." - 01/31/07 - Never forget!

  • Zitat

    Original geschrieben von Sencer
    ... DIe Frage ist, ob Speedtriple überhaupt Lust dazu hat sowas zu benutzen und sich selbst zusammenzubauen, oder ob er nicht lieber weiter nach einem GUI tool sucht...


    Nein, nein. Lust ist schon da, aber das Wissen nicht :rolleyes:
    Ich verstehe nur Bahnhof :rolleyes:


    Sorry, aber was tool-basiertes würde meinem Know-How eher entsprechen als ein Skript schreiben.


    Grüße SpeedTriple

  • Zitat

    Original geschrieben von SpeedTriple
    Sorry, aber was tool-basiertes würde meinem Know-How eher entsprechen als ein Skript schreiben.


    Das "Skript" wäre nicht viel mehr, als der weiter oben von mir gepostete wget Aufruf. Diesen müsstest Du nur ein wenig umbasteln, damit er eben auch unter Windows läuft. Dabei kann Dir sicher auch jemand helfen.
    Was immer noch zu klären wäre, ist die Sache mit Username und Passwort auf Deiner Zeitungsseite. Aber auch das würde kein echtes Hindernis darstellen, wie Du schon aus meinen Postings und dem von Sencer herausgelesen hast. Entweder einfach über die -user und -password Option, oder etwas aufwendiger über Cookies oder POST Aufrufe (siehe Sencer's Posting).


    Nur Mut, Du schaffst das schon! :D

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!