Webseite mit dynamischen Daten herunterladen

[marcgfx]

Ich will mein eigenes Spiel komplett herunterladen und in einen neuen Ordner ablegen. Aktuell hat mein Projekt Tausende von Dateien, die alle nicht benötigt werden. Ich will sozusagen nur das Endresultat in einem separaten Ordner speichern. Am einfachsten wäre es, wenn ich dazu die komplette Webseite herunterladen könnte, wie sie im Browser angezeigt wird. Ich habe schon diverse Web-Scrapern probiert, aber bis jetzt war alles Müll. Ich muss halt auch die dynamisch geladenen Daten speichern können. Grundsätzlich alles was im Chrome-Network Tab angezeigt wird.

Kennt jemand ein gutes Tool, das Suchen frustriert mich langsam und selber schreiben würde ich es lieber nicht müssen.

Wenn es möglich ist, wäre es auch geil so den Fortschritt festhalten zu können.

[Schrompf]

Das würde ich eher auf Seiten des Deployments ansetzen. Also nicht erst anfangen, wenn Dein Spiel schon online ist, sondern vorher, da wo Dein Skript alle notwendigen Dateien hochlädt.

[Chromanoid]

Ich fand https://www.httrack.com/ bisher immer ganz gut.

Ich würde aber Schrompf zustimmen.

Es gibt ja mittlerweile einige Javascript-Buildtools, vielleicht wäre der Einsatz eines solchen Tools hilfreich? Mir fällt spontan Grunt ein.

[marcgfx]

httrack hab ich schon angeschaut, beim versuch hats praktisch nichts geladen (nur die html seite, nicht die ganzen resourcen aus den scripten).
der grund wieso ich das erst machen will, wenn die seite (lokal) geladen ist: viele ressourcen werden über game-code geladen. ich müsste jeden ladevorgang (script, bild, sound... etc) in eine datei ausgeben. Anhand von dieser datei rekursiv alle resourcen finden und in einen ordner kopieren. wenn es sowas schon geben würde, wieso soll ich mir die mühe machen das alles nachzubauen.

[marcgfx]

Ich habe ein Chrome-Plugin gefunden, das fast genau macht was ich will: GetThemAll
Die Dateien werden alle in einem Zip gespeichert, leider ohne Ordner-Struktur. Ansonsten ist es perfekt.

Ich habe mal einen Wunsch an den Hersteller geschickt :D ... worst case, kann ich auf basis von diesem zip erkennen welche Dateien ich alle benötige und die Ordner-Struktur selbst aufbauen.