Photo Station Fragen/Diskussion/Feedback zu Wikieintrag Thumbnailerzeugung / convert beschleunigen

laszia · 28. Aug 2012

Ich habe diesen Skript jetzt nicht ausprobiert, aber ich habe im synology forum folgendes gefunden und auch angewand
http://forum.synology.com/enu/viewtopic.php?f=17&t=52060

Der Prozess ist relativ schnell, für verschiedene vielleicht noch zu langsam aber es klappt.
Einzige sache die nicht klappt, die Bilder werden nicht gedreht, die muss man dann manuell in PhotoStation drehen.

Anzeige · 15. Dez 2011

Hallo Anna_Konda,

Bücher und Hardware zum Thema gibt es bei Amazon: Fragen/Diskussion/Feedback zu Wikieintrag Thumbnailerzeugung / convert beschleunigen

Anna_Konda · 29. Aug 2012

Hallo,

meine neue Version ist noch nicht drauf, kommt aber definitiv noch, ich hoffe mal auf das Wochenende.
Es ist eine Weiterentwicklung des o.g. Scriptes, je nach Konfiguration ca. nochmal Faktor 2 schneller. (Je nach config und Anforderungen)
Es wird auch ein rudimentäres Install-Programm geben.

Grüße, Anna

lota · 29. Aug 2012

Anna_Konda schrieb:
Hallo,

meine neue Version ist noch nicht drauf, kommt aber definitiv noch, ich hoffe mal auf das Wochenende.
Es ist eine Weiterentwicklung des o.g. Scriptes, je nach Konfiguration ca. nochmal Faktor 2 schneller. (Je nach config und Anforderungen)
Es wird auch ein rudimentäres Install-Programm geben.

Grüße, Anna

danke, kanns kaum erwarten

laszia · 29. Aug 2012

Noch schneller als der Skript den ich oben im Link angegeben habe kann nicht schaden

Dann warte ich mal ab

lota · 31. Aug 2012

irgendwas machen die typen doch falsch, nun bei der offiziellen 4.1 vermelden sie:
http://www.synology.com/releaseNote_enu/DS210+.php?lang=enu

DSM 4.0 DSM 4.1 Improvement
DS1512+ 395 150 163.33%
DS409+ 565 500 13.00%
DS112+ 2019 1538 31.27%

Zeit in Sekunden.... bin immer dankbar für dein script, wenn es denn online ist.

danke

Christian72D · 02. Sep 2012

Ich habe gestern morgen die 4.1 installiert und kurz vorher noch Fotos auf die Synology gepackt.
Jetzt hängt die Synology seit heute morgen bei 13760 Restfotos und kommt kein bisschen weiter, die CPU Last liegt bei 99% beim "convert thumb" Prozeß.

Kann es an den Änderungen in Verbindung mit der 4.1 liegen?

Anna_Konda · 03. Sep 2012

Hallo,

habe mit der Überarbeitung des Wikis begonnen, wird sich habe mit dem DSM 4.1 Release verzögern, da ich das mal testen will.
(Siehe Baustelle). Leute mit wenig Geduld können aber schon mal testen.

Grüße, Anna

Ap0phis · 03. Sep 2012

Christian72D schrieb:
...
Kann es an den Änderungen in Verbindung mit der 4.1 liegen?

Ich denke nicht, dass diese Änderung hier Update-Resistent ist!
Deine DS wird wieder ganz normal komplett konvertieren nach einem Update.

Anna_Konda · 03. Sep 2012

Hallo,

meine Änderungen sind sicher nicht Update-Resistent und evtl. auch nicht Reboot-resistent, wie viele andere auch, aber das lässt sich über Autostarts beheben, mindestens was Reboots angeht.
Für meine Änderungen muss ich für die DSM4.1 prüfen, ob sich die Aufrufe des convert-Kommandos geändert haben, ob andere Parameter gesetzt werden (die sich mit meinen nicht vertragen) und ob sich die Dateipositionen für die Links geändert haben.
Ich rechne mit keinen großen Änderungen, könnte aber sein, da ja explizit von einer Beschleunigung der Thumbnailerzeugung gesprochen wird (wenn die Werte auch marginal sind).

Wenn sich jemand an den Tests beteiligen will, bitte. Ein Teil der Doku und die Skripte liegen bereit. Alles ist im Quelltext vorh. kann also auch gelesen und verstanden werden.

Grüße, Anna

lota · 03. Sep 2012

Anna_Konda schrieb:
Hallo,

meine Änderungen sind sicher nicht Update-Resistent und evtl. auch nicht Reboot-resistent, wie viele andere auch, aber das lässt sich über Autostarts beheben, mindestens was Reboots angeht.
Für meine Änderungen muss ich für die DSM4.1 prüfen, ob sich die Aufrufe des convert-Kommandos geändert haben, ob andere Parameter gesetzt werden (die sich mit meinen nicht vertragen) und ob sich die Dateipositionen für die Links geändert haben.
Ich rechne mit keinen großen Änderungen, könnte aber sein, da ja explizit von einer Beschleunigung der Thumbnailerzeugung gesprochen wird (wenn die Werte auch marginal sind).

Wenn sich jemand an den Tests beteiligen will, bitte. Ein Teil der Doku und die Skripte liegen bereit. Alles ist im Quelltext vorh. kann also auch gelesen und verstanden werden.

Grüße, Anna

ich bin zwar absolut kein linux/unix crack, probiere die neuen files aus dem wiki aber mal aus. entscheidend für mich erachte ich sichermal, das weiter thumbnails jeweils nur aus dem nächst grösseren erzeugt werden und nicht aus dem originalfile, sowie denke ich mir, das man die qualität runtersetzt. bin zwar nicht sicher ob das von der reinen rechenzeit auch was bringt, aber wenn ich mit irfanview was mit 100 oder was mit z.t. 75-85% speichere, sehe ich nicht wirklich einen unterschied - zudem sprechen wir hier von "thumbnails" und je nach individuellem Bedürfnis lassen sich die Werte ja auch verändern.

danke, melde mich als bald ich getestet habe wieder... muss zuerst wieder die originalsettings einspielen.

Anna_Konda · 03. Sep 2012

Danke fürs Testen, aber Achtung: die Reihenfolge der Thumbnaildefinitionen hat sich in den conf-Files geändert! Bitte so lassen. Der Hintergrund ist, dass nur so die Thumbnails von groß nach klein erzeugt werden.
Sieht komisch aus, geht aber bei der DSM 4.0.
Die Qualität bringt nach meiner Erfahrung keine großen Geschwindigkeitsunterschiede (siehe oben), aber der Schalter -filter point. (Faktor 2)

Zum testen liegen übrigens die speed.sh-Files drin. Schau mal rein, vielleicht verstehst Du was sie machen.

Grüße, Anna

lota · 03. Sep 2012

ich habe leider schon 4.1 drauf und die thumb.conf und thumb_high.conf nach meinen ansprüchen gemoddet.

damit ich zuverlässliche angaben geben könnte, müsste ich zuerst wieder die original files dazu haben (habe ich wohl nicht mehr ;-)).
den code verstehe ich einigermassen, bin mir aber nicht ganz sicher eine wie grosse hilfe ich dir wirklich sein kann, da eben kein unix crack.

Anna_Konda · 03. Sep 2012

Hallo,

da ich 2 Synos habe vergleiche ich gerade.
Die schlechte Nachricht, bitte mein Skript NICHT für die DSM 4.1 anwenden, dass sollte nicht funktionieren, da der convert-Befehl jetzt
nicht mehr unter /lib/hddapp/usr/syno/bin/convert liegt! Ich habe meinen Patch jetzt mal gelöscht auf dem Share.

Anpassungen sind aber möglich!

Die Änderungen an convert selbst von Synology sehen für mich wie folgt aus:

DSM 4.0:

Rich (BBCode):

DS210> convert --version
Version: ImageMagick 6.3.9 05/10/12 Q16 http://www.imagemagick.org
Copyright: Copyright (C) 1999-2008 ImageMagick Studio LLC

DSM 4.1:

Rich (BBCode):

 convert --version
Version: ImageMagick 6.7.6-7 2012-08-29 Q8 http://www.imagemagick.org
Copyright: Copyright (C) 1999-2012 ImageMagick Studio LLC
Features:

Unterschied zwischen Q8 und Q16:

Q8 uses 8 bit-per-pixel component whereas Q16 uses 16 bits-per-pixel component.
Q8 uses 100% less resources than Q16. Q16 is more precise in its computations. Q8 must scale any 16-bit images to 8-bit.

Das heißt, wenn es gut ist, könnte dies eine zusätzliche Beschleunigung bedeuten, die ich zwar kannte, aber wovor ich zurückgeschreckt bin.
Wer lieber Q16 haben will kann aber auch "zurückpatchen", auch kein Problem.

Grüße, Anna

PS: lota, wenn Du Hilfe brauchst das wieder gerade zu biegen, dann melde Dich. Welche DS hast Du?

lota · 03. Sep 2012

Hi Anna, danke für den Hinweis. Nein. habe den patch noch nocht eingespielt, aber einfach manuell in den thumb.conf und thumb_high.conf rumgespielt.

Nach dem Upgrade auf 4.1 waren alle meine Thumbs "wieder weg" ... nur die Ordnerstruktur wurde angezeigt. Das es sich doch um einige 10k Bilder in höheren Auflösungen handelt, wäre das lange gegangen. Habe dann neu indexiert und nach ein paar Stunden war alles wieder da - gehe aber davon aus, das die Thumbs auf keinen Fall neu erzeugt wurden, sondern eher wieder suchen / die DB aufgefrischt werden musste.

Ich habe DS210+... warte und freue mich auf deine Resultate.

Danke

PS: Am besten wäre es wohl, wenn Synology ein Tool dazu machen würde, um die Thumbs via Netzwerkrendering (gibts doch sowas bei Video und 3D Berechnungen) auf den PC / Notebook auslagern liessen.

Anna_Konda · 09. Sep 2012

Hallo,

ich habe mich weiter mit der Erzeugung der Thumbnails unter DSM 4.1 beschäftigt.
Es gibt weitere Änderungen:
- Alle Thumbnails, die kleiner als XL sind, nehmen als Ursprungsdatei beim convert den XL-Thumbnail, das ist gut, aber nicht das Optimum
- in den thumb.conf / thumb_high.conf gibt es jetzt eine Phasenangabe (phase=1 usw.), ich vermute, das steuert die Reihenfolge, damit die XL-Thumbnails als Referenz zuerst erzeugt werden.
- Bei mir werden nur noch SYNOPHOTO:THUMB_B.jpg SYNOPHOTO:THUMB_S.jpg SYNOPHOTO:THUMB_XL.jpg erzeugt, nicht mehr M und L, das finde ich sehr seltsam und halte ich für einen BUG! Bitte seht mal bei neuen Bildern nach, ob das bei Euch auch so ist.

Übrigens geht es bei mir nicht mehr, weitere Verzeichnisse per mount bind in das /volume1/photo/-Verzeichnis einzubinden. In der Photo Station erscheint zwar das Verzeichnis, aber trotz erfolgreichen mount scheint es leer!

Der Patch läuft jetzt unter DSM 4.1, aber wegen der Ungereimtheiten werde ich noch ein bischen testen.

Grüße, Anna

Christian72D · 09. Sep 2012

Also die Mounts gehen bei mir noch, gerade noch mal nachgesehen:

/volume1/homes/christian/CloudStation/Pictures/DCIM on /volume1/photo/Christian type bind (bind)
/volume1/homes/hakala/Backup/Pictures on /volume1/photo/Eltern type bind (bind)

Und sie werden auch angezeigt.

Ob die M und L Thumbs nicht mehr erzeugt werden weiß ich noch nicht, ich hänge IMMER noch bei >5k Fotos die konvertiert werden müssen.

lota · 09. Sep 2012

die mounts gehen bei mir auch noch, musste einfach neu indexieren, damit die fotos wieder angezeigt wurden wie immer bei einem upgrade. da ich keine neuen fotos raufgeladen habe, kann ich nix über die thumbs generation sagen.

Anna_Konda · 09. Sep 2012

Hallo,

danke für die Antworten. Und wie hast Du neu indiziert? Über "neu ordnen"?

Grüße, Anna

lota · 09. Sep 2012

Anna_Konda schrieb:
Hallo,

danke für die Antworten. Und wie hast Du neu indiziert? Über "neu ordnen"?

Grüße, Anna

genau, neu ordnen

ong10 · 11. Sep 2012

Hallo Wastl,

das Doppelpunkt Problem tritt anscheinend nicht immer auf: Wenn man ein %3A statt dem Doppelpunkt schreibt, geht das in Windows (ich lege eine Datei in Windows so an). Transferiere ich die Datei dann per WinSCP auf die DS wird darauf ein Doppelpunkt.

a) Erzeugst du die @eaDir direkt auf der DS? Ich dachte das geht nicht (da ich die Dinger nur mit WinSCP sehen kann).
b) Ist dein Script ein VBS oder wirklich Visual Basic?
c) Da ich an einem Irfanview Script Bastel (und von VBS keine Ahnung habe): Wie kann dein Script (angepasst) werden um wie DOS "dir *.* /s /b" eine Verzeichnisliste der Dateien zu erstellen. Wenn ich das mit DOS mache, klappt es zwar prima und schnell im Irfanview, doch Sonderzeichen öäü... bringen Probleme mit sich.

Olaf