DS110j CPU-Auslastung

[phil402]

Hallo. Seit gestern bin ich Besitzer einer DS110j und einer WD20EARS 2TB Festplatte.

Nach dem Zusammenbau und beladen von etwa 350GB Daten via FTP hat er erstmal die Mediendaten indiziert. Nach ein paar Stunden war er scheinbar fertig (in den Medienserver Einstellungen erscheint nicht mehr die rote Schrift, das gerade indiziert wird).

Die CPU-Auslastung liegt seitdem IMMER bei 100% und die Speicherauslastung gleicht einer Sinuskurve zwischen 20 und 60%. Daraufhin habe ich die DS mal neugestartet und die Daten neu inidziert (Neu ordnen). Geändert hat dies allerdings nichts.

Wie kann ich mir anschauen womit er gerade beschäftigt ist?

Ist das Gerät möglicherweise defekt?

Grüße

edit: ah: hab gerade mal auf die CPU-Auslastung im Ressourcen Monitor geklickt und siehe da: eine Art Taskmanager. Zu Zeit ist er mit convert (85%) und ffmpeg (12%) beschäftigt.

Scheint also alles normal zu sein. Ist convert das, wo er die Bilder skaliert und so? Was macht ffmpeg?

 

[Matthieu]

convert=Bilder, ffmpeg=Videos im photo-Ordner.

MfG Matthieu

 

[phil402]

Danke.

mit ffmpeg ist er jetzt durch. An convert sitzt er immernoch bei 100% Auslastung.

Es sind etwa 4GB bei 3000 Dateien. Wie lang wird er da wohl noch rechnen?

Danke

 

[str1d3r]

DAS würde mich auch mal interessieren.

Mein DS211j hat seit Donnerstag 100% CPU-Auslastung wovon ca. 97-99% dem Prozess "convert" zugeordnet werden.

Ich hab an diesem Donnerstag ca. 14GB Bilder auf das Gerät übertragen.

In den Mediaordner "pictures" oder "photo" (bin mir nicht ganz sicher) damit ich die Bilder über meinen Samsung LED streamen kann.


Gestern habe ich das Teil mal neugestartet aber ohne Erfolg.
Permanente 100% Auslastung dank "convert"


Wie lang geht das nun noch so weiter?

Viele Grüße

 

[amarthius]

Solange bis es fertig ist
Auf der Synology Webseite findest du die Performance Diagramme. Dort ist auch eins zu finden bei dem die Konvertierung von Fotos verglichen wird.
Dann einfach ausrechnen. Natürlich nur ein ungefährer Wert, da sich die Zeit durch Zugriffe auf die DS und andere Auslastungen natürlich verlängert.

 

[Matthieu]

Ich denke das ist nur ein grober Anhaltspunkt, denn die Dateigrößen und Qualitäten der verschiedenen Bilder können sehr unterschiedlich sein von den Synology-Bildern.

MfG Matthieu

 

[itari]

Normalerweise fängt man mit einer Handvoll Dateien an und rechnet dann mal hoch, da kann man dann schon ein gutes Gefühl dafür bekommen wie die Gesamtzeit wohl sein wird. *lies auch hier*

Itari

 

[Bill_Bo]

Ich muss jetzt doch noch mal nachfragen was bei dem convert Vorgang speziell bei jpg-Dateien überhaupt genau passiert.
Die Origiginaldateien werden ja offenbar nicht verändert. Irgendwo muss aber doch was hingespeichert werden. Wo landen denn die konvertierten Dateien?
Das Ganze muss doch auch Speicherplatz verbrauchen, oder?

Für die Video-Dateien gilt eigentlich das Gleiche. In welches Format werden die Dinger denn konvertiert? Die Orginaldateien werden ja offenbar auch nicht verändert. Und wenn die Orginaldateien noch das sind, würde das ja bedeuten, dass irgendwo noch Dateien rumliegen, die fast genausoviel Speicherplatz belegen wie die Originale.

 

[Matthieu]

Dafür gibt es versteckte Unterordner (auf der Konsole mit @ gekennzeichnet).
Die konvertierten Dateien sind sehr klein, da sie ja für das Web optimiert sind und möglichst schnell übertragen werden sollen. Bei den Videodateien werden das übrigens Flash-Dateien (flv) wenn ich das richtig in Erinnerung habe.

MfG Matthieu

 

[king_dingeling]

Oder einfach die Bilder mit dem Synology Assistant hochladen. (PC übernimmt die Konvertierungsjobs)

 

[Bill_Bo]

Bei den Videodateien werden das übrigens Flash-Dateien (flv) wenn ich das richtig in Erinnerung habe.

Bei den Bildern kann ich ja noch nachvollziehen, dass dadurch kaum Speicherplatz benötigt wird. Bei den Videos allerdings nicht.

Oder einfach die Bilder mit dem Synology Assistant hochladen. (PC übernimmt die Konvertierungsjobs)

Werden dann auch die Originaldateien in "photo" abgelegt? D.h. macht es im Endergebnis einen Unterschied ob ich die Datein direkt oder über den Foto-Upload auf der DS abspeichere?
Ich kanns leider nicht ausprobieren. Bei mir steht beim Foto-Uploader immer "Unbekannter Serverfehler".

 

[Matthieu]

Die Daten werden immer am selben Ort gespeichert. Die Videos sind qualitativ nicht hochwertig und stark komprimiert. Die Dateien sind nur ein Bruchteil so groß wie die Originale.
Ich hab mal eine Zahl parat: Ein 760MB Film (avi) wurde auf ganze 4KB konvertiert ...

MfG Matthieu

 

[Bill_Bo]

Ein 760MB Film (avi) wurde auf ganze 4KB konvertiert ...

Oh, das sieht mir aber so aus, als wär das dann kein Film mehr, sondern nur noch ein einzelner Frame. Also sozusagen ein Vorschaubild vom Film. Mit 4kB ist jedenfalls nicht mehr möglich.

Ich hab gestern abend übrigens ca. 16GB an Bildern zur DS übertragen. Die DS rödelt immer noch mit 100% CPU-Last rum. Es ist mir ein absolutes Rätsel, wie sowas so lange dauern kann. Jedes 08/15 Bildbetrachtungsprogramm zeigt Vorschaubilder von einem ganzen Ordner in Sekundenschnelle an. Und auch wenn die Marvelll CPUs nicht die schnellsten sind, haben sie doch 1,6GHz. Das muss doch auf jeden Fall schneller gehn.

Was mach ich denn nun mit meinem Serverfehler beim Foto-Upload. Ich würde das gerne mal testen, obs damit schneller geht?

 

[Matthieu]

Schon mal überlegt was ein Rechner mehr an Leistung hat, rein aufgrund der Grafikkarte ... ? Die ist normalerweise dafür ausgelegt, aber ein NAS braucht sowas eigentlich nicht und hat daher bei den meisten Modellen keine.
Außerdem generiert ein PC immer nur 1 Vorschaubild, die DS gleich mehrere für verschiedene Ansichten und Funktionen. Du siehst doch das die DS am Anschlag klemmt ... es werden auch OpenSource-Tools eingesetzt soweit ich das weiß, also ist da mit schlechter Programmierweise häufig nicht sehr viel ...
Was hast du denn im Uploader eingegeben als Zugangsdaten und welche Version von Firmware und Assistant nutzt du?

MfG Matthieu

 

[Bill_Bo]

Ich hab den Assistant 3.0-1347 und die DSM3.0-1354.
Im Uploader habe ich das admin Konto angegeben.
Vielleicht muss ich ja auch die Photostation aktivieren, damit das Ganze funktioniert. Die brauche ich allerdings genausowenig wie die ganzen Vorschaubilder, die von convert erzeugt werden. Am liebsten wäre es mir, wenn man diese Konvertiererei einfach abschalten könnte.

Die DS gackert übrigens immer noch mit den ca. 4500 Bildern rum. Jetzt sind es schon ca. 1 1/2 Tage. D.h. wenn Sie jetzt fertig würde, wäre es ca. 1/2 Minute pro Bild. Ich habe aber das Gefühl, dass die Konvertiererei noch länger dauert. Gehen wir mal von 1 Minute pro Bild aus. Und ich habe noch wesentlich mehr Bilder. Insgesamt 23622 Stück. Das würde bedeuten, dass die DS über 2 Wochen beschäftigt ist. Das ist schon irgendwie ein starkes Stück. Vor allem wenn man bedenkt, dass die DS ja eigentlich für diesen Zweck da ist. Ein Datengrab für Unmassen von Mediendaten. Theorethisch könnte ich auf meine 4TB ca. 1 Million Bilder draufschaffen. Die DS wäre damit 2 Jahre lang beschäftigt. Und nur weil man die convert Aktion nicht abschalten kann.

Wie ist das überhaupt, wenn man Twonky statt dem eingebauten Medienserver benutzt. Irgendwie scheint das ja zu gehen. Twonky ist aber doch nicht kostenlos, oder?

Ist es wirklich so, dass die Vorschaubilder im PC durch die Grafikkarte berechnet werden? Nach meinem Kenntnisstand wird das doch bei den meisten Programmen noch durch den Prozessor erledigt.

 

[trevorreznik]

Dafür gibt es versteckte Unterordner (auf der Konsole mit @ gekennzeichnet).
Die konvertierten Dateien sind sehr klein, da sie ja für das Web optimiert sind und möglichst schnell übertragen werden sollen. Bei den Videodateien werden das übrigens Flash-Dateien (flv) wenn ich das richtig in Erinnerung habe.

... wobei ich mich frage: Wo kommen diese Bilder und Videos zum Einsatz? Die Fotostation jedenfalls ist bei mir deaktiviert und trotzdem veranstaltet meine Box jedesmal den gleichen Heckmeck, wenn neue Bilder und Videos ins Bilder-Verzeichnis gelegt werden.

 

[itari]

... wobei ich mich frage: Wo kommen diese Bilder und Videos zum Einsatz? Die Fotostation jedenfalls ist bei mir deaktiviert und trotzdem veranstaltet meine Box jedesmal den gleichen Heckmeck, wenn neue Bilder und Videos ins Bilder-Verzeichnis gelegt werden.

Die Vorschaubilder kommen bei der PhotoStation und beim Mediaserver zum Einsatz. Die Flash-Umwandlung findet nur bei Videos statt, die in die System-Photo-Share kopiert wurden.

Oft sind die Foto- und Video-Dateiformate nicht ok und werden auch durch Meldungen in der /var/log/messages angemosert.

Grundsätzlich werden alle medialen Dateien in einer Postgres-Datenbank katalogisiert und für diesen Vorgang werden Informationen auf denn Dateien extrahiert.

Der Sinn und Zweck dieser Aktionen ist es, dass mediale Inhalte möglichst effektiv abgerufen werden können. Die beim Abruf nutzbare Mediengüte liegt meist unterhalb der der Originale, deswegen macht ein solche Vorgehen auch Sinn. Oder anders ausgedrückt, wird die DS nur eingesetzt zur Medienspeicherung (und darauf verzichtet, die medialen Dateien auch anzuschauen), dann braucht man sie auch nicht in die reservierten Share einzuspeichern und spart sich am beste den Aufwand. Falls man aber doch die Medien abrufen will, sollten man sie bereits vor der Einspeicherung in eine geringere Güte transformieren, z.B. mit dem DS-Assistenten.

Selbstverständlich kann man alle Prozesse durch Eingriffe steuern (siehe /usr/syno/etc/rc.d-Startskripte) und auch die Medien-Datenbank selbst aufbauen (siehe mein AdminTool). Ich habe selten ein so offenes Verwaltungssystem für mediale Dateien gesehen.

Itari

 

[trevorreznik]

Die Vorschaubilder kommen bei der PhotoStation und beim Mediaserver zum Einsatz. Die Flash-Umwandlung findet nur bei Videos statt, die in die System-Photo-Share kopiert wurden.

Ist folgende Aussage korrekt? Wenn die PhotoStation nicht eingesetzt wird, ist die Video-Konvertierung überflüssig.

 

[itari]

Ist folgende Aussage korrekt? Wenn die PhotoStation nicht eingesetzt wird, ist die Video-Konvertierung überflüssig.

Die Aussage ist meines Wissens korrekt. Allerdings frag ich mich gerade, wer so blöd sein sollte, seine Videos in den 'photo'-Ordner zu kopieren, wenn er sie nicht auch via PhotoStation anschauen mag.

Videos im 'video'-Ordner werden nicht konvertiert.

Itari

 

[jahlives]

Bei einem j-Modell ist nicht die Geschwindigkeit des Prozessors der limitierende Faktor, sondern die geringe Menge an RAM.
Darum bietet der Synology Assi auch die Möglichkeit die Vorschaubilder auf dem PC zu generieren, das geht um Welten schneller als auf der DS.
Mal so als Anhaltspunkt: Wenn ich 1000 Photos habe (in Originalgrösse der Kamera) und diese auf mein Coppermine lade und dann die Miniaturbilder erstellen will, ist meine DS ein oder 2 Tage beschäftigt. Wenn ich jedoch diese 1000 Bilder zuerst auf eine maximale Seitengrösse von 1000px verkleinere sind die Vorschauen in wenigen Minuten erstellt. Es handelt sich hier zwar um Coppermine, aber dasselbe trifft auch auf die Photostation zu. Wegen der relativ grossen Bilder müssen Teile der Bilder in den swap ausgelagert werden, welcher auf der Festplatte liegt und damit im Bereich von 1000 Mal langsamer ist, als wenn die Bilder komplett im RAM gehalten werden können