Synology DS918+: Kein Zugriff aufs NAS, trotzdem Volume ausgelastet und HDDs arbeiten

[dil88]

Ich würde noch nicht davon sprechen, dass das Problem wieder da ist. Du hast eine Anzeige von knapp 100% Volume-Auslastung, weil das Volume wegen des Backup-Laufs objektiv zu knapp 100% ausgelastet ist.

 

[iOOi]

Wieder alles ok: :-O

... Ich habe jetzt ein Backup auf eine an der DS angeschlossene USB Platte gestartet, das mit über 100MB/s schreibt. Datenträger hat dabei eine Auslastung von 40% und Volume von 35%. ...

Nach dem Neustart des NAS, als der Fehler nicht mehr da war, war das Volume bei lediglich 35% während eines Backups.

 

[iOOi]

10 Stunden nach dem Neustart war der Fehler wieder da:
DS im Leerlauf, Volume bei ~100%, Datenzugriff über SMB kaum möglich:

 

[iOOi]

Nach erneutem Neustart wieder alles ok:


Volume 1% Auslastung während der Überprüfung eines Backups.

Seltsam: Wie kann die DS das Backup verifizieren, wenn es nur von der Backup Platte Daten liest, jedoch nichts vom RAID?

 

[iOOi]

Fehler wieder da:

Die Köpfe tanzen wieder wie verrückt, Volume auf 100%, Datenzugriff kaum möglich.

 

[iOOi]

.

synorecycle = Übeltäter?

So ich bin weitergekommen: im Ressourcen Monitor sprang immer mal wieder ein "synorecycle" rein der gelaufen ist und <1% CPU brauchte. Bei den ganzen syno* Prozessen ja nicht weiter auffällig. Aber ich bin via SSH drauf und habe mal ein top laufen lassen - da fällt der synorecycle doch schon deutlich mehr auf bzgl. CPU Zeit und man sieht auch die Kommandozeilen Parameter, nämlich mit --clean und -t 30. Das ist der geplante Task, der meine Papierkörbe leert und zwar alle Dateien die älter 30 Tage sind! Der läuft einfach EWIG und wird wohl nie fertig. Also via root (auch wieder google genutzt weil das mit DSM ja nicht gerade sehr intuitiv ist wie man da rankommt) den Prozess gekillt und siehe da: Ruhe ist!
Habe dann einfach mal alle Papierkörbe komplett geleert und zwar ohne Einschränkung auf Alter und der Prozess war dann nach einigen Minuten durch (zwischenzeitlich gabs dann noch ein paar rm -rf auf recycle Ordner die ich gesehen habe).
Den Papierkorb Task habe ich jetzt erstmal deaktiviert. Der synorecycle scheint irgendwie nicht sehr effizient zu arbeiten...

Siehe: https://www.synology-forum.de/showt...bestimmtem-Gemeinsamen-Ordner-(verschlüsselt)

Und: https://forum.synology.com/enu/viewtopic.php?t=129315

Das Problem ist alt und offenbar immer noch nicht gelöst: :-(((

 

[iOOi]

.

Ich habe das Problem gelöst:

Das automatische Leeren der Papierkörbe mit Inhalten, die älter als 30 Tage sind, hat die DS 24 Stunden völlig überfordert. Da dieser Task alle 24h ausgeführt wurde, war mein Volume durchgehend über Wochen auf 100%, die Köpfe der Festplatten tanzten wie verrückt und ein Datenzugriff war auf die DS kaum möglich.

top:		  
 9521 root      20   0   62.3m  10.3m   2.0  0.3  12:43.48 R /usr/syno/bin/synorecycle --clean -t 30  

$ /usr/syno/bin/synorecycle --help
Copyright (c) 2003-2018 Synology Inc. All rights reserved.

Usage: synorecycle (Version 23739)
        --unlink share=x rpath=y [<caseless=1|0(default)>]
        --rmdir share=x rpath=y [<caseless=1|0(default)>]
        --enable share1 share2 ... shareN
        --disable share1 share2 ... shareN
        --clean share1 share2 ... shareN
        --help

Da ich nicht weiß, wie ich mich als root einloggen kann, habe ich einen Task erstellt, dem ich root Rechte geben kann:
Diesen Task habe ich dann manuell ausgeführt.





Sobald ich mit pkill synorecycle den Prozess beendet hatte, war das Problem weg:



-->
Volume Auslastung ist sofort von 100% auf 0% gefallen.
Die Köpfe der Festplatten sind ruhig.
Ich kann mit normaler Geschwindigkeit auf die DS zugreifen.

 

[Ramihyn]

Wäre es nicht einfacher gewesen, den Papierkorb-Job umzukonfigurieren, dass er nur noch einmal pro Monat ausgeführt wird?

Und dann frage ich mich allen Ernstes, was du für Datenmüll auf deinem NAS produzierst, dass die DS ununtebrrochen am Anschlag ist, wenn da aufgeräumt wird.

Und zum Dritten: es gibt offensichtlich Freigaben, die du auf deinem NAS eingerichtet hast, auf denen sich der Papierkorb als Rohrkrepierer entpuppt, weil du permanent Files überschreibst/löschst/etc. - man kann die Shares auch ohne Papierkorb einrichten und damit auch aktiv etwas dagegen tun, dass der Mülleimer überläuft.

 

[iOOi]

Der Papierkorb-Job wird nun 2x pro Jahr ausgeführt. "pkill synorecycle" hatte ich genutzt, um eindeutig zu sehen, ob mein Verdacht stimmt. Sofort nach Ausführung war alles normal -> mein Verdacht stimmte also!

...Und dann frage ich mich allen Ernstes, was du für Datenmüll auf deinem NAS produzierst, dass die DS ununtebrrochen am Anschlag ist, wenn da aufgeräumt wird...

Am Datenmüll war Synology schuld, da das Synology Photo Station Upload Programm so ungeschickt programmiert ist, dass es ständig abgebrochen hatte. Zuerst hatte ich versucht, meint 10^6 Fotos mit einem schnellen i7 Rechner hochzuladen. Nach 3 Tagen stieg das Programm aus. Letztlich hatte ich 24 Stunden, 3 Wochen lang, 4 Bereiche mit 4 Rechnern gleichzeitig versucht hochzuladen. Ständig hat sich das Programm mit verschiedenen Fehlermeldungen verabschiedet: Z.B. "Verbindung zur DS nicht möglich", obwohl der betroffene Rechner auf die DS zugreifen konnte, ... Der Papierkorb sollte durch die vielen Versuche nicht gefüllt worden sein, da ich stets die Option "bereits hochgeladene überspringen" angewählt habe. Übrigens hat Sysnology auf das Wort "bereits" vergessen, was einen Hinweis gibt, wie gewissenhaft dort Software entwickelt wird.
Nach lediglich 20 Tagen hat die DS meine beiden M.2 Cache SSDs als nicht mehr verwendbar gemeldet. Wohl auch ein Programmierfehler von Synology. Die DS hat vermutlich extrem viele Daten geschrieben, obwohl ein Schreiben nicht nötig war.




Für das Löschen aller Papierkörbe hatte die DS 10 Minuten benötigt. Für den Papierkorb-Job mit synorecycle hatte sie über 24 Stunden benötigt. Das zeigt, dass Synology synorecycle sehr ungeschickt programmiert hat.

Bei mir war eingestellt: synorecycle sollte täglich alle Papierkorbeinträge löschen, die älter als 30 Tage sind.
Ich hätte das so programmiert: Erstellung eines Index aller Papierkorbeinträge mit Datum alle 30 Tage. Tägliches Löschen laut dem Index. Wenn man dieses Programm nicht sehr ungeschickt umsetzt, dauert die tägliche Ausführung nur Sekunden, keine 24 Stunden!

Interessant, dass Kunden schon seit Jahren mit dem ungeschickt programmierten synorecycle Programm kämpfen:
https://www.synology-forum.de/showt...bestimmtem-Gemeinsamen-Ordner-(verschlüsselt)
Und: https://forum.synology.com/enu/viewtopic.php?t=129315



Synology hat es bisher nicht einmal geschafft, den Kunden darauf hinzuweisen, dass synorecycle völlig überfordert ist, und daher die DS unbrauchbar ist. Ich habe recht lange benötigt, die Ursache für den Fehler zu finden.

Dieser Tipp hatte es mir ermöglicht, den Fehler aufzuspüren:

... wenn man im Ressourcenmonitor nach der Plattenauslastung sortiert, käme man schon dahinter, welche konkreten Threads da den I/O auf Anschlag treiben...

Besten Dank dafür!

LG
iOOi

 

[peterhoffmann]

synorecycle = Übeltäter?... Am Datenmüll war Synology schuld... Programm so ungeschickt programmiert ist... ein Programmierfehler von Synology... synorecycle sehr ungeschickt programmiert... Ich hätte das so programmiert... DS unbrauchbar ist... Ich habe recht lange benötigt, die Ursache für den Fehler zu finden...

1. 1.000.000 Fotos sind kein Papenstiel und fernab der Normalität.
2. Die Bewertung einer Programmierarbeit sollte man tunlichst unterlassen, wenn man nicht mal einen Funken Ahnung davon hat. Das ist wie der Blinde, der von Farben fabuliert.
3. Das Problem hätte man viel früher finden können, wenn du einerseits nicht quergepostet, sowie mal Anregungen aufgenommen hättest. Schon eine SuMa selbst zu beglücken war dir zu viel Arbeit.
4. Wir sind hier nicht im Schlaraffenland, wo man dir alles in mundgerechte Stücke in den Mund legt.

Ich bin so froh, dass DU dein Problem gelöst hast. Dann hast DU ja alles richtig gemacht.

Justmy2cents.

 

[iOOi]

1. 1.000.000 Fotos sind kein Papenstiel und fernab der Normalität.
2. Die Bewertung einer Programmierarbeit sollte man tunlichst unterlassen, wenn man nicht mal einen Funken Ahnung davon hat. Das ist wie der Blinde, der von Farben fabuliert.
3. Das Problem hätte man viel früher finden können, wenn du einerseits nicht quergepostet, sowie mal Anregungen aufgenommen hättest. Schon eine SuMa selbst zu beglücken war dir zu viel Arbeit.
4. Wir sind hier nicht im Schlaraffenland, wo man dir alles in mundgerechte Stücke in den Mund legt.

Ich bin so froh, dass DU dein Problem gelöst hast. Dann hast DU ja alles richtig gemacht.

Justmy2cents.

Ja, da bin ich auch froh, denn Ende der Woche hätte ich die DS returniert, und sicher kein Produkt mehr von Synology gekauft.

Ich habe einen wertvollen Tipp für Dich, lieber peterhoffmann:
Zuerst lesen, dann tippen! Lese noch mal meinen Beitrag #29 emotionslos, und denke nach. Dann wirst auch du begreifen, wie ungeschickt synorecycle programmiert ist.

Bezüglich deiner Unterstellung:
Unter meiner Führung ist großartige Software entstanden. Algorithmen die ich entwickelt habe, arbeiten in zigtausend Produkten.

LG
iOOi

 

[peterhoffmann]

Algorithmen die ich entwickelt habe, arbeiten in zigtausend Produkten.

... sagt der, der

• nicht in der Lage ist, seine Fotos auf bestem Wege auf die DS zu bringen,
• die Abläufe in seiner DS nicht mal ansatzweise verstanden hat,
• auch nicht in der Lage war eine zielgerichtete Fehlersuche durchzuführen,
• nicht mal eine Spalte im DSM zum Sortieren gebracht hat
• und dann noch fragt, was SSH und top ist.

Ich gehe gleich mal zu meinem blinden Nachbarn rüber. Der fabuliert auch so schön über Farben wie du über Software.

Dann wirst auch du begreifen, wie ungeschickt synorecycle programmiert ist

Bullshit, aber es steht dir ja frei "unter deiner Führung eine bessere und großartigere Software entstehen zu lassen".

 

[iOOi]

Schade, dass dir mein Tipp es mal mit Nachdenken zu versuchen nicht liegt. :-(

 

[Puppetmaster]

Algorithmen die ich entwickelt habe, arbeiten in zigtausend Produkten.

Das alleine Ist ja kein Garant für gute Algorithmen.
Kannst ja mal schätzen, wie viele DiskStations im Betrieb sind. Hier unterstellst du ja auch schlechte Software.

Dir wurde gleich zu Anfang gesagt, dass die Diskstation für dein Fotovolumen nicht ausgelegt ist. Wenn du sie dann trotzdem vergewaltigst und mit mehreren Rechnern zudem gleichzeitig per Uploader penetrierst, war das letztlich ein Ausfall mit Ansage.
Mich wundert dabei, dass du dich darüber so wunderst.

Und dass hier keiner auf den recycle Prozess des Papierkorbs gekommen ist liegt vermutlich daran, dass zumindest mir noch kein derartiger Fall von "Mißhandlung" einer DS hier im Forum begegnet ist.

 

[iOOi]

Ich unterstelle keine schlechte Software, es ist teilweise schlechte Software.


Das Problem mit den Fotos besteht unabhängig vom synorecycle Problem. Beim Upload mit dem Photo Station Uploader von Synology hat die DS praktisch nichts zu tun:
https://www.synology.com/de-de/releaseNote/PhotoStationUploader

Sie nutzt die Rechenleistung Ihres Computers, um Miniaturansichten zu erstellen und Videos in hochwertige Formate umzuwandeln, ohne die Systemressourcen Ihres NAS zu belasten.

Leider nur theoretisch, das dieses Programm Mist ist.


Puppetmaster, meinst Du es ist eine Mißhandlung eines NAS wenn mehr als 3 Rechner darauf zugreifen?



Genau so miserabel wir der PhotoStationUploader ist der synorecycle Dienst programmiert und getestet:
Das automatische Leeren der Papierkörbe mit Inhalten, die älter als 30 Tage sind, hat die DS 24 Stunden lang völlig überfordert. Für das Löschen aller Papierkörbe hatte die DS 10 Minuten benötigt. --> sehr schlecht programmiert.

 

[Puppetmaster]

Ich unterstelle keine schlechte Software, es ist teilweise schlechte Software.

Liegt sicher immer im Auge des Betrachters.

Puppetmaster, meinst Du es ist eine Mißhandlung eines NAS wenn mehr als 3 Rechner darauf zugreifen?

Ich meine, es ist eine Misshandlung der DS, wenn mehrere Photo-Uploader Im Parallelbetrieb 10^7 Bilder hochschieben und die Metadaten gleichzeitig in der postgres geschrieben werden sollen, ja.

Genau so miserabel wir der PhotoStationUploader ist der synorecycle Dienst programmiert und getestet:
Das automatische Leeren der Papierkörbe mit Inhalten, die älter als 30 Tage sind, hat die DS 24 Stunden lang völlig überfordert. Für das Löschen aller Papierkörbe hatte die DS 10 Minuten benötigt. --> sehr schlecht programmiert.

Erstaunlich dabei ist, dass von hunderten Benutzern hier offenbar nur du in der Lage bist, diese Probleme zu erkennen oder überhaupt zu haben.

Irgendetwas müssen andere Nutzer ja anscheinend anders machen als du ...

 

[peterhoffmann]

@iOOi
Es gibt Computerkurse bei der Volkshochschule.
Vielleicht können die deinen Horizont erweitern und deine Beratungsresistenz irgendwie durchbrechen.

 

[iOOi]

Ich meine, es ist eine Misshandlung der DS, wenn mehrere Photo-Uploader Im Parallelbetrieb 10^7 Bilder hochschieben und die Metadaten gleichzeitig in der postgres geschrieben werden sollen, ja.

Es sind einige 10^6 Bilder.

Das Wandeln passiert auf den Clients trotz ihrer i7 Mehrkernprozessoren sehr langsam. Die schreiben die Daten mit einigen kb/s. Was genau soll daran eine Mißhandlung eines NAS sein?

 

[Puppetmaster]

Nein, es sind 10^7 Bilder. Zu jedem Original werden mehrere verschiede Auflösungen berechnet. Kannst dich ja mal in den zugehörigen @eaDir Ordnern umsehen.

Bei dir hat ja so einiges nicht funktioniert. Worauf schiebst du das? Die schlechte Software lassen wir mal beiseite; wenn das zum Tragen käm, hätte die Probleme ja jeder, was aber sehr weit von der Realität entfernt ist.

 

[iOOi]

Ok, einige kb/s sind also zu viel für eine DS.
Man sollte lediglich Lochkartenleser anschließen, um keine Probleme zu bekommen.