DS415play - Täglich verschwindet Speicher auf mysteriöse Art

Status
Für weitere Antworten geschlossen.

MrSmith2017

Benutzer
Mitglied seit
28. Sep 2017
Beiträge
13
Punkte für Reaktionen
0
Punkte
0
Hallo zusammen,
ich benutze seit mehr als 2 Jahren eine DS415play und bin bislang recht zufrieden und hatte noch nie Probleme mit dem Server.

Aktuell sind drei 6TB WD-Red verbaut. Diese dienen lediglich als Ablagespeicher für Videodateien und sind daher nur als Basic Volumes eingerichtet und laufen nicht in einem Raid Verbund. Das System ist aktuell und läuft auf DSM 6.1.3-15152 Update 5.

Immer wenn eine Festplatte voll war wurde die nächste angeschafft. Das heisst aktuell sind die erste und zweite HDD nahezu voll. Auf der ersten wo ja auch das System drauf läuft habe ich ca. 90GB frei gelassen. Auf der zweiten wo nur Videofiles liegen sind normalerweise ca. 50GB frei. Nun wurde mir vor einigen Wochen angezeigt das Volume 2 voll ist obwohl ich schon seit Ewigkeiten weder Dateien hinzugefügt noch gelöscht habe. Bewegung findet seit die zweite voll ist nur noch auf HDD3 statt. Also nachgeschaut und gesehen das tatsächlich bis aufs letzte Byte alles leer gesaugt wurde. Hab mir nichts weiter bei gedacht und ein paar Dateien von Volume2 auf Volume3 geschoben und somit 16GB frei gemacht. Dann vor 2 Tagen wieder die Meldung das Volume2 voll ist und daher einige Sachen nicht richtig laufen. Die Frage ist daher was dort meinen freien Speicher frisst?

Was hab ich bisher unternommen?
Natürlich stundenlang im Netz auf deutsch und englisch recherchiert. Aber man kommt immer nur auf eine Lösung -> Cloud Station. Diese hatte ich bislang noch nie installiert und benutzt. Daran liegt es also ganz klar nicht.
Des Weiteren kann ich den Papierkorb ausschliessen, denn dieser war für keinen gemeinsamen Ordner zu irgendeinem Zeitpunkt aktiv. Gelöscht habe ich ihn trotzdem mal, hat aber nichts gebracht. Daran liegt es also auch nicht.
Gestern hab ich mich dann ran gesetzt und den Speicher-Analysator installiert. Hat leider auch nichts gebracht, denn er kann ja keine geänderten Dateien für das betroffene Volume2 anzeigen, da ja dort nichts geändert wurde in den letzten Monaten. Dann hab ich die Festplatte mal aus dem Server genommen und an meinen Windows Rechner gehangen und per Paragon ExtFS und DiskInternals Linux Reader drauf zugegriffen und mir alles genau angeschaut. Aber nichts zu erkennen. Dort liegen nur meine Video Files. Das hat mich leider auch nicht weiter gebracht.

Zusätzlich hab ich über das Backend noch eine Support Anfrage an Synology gestellt, aber bislang keinerlei Reaktion erhalten.

Da Volume2 ja gestern wieder randlos bis aufs letzte Byte voll war hab ich nochmal etwas von HDD2 auf HDD3 geschoben und so 5.0GB frei gemacht. Als ich eben geschaut habe sind es nur noch 4.4GB freier Speicher. Von gestern zu Heute also wieder 600MB auf mysteriöse Art und Weise verschwunden. Wenn das so weiter geht sind in einem Jahr dort gar keine Daten mehr von mir drauf, aber die Festplatte ist voll. Daher hoffe ich das hier jemand eine Idee hat was dort von statten geht.

Da dieses Phänomen ja erst seit ca. 2-3 Monaten auftritt vermute ich das irgendein DSM Update dafür verantwortlich ist. Denn bis zu einem bestimmten Zeitpunkt lief ja alles wie es soll. DSM aktualisiert sich bei mir automatisch und bei irgendeinem Update scheint sich da eine Funktion eingeschlichen zu haben die dafür verantwortlich ist. Denn an der Konfiguration des Servers habe ich schon ewig nichts mehr geändert.

Volume1 ist nicht betroffen da ich diort noch immer die ca. 90GB frei habe. HDD3 hab ich noch nicht weiter beobachtet da dort ja aktuell etwas Bewegung drauf ist, werd das aber ab heute tun, denn die Vermutung ist das dieses Phänomen dort auch zuschlägt. Vor 2 Wochen waren dort noch ca. 600GB frei. Gefühlt habe ich maximal 150-200GB an Daten hinzugepackt. Frei sind aber aktuell nur noch 186GB. Und auf Volume2 müssten wie gesagt ca. 70GB frei sein, aber es sind nur noch 4GB.

Wie gesagt hoffe ich das jemand weiss oder eine Ahnung hat was da vor sich geht.

Danke im voraus!
 

Erebus

Benutzer
Mitglied seit
10. Okt 2012
Beiträge
352
Punkte für Reaktionen
1
Punkte
18
---------------------------
Dann hab ich die Festplatte mal aus dem Server genommen und an meinen Windows Rechner gehangen und per Paragon ExtFS und DiskInternals Linux Reader drauf zugegriffen und mir alles genau angeschaut. Aber nichts zu erkennen. Dort liegen nur meine Video Files. Das hat mich leider auch nicht weiter gebracht.
---------------------------
Ordnergrössen? Irgendwo muss der Speicher ja verblieben sein...
 

dil88

Benutzer
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
30.709
Punkte für Reaktionen
2.118
Punkte
829
Dort müsstest Du aber doch eigentlich gesehen haben, wo die Kapazitäten verbraten werden, die Dir fehlen. Auf einer Shell läßt sich das auf die Art ermitteln, wie es hier beschrieben ist.
 

MrSmith2017

Benutzer
Mitglied seit
28. Sep 2017
Beiträge
13
Punkte für Reaktionen
0
Punkte
0
Ordnergrössen? Irgendwo muss der Speicher ja verblieben sein...

Ja, nur wo ist er verblieben? Ordnergrössen entsprechen den Inhalten. Pro Videodatei ein Ordner.


Dort müsstest Du aber doch eigentlich gesehen haben, wo die Kapazitäten verbraten werden, die Dir fehlen.

"Eigentlich" ja. Aber nein, eben leider nicht.

Gestern waren es wie gesagt noch 4.4GB freier Speicher auf Volume2. Heute sind es nur noch 3.7GB. Gerade nachgeschaut. Es sind also von gestern Abend zu jetzt erneut 700MB verschwunden ohne mein zu tun. Bin echt am verzweifeln!
 

dil88

Benutzer
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
30.709
Punkte für Reaktionen
2.118
Punkte
829
Ich habe Dir ja einen Weg zur Analyse per Shell verlinkt. Den halte ich für vielversprechender, als zu verzweifeln.
 

MrSmith2017

Benutzer
Mitglied seit
28. Sep 2017
Beiträge
13
Punkte für Reaktionen
0
Punkte
0
Ich habe Dir ja einen Weg zur Analyse per Shell verlinkt. Den halte ich für vielversprechender, als zu verzweifeln.

Das ist sehr nett, aber ich bin kein Linux Freak sondern ein normaler Endanwender. Zumal mir die Kommandoebene auch nichts anderes anzeigen wird als die beiden o.g. Programme unter Windows. Hatte das aber vor einer Woche schon mal versucht via Putty zu verbinden, aber das geht ja alles nicht mehr so einfach wie es mal war. Mich da durch zu wuseln ist mir zu viel. Hat jedenfalls nicht geklappt obwohl alles richtig eingestellt ist.

Hab allerdings vorhin mal meinen Android MediaPlayer runter gefahren und die 3 Netzlaufwerke am Windows Rechner getrennt. Das sind ja die einzigen beiden Geräte die auf die 3 Volumes vom NAS zugreifen. Und dann hab ich mir mal den Ressourcen Monitor im Backend angeschaut. Dabei ist aufgefallen das irgendetwas permanent Daten auf meine zweite HDD schreibt. Und das kontinuierlich. Gleichzeitig aber auch Daten liesst. Und das kann ja nur einer der laufenden Prozesse sein.

Zur Veranschaulichung nachfolgend mal einige Screenshots von einem 10 minütigem Zeitraum.

SynologyVolume.jpg

SynologyDatenträger.jpg

Es wird also mit 10-30MB/sek gelesen und es werden Daten mit 50-250KB/sek geschrieben.
Und wie man sieht ist meine zweite Festplatte somit leistungs technisch die ganze Zeit 100% ausgelastet Gibt es eine Möglichkeit zu sehen welche Daten er gerade liesst und schreibt?
Man sieht auch sehr schön das es tatsächlich nur die zweite Festplatte betrifft.

SynologyNetzwerk.jpg

SynologyCPU.jpg

Da die Prozesse ja sekündlich wechseln noch 3 Varianten der aktuell laufenden Sachen.

SynologyProzesse1.jpg
SynologyProzesse2.jpg
SynologyProzesse3.jpg

In meinen Augen auffällig sind die 3-4 permanent laufenden postgres Prozesse. Diese scheinen am meisten zu ackern.

Aber vielleicht sieht ja wer von Euch in den Prozessen etwas auffälliges oder gar den schuldigen Kandidaten?
 

dil88

Benutzer
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
30.709
Punkte für Reaktionen
2.118
Punkte
829
Hast Du schon einmal alle installierten Pakete deaktiviert und geschaut, ob sich dann etwas an der beschriebenen Situation ändert?
 

MrSmith2017

Benutzer
Mitglied seit
28. Sep 2017
Beiträge
13
Punkte für Reaktionen
0
Punkte
0
Hast Du schon einmal alle installierten Pakete deaktiviert und geschaut, ob sich dann etwas an der beschriebenen Situation ändert?

Noch nicht, aber werd ich gleich mal versuchen.

Hab vorhin das Antivirus Essential Paket installiert und der Virus Scan läuft gerade. Sobald der durch ist teste ich es mal. So viele Sachen hab ich ja nicht am laufen.
 

MrSmith2017

Benutzer
Mitglied seit
28. Sep 2017
Beiträge
13
Punkte für Reaktionen
0
Punkte
0
So, gerade mal getestet und PHP 5.6, PHP 7.0, Medienserver, Protokoll-Center, Speicher-Analysator, Video Station und VPN Server gestoppt. FileStation, Perl und Universal Search lassen sich nicht stoppen da die Option nicht vorhanden ist.

Das Bild was sich im Ressourcen Monitor (siehe Screenshots oben) zeigt ist unverändert.
 

rednag

Benutzer
Mitglied seit
08. Nov 2013
Beiträge
3.955
Punkte für Reaktionen
12
Punkte
104
Na gut, dann will ich auch mal.

Auch ich habe das Gefühl, daß der Speicher langsam aber sicher ohne mein Zutun dezimiert wird.
Ich habe noch nicht im Detail nachgesehen, aber das Widget zur Speicherauslastung zeigt mir immer weniger Speicher an.
Es reduziert sich so gefühlt um die 2-5 GB am Tag. Das merkt man bei 10 TB nicht gleich, aber es ist mir aufgefallen.
Eine Usrache konnte ich bisher (sehr oberflächlich betrachtet) noch nicht ausmachen.
Einzig was bei mir an Paketen läuft ist Web Station, Apache24, PHP56 und 7, Kalender, natürlich Ulitimate Backup :D, VMM, MariaDB10, PMA und die nötigen Abhängigkeiten.
Kein Downloader oder so Gedöns.
 

MrSmith2017

Benutzer
Mitglied seit
28. Sep 2017
Beiträge
13
Punkte für Reaktionen
0
Punkte
0
Ich bin einen Schritt weiter und konnte den schuldigen Kandidaten in meinem Fall nun doch finden.

Gestern Abend sah es ja unverändert aus. Allerdings fährt mein NAS frühs um 5 runter und Mittags erst wieder hoch. Nach dem Neustart heute Mittag war Ruhe was die Lese- und Schreibzugriffe auf Volume2 angeht. Wurde also heute kein weiterer Speicher "verschluckt". Die gestern beendeten Pakete waren auch heute noch gestoppt. Dann hab ich den Ressourcen Monitor wieder geöffnet und die o.g. Pakete nach und nach, jeweils mit ein paar Minuten Pause zwischen drin, wieder gestartet und die Schreibzugriffe, die Auslastung und die Prozesse beobachtet. Und siehe da, als ich die Video Station wieder gestartet habe ging das Spielchen sofort wieder los. Auslastung der HDD2 wieder bei 100% und es wurden wieder Daten gelesen und geschrieben. Auch sind in dem Augenblick die auffälligen postgres Prozesse, die ich ja ohnehin in Verdacht hatte, wieder aufgetaucht.

Dann bin ich in die Einstellungen der Video Station gegangen, konnte jedoch kein Setting finden was dafür verantwortlich sein könnte. Video Station also wieder gestoppt und deinstalliert. Benötige diese nicht wirklich. SMB Freigaben und MedienServer reichen für meine Zwecke im Heimnetzwerk. Nun ist der Speicherverlust erstmal gestoppt. Jedoch ist der verloren gegangene Speicher durch die Deinstallation nicht wieder freigegeben worden. Ich hätte die ca. 70GB aber schon gern wieder.

Die Videostation lief bei mir vom ersten Tag an und ich habe dieses Problem ja erst seit ein paar Wochen. Somit bestätigt sich mein Verdacht das es durch ein automatisches Update dieses Paketes zu Änderungen kam die dieses Verhalten verursacht haben.

Nun stellen sich mir noch folgende Fragen:

1. Was hat die VideoStation dort gemacht? Und warum nur auf Volume2 wo doch auf Vol1 und Vol3 ebenfalls Videodateien liegen?
2. Welche Dateien wurden geschrieben, wo kann ich diese finden und löschen damit ich meinen Speicher zurück bekomme?

Aktuell sieht es jetzt wieder aus wie sonst auch:
Image3.jpg
 

Fusion

Benutzer
Sehr erfahren
Mitglied seit
06. Apr 2013
Beiträge
14.159
Punkte für Reaktionen
912
Punkte
424
Als erstes alles prüfen, was mit Datenredundanz/Versionierung zu tun hat.

Cloud Station, Snapshots, lokale Backups, ...

@MrSmith - die versteckten @eaDIr Verzeichnisse auf dem Volumen prüfen
 

MrSmith2017

Benutzer
Mitglied seit
28. Sep 2017
Beiträge
13
Punkte für Reaktionen
0
Punkte
0
@MrSmith - die versteckten @eaDIr Verzeichnisse auf dem Volumen prüfen

Also auf dem normalen Volumen2, da wo meine Daten liegen, gibt es keine versteckten Verzeichnisse oder Dateien. Oder meinst Du auf der Systempartition dieser Festplatte?
 

Fusion

Benutzer
Sehr erfahren
Mitglied seit
06. Apr 2013
Beiträge
14.159
Punkte für Reaktionen
912
Punkte
424
Die Ordner kannst du nur über die Konsole sehen, da sie direkt unter /volumeX/ liegen.
Alles was du im DSM zu sehen bekommst ist erst auf der Ebene /volumeX/Freigabe und darunter angesiedelt.

Ansonsten kann man noch probieren via Systemsteuerung > Gemeinsame Ordner > Aktion > Alle Papierkörbe leeren, ob sich da noch was findet.

Hast du bei der Deinstallation der VS auch die Datenbank löschen lassen?
 

MrSmith2017

Benutzer
Mitglied seit
28. Sep 2017
Beiträge
13
Punkte für Reaktionen
0
Punkte
0
Die Ordner kannst du nur über die Konsole sehen, da sie direkt unter /volumeX/ liegen.

Ja, das ist Mist. Denn wenn ich via Putty und SSh per Root rauf will geht das nicht. Und als Admin funzt der Befehl "du -xmd 1 /volume2" nicht. -> Permission denied

Jetzt lese ich gerade hier -> http://www.synology-forum.de/showthread.html?72654-DSM-6-0-kein-root-zugriff-mehr-via-Telnet-SSH/ und bin schon wieder am verzweifeln. Welcher Ottonormaluser soll da durchsehen...


Ansonsten kann man noch probieren via Systemsteuerung > Gemeinsame Ordner > Aktion > Alle Papierkörbe leeren, ob sich da noch was findet.

Papierkörbe waren noch nie aktiv. Hatte ich aber trotzdem schon gemacht mit dem löschen. Hat nichts gebracht.


Hast du bei der Deinstallation der VS auch die Datenbank löschen lassen?

Yep, das Häkchen hatte ich gesetzt. Speicherplatz wurde dadurch keiner freigegeben.
 

Fusion

Benutzer
Sehr erfahren
Mitglied seit
06. Apr 2013
Beiträge
14.159
Punkte für Reaktionen
912
Punkte
424
Als admin per SSH anmelden und dann mit demselben Passwort "sudo -i" bestätigten, dann bist du root.
 

MrSmith2017

Benutzer
Mitglied seit
28. Sep 2017
Beiträge
13
Punkte für Reaktionen
0
Punkte
0
Als admin per SSH anmelden und dann mit demselben Passwort "sudo -i" bestätigten, dann bist du root.

Ok, hat funktioniert. Aber warum wuseln dann alle da mit diesen ganzen Schlüsseln usw. herum?

Ergebnis ist jetzt dieses hier:

root@DiskStation:~# du -xmd 1 /volume2
1 /volume2/lost+found
1 /volume2/@tmp
1 /volume2/@S2S
93463 /volume2/@database
5575156 /volume2/Movies2
1 /volume2/@autoupdate
1 /volume2/@eaDir
1 /volume2/@iSCSI
1 /volume2/@quarantine
5668619 /volume2

Scheint nichts drin zu sein im eaDir oder?

Wenn ich die Zahlen richtig deute liegen in Movies2, also meiner Freigabe, 5.57TB an Files. Das heisst es sind 93.4GB in database. Das entspricht ungefähr dem Platz den ich vermisse. Denn auf Volume1 und Volume3 gibt es gar kein Database Ordner bzw. ist dieser leer.

Im @database Ordner sieht es jetzt wie folgt aus:

56684 ./pgsql/global
4 ./pgsql/pg_xlog/archive_status
131080 ./pgsql/pg_xlog
3264 ./pgsql/pg_clog
12 ./pgsql/pg_notify
4 ./pgsql/pg_serial
4 ./pgsql/pg_snapshots
96 ./pgsql/pg_subtrans
4 ./pgsql/pg_twophase
12 ./pgsql/pg_multixact/members
12 ./pgsql/pg_multixact/offsets
28 ./pgsql/pg_multixact
6012 ./pgsql/base/1
6004 ./pgsql/base/11814
6104 ./pgsql/base/11819
8064 ./pgsql/base/16384
293040 ./pgsql/base/16491
95185120 ./pgsql/base/16685
9600 ./pgsql/base/17204
95513948 ./pgsql/base
4 ./pgsql/pg_tblspc
4 ./pgsql/pg_stat
4 ./pgsql/pg_stat_tmp
95705164 ./pgsql
4 ./.pgsql.1419437074
95705172 .

Wie hab ich das zu deuten?


EDIT5:

OK, via "psql mediaserver postgres" und "\list+" erhalte ich jetzt nachfolgende Übersicht:

Rich (BBCode):
                                                                    List of data
bases
      Name      |    Owner     | Encoding  | Collate | Ctype |   Access privileg
es   |  Size   | Tablespace |                Description
----------------+--------------+-----------+---------+-------+------------------
-----+---------+------------+--------------------------------------------
 mediaserver    | MediaIndex   | SQL_ASCII | C       | C     |
     | 8034 kB | pg_default |
 photo          | PhotoStation | SQL_ASCII | C       | C     |
     | 9561 kB | pg_default |
 postgres       | postgres     | SQL_ASCII | C       | C     |
     | 6090 kB | pg_default | default administrative connection database
 synosnmp       | postgres     | SQL_ASCII | C       | C     |
     | 286 MB  | pg_default |
 template0      | postgres     | SQL_ASCII | C       | C     | =c/postgres
    +| 5993 kB | pg_default | unmodifiable empty database
                |              |           |         |       | postgres=CTc/post
gres |         |            |
 template1      | postgres     | SQL_ASCII | C       | C     | =c/postgres
    +| 5993 kB | pg_default | default template for new databases
                |              |           |         |       | postgres=CTc/post
gres |         |            |
 video_metadata | VideoStation | SQL_ASCII | C       | C     |
     | 91 GB   | pg_default |

Da sieht man sehr schön wo meine 91GB geblieben sind. Die Video Station hat den lieben langen Tag auf meiner HDD2 rumgerödelt und irgendwelche metadaten ausgelesen und in eine Datenbank geschrieben. Das sind wenn ich mich gerade nicht verguckt habe 85 Dateien die jeweils 1.1GB gross sind.

Jetzt muss ich nur noch raus bekommen wie ich gezielt nur das Zeug lösche was mit der Video Station zu tun hat.

Und dann stellt sich abschliessend nur noch die Frage warum sie das getan hat, warum sie es nur auf Volume2 getan hat und welche Einstellung dafür verantwortlich war.
 
Zuletzt bearbeitet:

Fusion

Benutzer
Sehr erfahren
Mitglied seit
06. Apr 2013
Beiträge
14.159
Punkte für Reaktionen
912
Punkte
424
Weil man sich nur mit Schlüssel auch direkt als root anmelden kann.

Kannst mal mit -xhd anstatt -xmd aufrufen, dann bekommst lesbarere Einheiten angezeigt.
Sieht danach aus, als ob in der Datenbank doch ganz schön viel noch drin ist.

Wenn dies nur die Video Station DB ist könntest du das löschen oder schauen, ob es über die Zeit oder mehrere Neustarts von selbst verschwindet.
Andernfalls muss man eben genauer nachsehn, was im Datenbankordner liegt, um nicht versehentlich etwas anderes zu löschen.
Vermutlich wurde bei der VS Installation festgelegt auf welchem Volume die DB liegt.
 

MrSmith2017

Benutzer
Mitglied seit
28. Sep 2017
Beiträge
13
Punkte für Reaktionen
0
Punkte
0
Weil man sich nur mit Schlüssel auch direkt als root anmelden kann.

Warum kompliziert wenns auch einfach geht. Da geb ich doch lieber noch schnell einen zusätzlichen Befehl ein. :D


Wenn dies nur die Video Station DB ist könntest du das löschen oder schauen, ob es über die Zeit oder mehrere Neustarts von selbst verschwindet.
Andernfalls muss man eben genauer nachsehn, was im Datenbankordner liegt, um nicht versehentlich etwas anderes zu löschen.

Hab gerade meinen Post noch mal editiert mit den relevanten Infos.

Könntest Du mir eben beim gezielten löschen noch mal assistieren bitte?

Mit -xhd noch mal aufgerufen sieht es jetzt so aus:

root@DiskStation:~# du -xhd 1 /volume2/@database/pgsql/base
5.9M /volume2/@database/pgsql/base/1
5.9M /volume2/@database/pgsql/base/11814
6.0M /volume2/@database/pgsql/base/11819
7.9M /volume2/@database/pgsql/base/16384
287M /volume2/@database/pgsql/base/16491
91G /volume2/@database/pgsql/base/16685
9.4M /volume2/@database/pgsql/base/17204
92G /volume2/@database/pgsql/base


Wenn ich das gerade richtig lese geht das über den Befehl "dropdb". Aber wie genau ich das jetzt eingeben muss - keine Ahnung. Da werd ich auch durchs googeln nicht so wirklich schlau draus.
 
Zuletzt bearbeitet:

Fusion

Benutzer
Sehr erfahren
Mitglied seit
06. Apr 2013
Beiträge
14.159
Punkte für Reaktionen
912
Punkte
424
Gelöscht bekommst du sie mit

psql -U postgres -c "DROP DATABASE video_metadata;"

Erst eine Neuinstallation von Video Station bringt sie wieder zurück dann.
 
Status
Für weitere Antworten geschlossen.
 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat