Cloud Station Platzverbrauch bei Nutzung der CS

[stefan_lx]

Ausgehend von der immer wieder auftauchenden Frage, wo beim Aktivieren der CS der Plattenplatz hin verschwindet, habe ich mal die beliebte Aussage "nimm doch mal weniger Versionen, bei 32 Versionen ist ja klar, dass der Platz verschwindet..." überprüft, weil ich sie angezweifelt habe...
Der Tipp ist zwar nicht falsch, aber woher sollen denn die Versionen kommen, wenn man die CS gerade erst frisch eingerichtet hat?
Außerdem sollen ja seit der letzten CS-Version nicht mehr die kompletten geänderten Dateien für die Versionierung gespeichert werden, sondern nur noch die Änderungen in irgendwelchen Blockgrößen.

Also auf der Konsole

du -sh /volume1/@cloudstation/@sync/*

abgesetzt, nachdem die CS auf einer frischen syno aktiviert wurde, aber noch keine Ordner aktiviert wurden.

0       /volume1/@cloudstation/@sync/dbapi.lock
4.0K    /volume1/@cloudstation/@sync/delta
4.0K    /volume1/@cloudstation/@sync/log
4.0K    /volume1/@cloudstation/@sync/repo
4.0K    /volume1/@cloudstation/@sync/rm
4.0K    /volume1/@cloudstation/@sync/syncfolder-db.sqlite
32.0K   /volume1/@cloudstation/@sync/syncfolder-db.sqlite-shm
48.0K   /volume1/@cloudstation/@sync/syncfolder-db.sqlite-wal
12.0K   /volume1/@cloudstation/@sync/user-db.sqlite

Dann einen Ordner mit 5,2GB für die CS aktiviert. Nachdem die Datenbank aufgebaut wurde, wieder den Befehl abgesetzt.

0       /volume1/@cloudstation/@sync/dbapi.lock
4.0K    /volume1/@cloudstation/@sync/delta
4.0K    /volume1/@cloudstation/@sync/log
5.2G    /volume1/@cloudstation/@sync/repo
4.0K    /volume1/@cloudstation/@sync/rm
1.8M    /volume1/@cloudstation/@sync/syncfolder-db.sqlite
32.0K   /volume1/@cloudstation/@sync/syncfolder-db.sqlite-shm
1.0M    /volume1/@cloudstation/@sync/syncfolder-db.sqlite-wal
12.0K   /volume1/@cloudstation/@sync/user-db.sqlite

Die Zeile mit dem repo gibt ziemlich genau an, wie groß das Datenvolumen ist, das in der CS liegt, weil hier jeweils die erste Dateiversion abgelegt wird. Das deckt sich mit der Beobachtung auf einer zweiten syno. Der Platzverbrauch wird also verdoppelt!

Auf der zweiten syno (auf der bereits seit längerem die CS läuft) ist das Verzeichnis delta knapp halb so groß, wie das Verzeichnis repo.
Somit sind in dem delta-Verzeichnis wahrscheinlich die versionierten Dateien bzw. Dateiblöcke abgelegt.

Wo die Mülleimer sind, kann man nicht erkennen, vermutlich auch im delta (rm ist es nicht, ist bei mir immer 4.0k groß).

Stefan

 

[stefan_lx]

Wo die Mülleimer sind, kann man nicht erkennen, vermutlich auch im delta (rm ist es nicht, ist bei mir immer 4.0k groß).

Dazu auch noch eine Erkenntnis: Der Inhalt der Mülleimer ist im Verzeichnis-repo. D.h. wenn alles Papierkörbe geleert sind, entspricht das Verzeichnis repo in etwa dem kompletten Volumen der CS.

Stefan

 

[frankred]

Hallo,

hat sich da mittlerweile was getan? Das kann doch nicht wahr sein, dass initial jede Datei quasi doppelt(durch die Revision-Verwaltung) vorhanden ist.
Ich habe mir ein Synology-NAS wegen der Cloud Station gekauft und jetzt sowas.... Da ich meine zwei Platten unter RAID1 laufen lasse, hab ich den Speicherplatz nicht zum rauswerfen, und diese Tatsache bricht mir das Genick . Das Volumen ist nämlich quasi schon voll bevor ich überhaupt alle Daten initial reingeladen synchronisiert habe...

 

[stefan_lx]

das hat sich glaube ich, auch mit der letzten Version aus der Beta nichts geändert, irgendwo müssen die Versionen bzw. die geänderten Teile schließlich abgelegt werden.
bittorrent sync dagegen benötigt nicht noch mal den zusätzlichen Plattenplatz, dafür gibt es aber auch keine Versionierung...

Stefan

 

[Matthieu]

Und wie oft muss ich den Spaß machen? Ist das ne einmalige Sache?

Eine Frage bitte nur ein Mal stellen - siehe Forumsregeln. Danke.

MfG Matthieu

 

[A-Kiel-Pulco]

Hallo,

ich muss hier noch mal nachhaken, da mir heute aufgefallen ist, dass auf meiner DS etwa 4 x so viel Platz belegt ist, wie die einzelnen Ordner laut File Station haben.
Habe eine DS212+ mit aktuell 1TB.
Vor der RAID-Einrichtung mit zweiter Platte habe ich heute Daten bereinigt und war erstaunt…

Als Dienste laufen die Cloud und die Photo Station (zieht die auch Speicher?).

Belegter Speicher laut File Station: 158,81 GB (170.491.936.000 Bytes).
Belegter Speicher laut Speicher-Manager: 651,98 GB --> also das 4,1fache!

Kann das sein?
Kann die Cloud-Nutzung auf mehreren Geräten die Datenmenge aufblähen?

Nutze die Cloud und DS Photo+ App mit folgenden Geräten:
Windows-Laptop: Dokumenten-Ordner (mit 0,875 GB auf der DS)
Macbook: Fotos, Musik und Dokumente (mit ca. 111 GB in Summe auf der DS)
iPad: Photo-Station-App und Cloud-App (ca. 53 GB auf der DS)
Handy1: Photo-Station-App und Cloud-App (ca. 53 GB auf der DS)
Handy2: Photo-Station-App und Cloud-App (ca. 53 GB auf der DS)

Vielen Dank und viele Grüße
Stefan

 

[dil88]

Wenn ich stefan_lx richtig verstehe (siehe Eingangsposting #1), dann wird die Datenmenge, die man in die CS einstellt, gleich zu Beginn verdoppelt, da die Dateien einmal im Filesystem und einmal in einer CS-Datenbank vorgehalten werden. Dazu kommen dann noch Versionen durch Veränderung von Dateien (bis zu 32 je nach Konfiguration).

 

[stefan_lx]

stimmt, die Datenmenge wird gleich am Anfang verdoppelt,
die Anzahl der Geräte wie auch die Anzahl der Benutzer ist egal, das hat keine Auswirkungen auf den Platzverbrauch... die PS ist ein Webserver, der nur unwesentlich Platz benötigt. Die Bilder im photo-Ordner verbrauchen nur dann den doppelten Platz, wenn dort auch die CS aktiviert ist... Aus deinen Angaben kann man leider nicht erkennen, ob z.B. ipad und Handies die gleichen Verzeichnisse nutzen...

Wenn du den Befehl aus #1 absetzt, siehst du im Verzeichnis /volume1/@cloudstation/@sync/repo und /volume1/@cloudstation/@sync/delta welche Datenmenge tatsächlich in der CS vorgehalten wird. Solltest du mal Dateien gelöscht haben, sind die auch noch in der CS gespeichert, solange die Papierkörbe der Gemeinsamen Ordner nicht gelöscht wurden.

Stefan

 

[A-Kiel-Pulco]

Danke für die schnelle Antworten.
Hab vorher noch nicht mit der Konsole gearbeitet und bin gestern Abend mehrfach an Port 22 gescheitert ("Port 22 network is unreachable" - Port 22 war in der DS Firewall freigegeben, im Router freigegeben, SSH in der DS war aktiviert).
Werde das in den nächsten Tagen noch mal versuchen, aber möchte den Thread dadurch nicht weiter belasten.

Ging mir nur darum, ob es generell sein kann, dass die Datenmenge 4 x so groß werden kann?
Hab schon alle Papierkörbe der Gemeinsamen Ordner gelöscht und die max. Versions-Anzahl in der Cloud-Station auf 5 gesetzt.
Hat aber nichts gebracht...

@stefan_lx: Handys und iPad nutzen immer dieselben Verzeichnisse.

Viele Grüße
Stefan

 

[mgutt]

Dazu kommen dann noch Versionen durch Veränderung von Dateien (bis zu 32 je nach Konfiguration).

Den Standardwert sollte man testweise mal reduzieren. Bei mir hat sich der Speicherverbrauch dadurch signifikant geändert. Um genau zu sein musste ich nach einem Fehler durch ein Festplatten-Upgrade alle Clients neu installieren (Server App habe ich gelassen wie sie war) und der Versionsverlauf wurde dadurch automatisch nach dem nächsten Herunter- und Herauffahren gelöscht (gar nicht mal ungefährlich, wenn man darauf angewiesen ist). Danach hatte ich plötzlich 1 TB mehr Platz:

Vorher:
https://www.maxrev.de/files/2014/07/2014_07_11_09_13_23_synologydiskstation_diskstation.png

Nachher:
https://www.maxrev.de/files/2014/07/2014_07_13_11_34_45_synologydiskstation_diskstation.png

 

[stefan_lx]

Mit der neuen CS-Version 3.1-3235 (beta) kann man tatsächlich die Versionierung auf 0 stellen...

Neu in die CS aufgenommene Ordner tauchen zwar im Versionsverlauf auf, die Dateien haben aber als Versionsanzahl "0" stehen. Zumindest bei kleinen Ordnern ist das so, bei großen Ordnern dauert die Aktualisierung in der Anzeige wohl ein wenig, da steht noch nichts drin...

Bei bereits bestehenden CS-Ordnern wird die Versionsanzahl nicht automatisch reduziert, auch das Löschen der Versionen funktioniert nicht. Der erste Punkt könnte beabsichtigt sein, der zweite ist mit Sicherheit noch ein Bug..
Allerdings kann man die Versionen einfach auf Null setzen, in dem man den Ordner in der CS deaktiviert, kurz wartet und dann wieder aktiviert

Stefan

 

[||||]

Hallo,

hat sich da mittlerweile was getan? Das kann doch nicht wahr sein, dass initial jede Datei quasi doppelt(durch die Revision-Verwaltung) vorhanden ist.
Ich habe mir ein Synology-NAS wegen der Cloud Station gekauft und jetzt sowas.... Da ich meine zwei Platten unter RAID1 laufen lasse, hab ich den Speicherplatz nicht zum rauswerfen, und diese Tatsache bricht mir das Genick . Das Volumen ist nämlich quasi schon voll bevor ich überhaupt alle Daten initial reingeladen synchronisiert habe...

geht mir sehr ähnlich, bin auch sehr frustriert, dass ein backup für größere datenmengen mit der CS nicht wirklcih gut möglich ist...

 

[Matthieu]

geht mir sehr ähnlich, bin auch sehr frustriert, dass ein backup für größere datenmengen mit der CS nicht wirklcih gut möglich ist...

Hast du die letzten Beiträge in dieser Diskussion mal durchgelesen (Stichwort DSM 5.1)?

MfG Matthieu

 

[||||]

ja habe ich bereits 2x, aber da steht nirgend wo was von dsm 5.1, was meinst du damit genau?

 

[dil88]

Dass es eine neue Cloud Station Version gibt, bei der man die Versionierung abschalten kann (Anzahl Versionen auf 0). In dem Fall werden die Daten nicht in der Datenbank abgelegt, so dass das Problem mit dem doppelten Speicherverbrauch entfällt.

 

[Matthieu]

Mit der neuen CS-Version 3.1-3235 (beta) kann man tatsächlich die Versionierung auf 0 stellen...

Diese Version wurde zusammen mit 5.1 veröffentlicht und ermöglicht es, die Versionierung vollständig abzuschalten.

Abgesehen davon, kenne kein Dokument und kein Marketingmaterial wo die CS als Backup-Lösung benannt wird. Es ist keine Backup-Lösung. Ein Backup ist per Definition ein zeitlich UND räumlich getrennter Datenbestand. Die CS synchronisiert idealerweise sofort - damit ist keine zeitliche Trennung gegeben. Sie schützt ohne Versionierung auch nicht gegen versehentliches Löschen, Überschreiben oder Zerstören durch Schadsoftware. Es erfüllt schlicht nicht die Mindestanforderungen an ein Backup. Das will es aber auch gar nicht.

MfG Matthieu

 

[||||]

Achso danke, ja das habe ich probiert, derezeit ist Cloudstation 3.1-3317 auf meiner NAS installiert, also eine höhere Version als 3.1-3235 (beta), dort habe ich die Versionnierung auf 0 geändert, habe dann auch die DS neugestartet, allerdings wurde in meinem Fall nicht wieder Speicherplatz frei und die Verknüpfung der Ordnerpaare zu lösen, ist mir derzeit zu heikel.

nochmals zur klarstellung, mir ist absolut bewusst, dass die Cloudstation kein richtiges Backup-Instrument ist und (im Moment) nicht wirklich für große Datenmengen geeignet ist, aber für mich wäre diese automatische Synchronisierung die beste Lösung.

Frogman empfahl ja Bittorrent Sync, das ist auch nah ein einer sehr guten Lösung für mich dran, nur leider verwendet es bei mir im LAN nicht die volle Bandbreite sondern nur etwa 5MB/s und ich habe auch nach längerem Recherchieren nicht herausgefunden, wie man da die Übertragungsgeschwindigkeit nach oben treiben kann...

 

[Matthieu]

Bei bereits bestehenden CS-Ordnern wird die Versionsanzahl nicht automatisch reduziert, auch das Löschen der Versionen funktioniert nicht.

Offenbar hat sich daran bisher nichts geändert.

MfG Matthieu

 

[Q2002]

Dass es eine neue Cloud Station Version gibt, bei der man die Versionierung abschalten kann (Anzahl Versionen auf 0). In dem Fall werden die Daten nicht in der Datenbank abgelegt, so dass das Problem mit dem doppelten Speicherverbrauch entfällt.

Die Cloud Station muss dann wohl neu aufgesetzt werden oder gibt es eine andere Möglichkeit?

 

[stefan_lx]

da es in der Final noch so ist, wie in der beta (siehe #11 und #18) kann man die CS entweder neu installieren oder einfach die Ordner in der CS deaktivieren, warten bis die CS aufgeräumt hat, dann wieder aktivieren.

Stefan