Datensicherung auf externe USB Platte - steht sehr lange bei 0%

[sabine_b]

Hallo,

ich habe zunächst eine komplette Sicherung eines Volumes gemacht (ca. 1.6 TB) auf eine externe Platte (2 TB), angeschlossen über USB3.0. Hat wunderbar geklappt. Die Sicherung erfolgte ganz normal über die Datensicherung im Webbrowser

Jetzt wollte ich mal testen, wie das Verhalten bei geänderten Daten ist, und das dauert ewig.

Ich habe eine Datei geändert, Gröse ca. 124 KB, und die Datensicherung gestartet. Es wird recht schnell erkannt, was zu sichern ist. Die Datensicherung an sich dauerte ca. 20 Minuten. Woran kann das liegen? Kann ich da irgendwas machen?

DS415play mit neuestem DSM


Das hier stand im LOG:

Aug 6 17:34:23 DiskStation synoconfbkp: util/sqlite.c:122 sqlite cmd not found!
Aug 6 17:39:15 DiskStation entry.cgi_SYNO.Core.Upgrade.Server[1].check[21091]: smallupdate.cpp:568 small fix can't downgrade, org_version[3], new_version[3]
Aug 6 17:53:44 DiskStation entry.cgi_SYNO.Core.Upgrade.Server[1].check[22214]: smallupdate.cpp:568 small fix can't downgrade, org_version[3], new_version[3]
Aug 6 17:54:46 DiskStation synolocalbkp: Backup task [Local Backup Set 1] completes with result [0]. Time spent: [1224 sec]. [A M P T] in Byte and Count
Aug 6 17:54:46 DiskStation synolocalbkp: size[1720222453989, 126646, 1720086561018, 126646] count[93731, 1, 1, 1] dir[17218, 1, 8658, 8658] reg[93731, 1, 1, 1]

 

[dil88]

1,6TB ist schon einiges. Wenn das jetzt noch sehr viele kleine Dateien sind, dann hat der rsync eine Menge zu tun. Bitte schau einmal während des Backuplaufs, wie sich die CPU-Auslastung entwickelt. Wenn es Phasen gibt, wo die DS kaum etwas zu tun hat (<10% Last), dann ist etwas faul. Ansonsten ist der rsync beschäftigt. Wieviele Dateien sicherst Du denn in etwa? Ich z.B. sichere etwa 75.000 Files, die ca. 1,3TB belegen. Das geht auf der 214+ bei keinen Änderungen in ungefähr zwei Minuten über die Bühne - per USB3 auf eine 2TB 2.5" WD (NTFS).

 

[sabine_b]

Das sind jetzt ca. 90.000 Files bei 1,6 TB, mit relativ vielen kleinen Dateien. Die Platte ist übrigens eine 3,5 '' Samsung und ist mit NTFS formatiert.

CPU liegt so bei 29%

 

[Hafer]

Ich z.B. sichere etwa 75.000 Files, die ca. 1,3TB belegen. Das geht auf der 214+ bei keinen Änderungen in ungefähr zwei Minuten über die Bühne - per USB3 auf eine 2TB 2.5" WD (NTFS).

DS415+ mit externer USB3 4TB Platte, 94.000 Files, 700GB Daten, keine Änderungen: 25min

Gruß Hafer

 

[entro]

Moin moin,

ich habe ein ähnliches Problem http://www.synology-forum.de/showthread.html?58359-Extrem-lange-laufzeiten-f%FCr-inkrementellen-Backups-(via-Netzwerk)

Ich mache das jetzt erstmal via rsync "von Hand" mit diesem Skript (Laufzeit mit 250k Dateien ca. 1 Minute):

#! /bin/ash

DIRS="homes verzeichnis1"

for DIR in $DIRS ; do
rsync --numeric-ids --delete -aze ssh /volume1/$DIR user@example.de:/home/user/volume1/
done

 

[dil88]

DS415+ mit externer USB3 4TB Platte, 94.000 Files, 700GB Daten, keine Änderungen: 25min

Die 415+ ist schon 'ne lahme Gurke. Aber Spaß beiseite: Gibts Einträge im Sicherungsprotokoll?

 

[blotto82]

NTFS ist zwar praktisch, aber leider nicht die schnellste Lösung fürs Backup am NAS.
Musste ich leider oft genug feststellen das die Performance bei NTFS ziemlich schlecht ist.
Sobald die in ext3 oder ext4 formatiert ist, geht das um einiges schneller.

 

[dil88]

War früher definitiv so, stimmt aber inzwischen nicht mehr. In aktuellen DSM Releases ist die NTFS Unterstützung sehr performant geworden.

 

[Hafer]

@blotto82:

root@PapaDS415:~# cat /etc/mtab
/dev/root / ext4 defaults 0 0
none /dev/pts devpts gid=4,mode=620 0 0
/sys /sys sysfs 0 0 0
/tmp /tmp tmpfs 0 0 0
/proc/bus/usb /proc/bus/usb usbfs 0 0 0
/dev/mapper/vol1-origin /volume1 ext4 usrjquota=aquota.user,grpjquota=aquota.group,jqfmt=vfsv0,synoacl 0 0
/volume1/@optware /opt bind bind 0 0
/dev/sdq1 /volumeUSB1/usbshare ext3 0 0

Da haste

Gruß Hafer

 

[Hafer]

@dil88 wo finde ich das?

Gruß Hafer

PS: Das fand ich in /var/log/timebkp.debug:

Oct 11 12:09:42 [19390]BK_INFO:task_1[My backup Set 1] starts running.
Oct 11 12:09:42 [19390]BK_INFO:Creating snapshots.
Oct 11 12:09:44 [19390]BK_INFO:Counting total size.
Oct 11 12:09:44 [19390]BK_INFOreparing copying data.
Oct 11 12:09:44 [19390]BK_INFO:Transferring: NetBackup
Oct 11 12:09:45 [19390]BK_INFO:Transferring: homes
Oct 11 12:10:28 [19390]BK_INFO:Transferring: music
Oct 11 12:27:59 [19390]BK_INFO:Transferring: photo
Oct 11 12:30:14 [19390]BK_INFO:Transferring: public
Oct 11 12:30:17 [19390]BK_INFO:Transferring: video
Oct 11 12:30:30 [19390]BK_INFO:Transferring finished.
Oct 11 12:30:31 [19390]BK_INFO:task_1[My backup Set 1] finished. Smart recycle working...
Oct 11 12:30:31 [19390]BK_INFO:task_1[My backup Set 1] smart recycle done.

 

[dil88]

Das Log ist perfekt. Du siehst sehr schön, wer mit Abstand die meiste Zeit verbrät: music.

 

[Hafer]

Das wundert nicht, sind dort doch auch mit Abstand die meisten files.
Das erklärt aber nicht, weshalb ähnliche Größenordnungen bei dir in 2min, jedoch bei mir in 25min durchgewurstelt werden.

Gruß Hafer

 

[dil88]

Das ist die Frage. Ich habe beispielsweise nur gut 8.000 Musikfiles und am Gesamtvolumen einen sehr hohen Videoanteil mit entsprechend großen Files. Viele kleine Files machen den Platten, der CPU und rsync zu schaffen. Ich habe hier übrigens einmal einen Verlauf meiner Transfergeschwindigkeiten gepostet, wobei der Sicherungsjob über 100GB gesichert hat und etwa 35 1/2 min. gelaufen ist. Vielleicht kannst Du den einmal bei Dir im Ressourcen-Monitor nachvollziehen. Möglicherweise bekommst Du generell über die USB3-Schnittstelle nicht so richtig Speed drauf. Zweiter Punkt: Könntest Du Deine externe Platte vielleicht nochmal in ext4 formatieren? Ich weiß, dann musst Du nochmal alles initial sichern. Und ich bin auch eher skeptisch, dass das performancemäßig relevant ist. Ist nur ein Punkt, der mir bei Dir aufgefallen ist.

 

[Hafer]

Ich fand die Umfänge, die du hier:

Ich z.B. sichere etwa 75.000 Files, die ca. 1,3TB belegen. Das geht auf der 214+ bei keinen Änderungen in ungefähr zwei Minuten über die Bühne - per USB3 auf eine 2TB 2.5" WD (NTFS).

angegeben hast, durchaus vergleichbar, mit den Umfängen, die ich hier:

DS415+ mit externer USB3 4TB Platte, 94.000 Files, 700GB Daten, keine Änderungen: 25min

angegeben habe -- der Zeitaufwand ist hingegen um eine Größenordnung schlechter.

Ich habe hier übrigens einmal einen Verlauf meiner Transfergeschwindigkeiten gepostet, wobei der Sicherungsjob über 100GB gesichert hat und etwa 35 1/2 min. gelaufen ist. Vielleicht kannst Du den einmal bei Dir im Ressourcen-Monitor nachvollziehen. Möglicherweise bekommst Du generell über die USB3-Schnittstelle nicht so richtig Speed drauf.

Bei frischen Backups komme ich in ähnliche Regionen (s. linker Bereich des Bildes)

Zweiter Punkt: Könntest Du Deine externe Platte vielleicht nochmal in ext4 formatieren? Ich weiß, dann musst Du nochmal alles initial sichern. Und ich bin auch eher skeptisch, dass das performancemäßig relevant ist. Ist nur ein Punkt, der mir bei Dir aufgefallen ist.

Bevor ich das tue, eine Frage: Time Backup bietet die Option "Cache Volume" an. Ich habe das nicht aktiviert, weil ich die Erklärung vermutlich nicht verstehe ("Sie können ein Cache Volume angeben, um die Leistung von Time Backup zu steigern. Nach der Angabe eines Volume als Cache Volume können gemeinsame Ordner auf diesem Volume nicht als Quelle für Time Backup Aufgaben verwendet werden."). Konsequenterweise bietet Time Backup nur EXTERN als Cache Volume an. Und einen Cache auf ein externes Gerät zu packen, ist vermutlich eher nicht die beste Idee, oder? Hast du das überhaupt aktiviert und wenn ja, auf der externen?

Gruß Hafer

 

[dil88]

Augenblick: Ich spreche immer von der normalen Datensicherung auf externe Platte ohne Versionierung. Du sprichst aber von Time Backup? Wenn ja, dann erklärt das die Diskrepanz, denn Time Backup läuft bei mir auch deutlich langsamer. Die Transferraten sind dann bei mir sogar schlechter als bei Dir - pendeln so um die 40 MB/s.

Cache Volume habe ich bei Time Backup nicht aktiviert.

 

[Hafer]

oops

 

[Hafer]

So, habe deiner Bitte entsprochen (auch wenn du von DS+Rep ausgingst, ich hingegen von TimeBackup), die ext Platte mit ext4 zu formatieren und das Szenario noch einmal durchzuspielen.
Ergebnis: Aus 25min für den zweiten Durchlauf mit ext3 wurden 8min mit ext4 mit ansonsten identischen Testbedingungen. Das wundert mich zwar selbst ein wenig, aber stören tut's ja auch nicht

Gruß Hafer

 

[dil88]

Sauber. Habe ich zwar so nicht erwartet, aber das ist ja sehr erfreulich und passt auch besser zu dem Performance-Eindruck, den ich von meiner ext4-Platte habe.