Time Machine Backup extrem langsam

[nicolas-eric]

Hallo,

ich habe seit gestern eine neue DS918+ (4x 6TB WD Red / Raid5, 2x512GB SSD read/write Cache).
Normaler Dateitransfer mit dem iMacPro über SMB funktioniert problemlos mit 70-80 MB/s in beide Richtungen.

Mein Sorgenkind ist das Time Machine Backup.
Das läuft auch über SMB und kommt nur auf 5-15MB/s, es schwankt auch stark (mit AFP waren es deutlich unter 5MB/s).
SMB Signing ist deaktiviert am Mac.

Da ich das NAS hauptsächlich für solche Aufgaben gekauft habe, ist das schon sehr ärgerlich.
Es läuft nun schon seit fast 1 Tag und ich noch nicht einmal halb fertig (insgesamt 1.2TB)
Auf einen Mac mini übers Netzwerk lief das zuvor mit ca. 100MB/s.

Habt Ihr einen Tip für mich, was ich ausprobieren könnte, damit auch das TM Backup mit den 70-80MB/s läuft?

Danke für Eure Hilfe!
Gruß und schönes WE
Nico

EDIT:
Anbei ein Screenshot der Auslastung, daran kann es ja nun nicht liegen.

 

[nicolas-eric]

Nachtrag:
Habe grad am Mac zusätzlich noch lowpri_throttle ausgeschaltet, nun läuft es schonmal deutlich flotter, siehe Bild.
Aber das Optimum ist es noch nicht.
Wie bekomme ich die Übertragung vom TM Backup noch schneller?

 

[Der Paul]

Da Du ja im SMB Betrieb auch nur auf 70-80MB/s kommst, ist vermutlich irgend etwas an Deinem Netz nicht rund, - Du solltest im Regelfall deutlich über 90MB/s kommen. Ursachen können daher auch Probleme mit den Kabeln/Steckern oder auch ein nicht optimale konfigurierter Switch sein.

 

[nicolas-eric]

Die Werte hatte ich auch schnell mal mit "Blackmagic Disk Speed Test" gemessen, da komme ich auf die 70-80MB/s.
Das NAS hängt direkt mit 1GBit/s an der FB7490. Der iMac hängt im 5GHz WLAN (die FB zeigt 1300/877MBit/s an).
Die Übertragung zu einem Mac Mini (über SMB), der auch per Kabel an der FB hängt, klappt mit ca. 100 MB/s.

Für optimalste Übergang komme ich an einem LAN Kabel nicht vorbei, das ein ich schon. Aber das quer durchs Wohnzimmer zu legen, kann ich meinem Frauchen nicht verkaufen, dann tötet sie mich, sie ist ja jetzt schon leicht ungehalten wegen der Geräusche des NAS.

Aber wenn das NAS die ca.100MB/s erreichen würde, die mit dem Mac Mini auch gehen. wäre das schon ok.
Selbst die 70-80MB/s wären ok, wenn denn auch das Time Machine Backup so schnell laufen würde.

 

[Synchrotron]

Beim WLAN dürftest du die 877 (das ist der theoretische Maximalwert) haben - die 1.300 ist Multichannel-WLAN, das heißt der gemeinsame Wert mehrere WLAN-Clients.

Geteilt durch 8 (von bit auf Byte), geteilt durch 2 (für hin und her), minus etwas Overhead für das Protokoll und den real geringeren Durchsatz, dann bist du mit 30 MByte/s durchaus im Rahmen.

Viel schneller wird es nach meiner Einschätzung nur mit einer LAN-Anbindung des iMac.

Ist aber andererseits egal: Bis wir hier mit dem Diskutieren fertig sind, ist auch dein erstes TM-Backup fertig. Ab da wird nur noch inkrementell gesichert, das ist dann wesentlich schneller erledigt, weil nur noch Änderungen übertragen werden.

 

[nicolas-eric]

Da hast Du natürlich recht. Jetzt mit inzwischen 30-40MB/s ist das Backup in ca. 3 Stunden fertig. Danach geht es ja ganz fix.
Nur vorher mit unter 5MB/s war es halt unzumutbar,

Mich wundert nur, dass die direkte Übertragung von Daten über den Finder mit 70-80MB/s läuft, selbst wenn es Ordner mit +10000 winzigen Dateien sind (zum Test mal eine kleine Textdatei mit massig CMD-A/CMD-D vertausendfacht und dann den Ordner rübergeschoben). Aber viele Internetseiten sagen, dass Time Machen Backups über das Netzwerk ohnehin nie annähernd mit dem höchst möglichen Tempo laufen. Also muss ich wohl damit leben.

Testweise werde ich morgen mal eine Lan Kabel quer durchs Zimmer legen. Wenn das wirklich deutlich schneller wird, dann muss ich mir Gedanken machen, wie ich das vernünftig verlegen kann.Vielleicht geht ja so ein Flaches Lan Kabel, das könnte eventuell hinter die Fußleisten passen.

Wo ich das grad in Deiner Signatur lese:
Wie zufrieden bist Du mit der APC BX950-GR?
Suche noch eine USV fürs NAS, 3 Raspis und die Fritzbox, zumindest das NAS soll nach Stromausfall auch runter- und danach wieder hochfahren.

Dann hätte ich ich eine Frage, kann dazu aber auch gerne noch woanders ein Thema aufmachen:
Ich möchte einen Ordner vom MAC jede Nacht 1x sichern. Dabei soll der gesamte Inhalt jedes mal komplett gesichert werden in einen mit dem aktuellen Datum versehenen Ordner.
Am Ende soll es dann für jeden Tag einmal den ganzen Ordner geben.
Weißt Du oder auch jemand anders, wie das gehen könnte?

 

[Synchrotron]

TM ist halt auf unauffällig im Hintergrund laufen ausgelegt. Kann schon sein, dass die eingebremst läuft. Meine erste Sicherung lief auch einige Tage, seitdem meistens nur wenige Minuten.

Flache LAN-Kabel sind besser zu verlegen, aber Vorsicht mit der CAT-Einstufung. Die haben oft ein Abschirmungsproblem. Ich habe auch einige zig Meter nachträglich verlegt, Altbau, Mietwohnung. Ich habe am Ende ordentliche Cat6-Rundkabel genommen und bereue es nicht. Bei einigen Endgeräten ist es egal, aber die Rennstrecken sollten performant verkabelt werden.

Mit der USV bin ich zufrieden, allerdings hatten wir noch keinen Stromausfall, seit ich sie habe. Akku bisher im Belastungstest auch noch I.O., ich schätze, dass ich in 3 Jahren tauschen muss. In den sicheren Betrieb fahren hat im Test auch geklappt - wobei ich den Abschaltpunkt ziemlich hoch gesetzt habe, damit bei weiteren Schwankungen nach einer Wiederaufnahme der Versorgung immer noch genügend Restladung vorhanden ist. Daher auch die eher zu hohe Dimensionierung der USV.

Allerdings kann die USB-Verbindung nur 1 Gerät in den sicheren Zustand steuern. Das heißt allen anderen wird dann im Shut-Down der Strom trotzdem „hart“ abgestellt, was die Raspis eventuell nicht mögen. Oder man muss von dem einen per USB angebundenen Rechner die anderen per LAN-Befehl runter fahren, bevor die USV dicht macht.

Mit dem Ordner sichern könntest du dir etwas mit Automator selbst basteln. Oder du nimmst z.B. Acronis True Image für Mac, und legst einen geplanten Backup-Job an, der genau den einen Ordner täglich 1x als Full-Backup sichert. Andere Backupprogramme dürften das auch können.

 

[nicolas-eric]

Da hast Du recht, TM läuft offensichtlich übers Netzwerk nur im 1. Gang. Ds könnte deutlich mehr, macht es aber nicht.
Naja es ist ja in 1 Stunde schon durch, hat sich jetzt bei 50MB/s eingependelt.

Ich habe bei Amazon ein 20m Flach Lan Kabel Cat7 gefunden, geht das?

Die USV ist auch schon im Warenkorb.
Die Haussteuerungs Raspis fahre ich dann per NUT Server runter, das NAS kann das ja offensichtlich, zumindest habe ich das ein paarmal gelesen.

Per USB Copy für einen USB Stick habe ich mir genau sowas schon eingerichtet.
Jedes mal, ein ich den Stick anstecke, wird ein bestimmter Ordner vom NAS in einen mit Datum/Uhrzeit benannten neuen Ordner auf dem Stick kopiert.
Jetzt bräuchte ich ähnliches nur noch für den Ordner auf dem Mac.
Ich suche dann mal weiter.

Als nächstes werde ich mir aber erstmal eine Maria DB und ein paar Sachen im Docker installieren.
Die Kameras kommen später, diese Zusatzlizenzen kommen tatsächlich per Post und nicht nur ein Code per Mail.


EDIT:
Kurze Frage zu dem Zyxel Switch in Deiner Signatur.
Mit dem kann man ja offensichtlich beide Ports des NAS betreiben.
Ist das kompliziert einzurichten und gibt es dafür ne Anleitung?
Wenn der MAC per LAN angebunden wird, brauch ich ohnehin einen Switch.

 

[QuickMik]

Da hast Du recht, TM läuft offensichtlich übers Netzwerk nur im 1. Gang. Ds könnte deutlich mehr, macht es aber nicht.
Naja es ist ja in 1 Stunde schon durch, hat sich jetzt bei 50MB/s eingependelt.

ganz verstehe ich dich nicht. TM ist ein geniales feature. könnten sich andere betriebssysteme wünschen.
und was heißt erster gang? du hängst über WLAN dran!
also ich würde mich da nicht aufregen sondern jubilieren, das alles funktioniert.
TM ist ohnehin nicht die schnellste software. es gibt keinen erheblichen unterschied, ob man auf eine festplatte oder SSD backupt.
leider. damit muß man offensichtlich leben.
schlimmer ist es noch, über den migrationsassistenten ein backup wieder zurückzuholen.
da schreibt er meistens was von 28-35MB/s hin. dazwischen kurz auf 80-90.
aber leider nur ganz kurz. auch egal, ob von platte oder SSD.
ich würde also froh sein, das es überhaupt funktioniert. schnell ist bei einem inkrementellen backup ehr zweitrangig.

 

[nicolas-eric]

Ich bin ja auch froh, dass es Time Machine gibt. Shows würde ich mir im Büro auch für die WIN Rechner wünschen.

Es könnte aber durchaus schneller sein, wie gesagt läuft das selbe TM Backup im selben Netzwerk vom selben iMac auf einem Mac Mini über WLAN mit ca. 100 MB/s, was 3x so schnell ist wie aufs NAS. Nur dieser Punkt ist leicht enttäuschend für mich.

Das TM Backup geht auf SSD aber um einig schneller, als auf HDD.
Damals auf eine externe 2.5" USB3 HDD von WD lieg das mit im Schnitt nur 50-60MB/s.
Jetzt mit der externen TB3 NVME SSD läuft das mit im Schnitt 400-500MB/s, damit war das was mit dem NAS über 1 Tag dauerte (die Hälfte davon lief ja noch langsamer als jetzt) in ca. 1 Stunde durch. Wenn ich damit manuell ein TM Backup anwerfe, sehe ich immer nur ganz kurz, dass 1GB gesichert werden muss, das ist dann aber auch schon fertig.

Die komplette Wiederherstellung ist aber auch mit SSD ewig langsam. Ich habe aber eh zusätzlich ein bootfähiges mit CCC erstelltes 1:1 Backup auf NVME SSD, damit geht das dann wiederum ratzfatz. TM nutzen ich nur, falls mal was zerschossen ist oder ich aus Versehen was geändert oder gelöscht habe.

EDIT:
Die normale Dateiübertragung im Finder (2GB Datei zu Testen genommen und ein paar mal hin und her geschoben) läuft wie auf dem Bild.
Macht es Sinn, von WLAN auf LAN umzusteigen?

 

[Synchrotron]

CAT 6 und höher ist für normale Anwendungen zu Hause geeignet. Es gibt da noch subtile Unterschiede, aber die Distanzen und die nötigen Geschwindigkeiten passen. CAT 7 ist top.

Die Zyxels können Link Aggregation. Das habe ich aber nicht eingerichtet - wozu auch ? Die Rechner gehen mit Gigabit-LAN raus, da benötige ich als Heimanwender keine 2 Gigabit am NAS. Was gut ist an den Switches, sind die erweiterten Einstellmöglichkeiten, um den Netzwerktraffic ruhig zu halten. Ich hatte mal „Stürme“, die sich in Aussetzern im SONOS Netz bemerkbar gemacht haben. Seit ich die Switches habe, läuft alles stabil. Um vorzusorgen habe ich gleich die Variante mit POE genommen - dann braucht eine Kamera oder anderes kleines Endgerät nur noch das LAN-Kabel. Das geht auch bei den Raspis, die bekommen mit einem POE-Hat ihren Strom auch über LAN.

 

[nicolas-eric]

Mein Mac kann auch Link Aggregation, ich habe am TB3 Dock noch einen LAN Port frei, dann könnte ich beide bündeln. Laut Apple hat der dann auch 2GBit/s wenn man das so einrichtet.
Auch habe ich 6 IP Cams, die dauernd zum NAS übertragen, das schluckt ja auch Bandbreite.
Also sollte Link Aggregation schon Sinn machen, oder?

Ich werde dann wohl den normalen GS1900-8 Switch nehmen ohne PoE. Die Kameras sind zu weit weg für LAN Kabel und bei den Raspis kann ich das PoE-Hat nicht nutzen, auf dem Steckplatz sitzt jeweils schon das Funkmodul.

LAN ist übrigens schonmal deutlich schneller als WLAN. Hatte mir grad ein 10m Kabel geliehen und das quer durchs Zimmer gelegt. Das 1. auf dem Bild ist WLAN, das 2. LAN. Mit Link Aggregation soll laut Erfahrungsberichten um 160MB/s gehen, mal abwarten.

 

[Synchrotron]

Klingt gut.

Mein TB3-Dock hat 1x Gigabit, reicht bei meiner Nutzung auch aus. Außerdem müsste ich für LAG die Kabelstrecken durch die Wohnung verdoppeln - das macht irgendwo dann keinen Sinn mehr. Wie gesagt: Mietwohnung, Altbau ... als Ersatz für die fehlenden Leerrohre 3,2m Deckenhöhe ;-)

 

[nicolas-eric]

Der Switch und das NAS kommen zum Mac an den Schreibtisch. Dadurch brauche ich nur ein Kabel von der Fritzbox zu legen.
Dann ist der Mac schnellst möglich angebunden und alles andere muss sich eben 1GBit/s teilen.
Hatte gar nicht mehr auf der Reihe, dass das Lenovo TB3 Doch auch eine LAN Port hat.
Als ich den gesehen hatte beim Anschliessen des Lan Kabels an den iMac, da musste ich gleich googeln, ob der Mac nicht auch Link Aggregation kann.

 

[nicolas-eric]

Übrigens:
Das TM Backup wird definitiv vom WLAN extremst ausgebremst, da wird ja auch dutzendfach hin und her verglichen. Per LAN sieht es so aus (waren 8GB mit sehr vielen kleinen Dateien).

 

[Synchrotron]

Wieviel RAM hat deine DS ?

 

[nicolas-eric]

Wieviel RAM hat deine DS ?

12GB sind es, wovon noch nie mehr als 10% genutzt wurden, eher nur 3-4%.
iobroker etc im Docker installiere ich erst morgen, dann wird das mehr werden.

 

[Synchrotron]

Mir fiel mir die Sägezahnkurve auf - seit ich mit 10GB RAM fahre, sieht meine etwas glatter aus.

Es ist nicht so, dass Linux damit nichts anzufangen wüsste: In deiner RAM-Verwendung müsste eine Position „Zwischenspeicher“ vorhanden sein, die den weitaus größten Teil einnimmt. Ich glaube nicht, dass der SSD-Cache das außer Kraft setzt. Den nutzt Linux als I/O-Speicher. Also hilft RAM schon, und zwar genau der Teil, den man nichts braucht.

 

[nicolas-eric]

Dei Kurve ist normal mit TimeMachine. Erst wird was übergeschoben und dann kontrolliert, dann wieder rübergeschoben, etc.
Bei normalen Dateitransfers ist das anders, aber auch erst bei riesigen Mengen, weil nur wenige sind ja binnen Sekunden drüben.
Der Zwischenspeicher ist bei mir 10,6GB groß, wenn das viel zu wenig wird mit den Docker Sachen, schmeisse ich die 4GB Serien RAM auch noch raus und packe 8GB rein, dann sind es 16GB.
Aber 12GB sollten ja eigentlich locker reichen.

Da ich Dich grad mal wieder hier habe, kurze Frage:
Deine APC USV, ist die mit Lüfter, der auch im normalen Betrieb läuft?
Wenn die im Netzbetrieb still ist, wäre mir eine APC lieber, weil deutlich billiger, ansonsten würde ich eine Eaton Pro kaufen, weil noch so ein Jaulding, dann bekomme ich auf den Deckel hier, das NAS nervt Frauchen schon mehr als erwartet
.

 

[Synchrotron]

Also ich höre - nichts. Wenn sie einen Lüfter hat, läuft er nicht. Oder er läuft, ist aber deutlich leiser als die Geräte, die an ihm dran hängen.

Wenn Geräusch relevant ist: einhausen. Also ab in ein Schränkchen, ggf. etwas Geräuschdämmung rein, und die Syno auf Silikonfüße stellen. Kannst du im Forum suchen, mit Bezugsquellen. Da haben sich einige Mit-Foristen wirklich Arbeit gemacht.

Docker oder VMs sind beim RAM-Spiel die großen Unbekannten. Speziell VMs fressen jede Menge davon, wenn sie überhaupt vernünftig laufen sollen. Ich nutze meinen extra-RAM nicht, er spielt Zwischenspeicher, glättet mir mein Netzwerk, und gut ist.

Das Hin- und Her ist typisch TM, da bin ich bei dir - sieht man ja auch an dem Klein-Klein in ihrer Dateistruktur. Ist mir egal - sie funktioniert, läuft im Hintergrund, und ich muss mich selten kümmern.