Data Replicator 3: Datenabgleich zwischendurch dauert ewig

[nosy]

Könnte mir freundlicherweise jemand zu folgender Frage seine Einsichten & Erfahrungen mitteilen:

Für die permanente Synchronisierung zw. notebook und DS habe ich ein Datenvolumen von ca. 50GB ausgewählt.

Wenn ich nun zwischendurch aus Sicherheitsgründen mal wieder einen kompletten Datenabgleich machen lasse, dann dauert dieser Abgleich (über LAN) ca. 50 Minuten, selbst wenn z.B. nur 300KB(!) Daten geändert werden müssen.
Die Archiv-flags zu checken und die paar MB zu schreiben, kann doch so lange nicht dauern. (Mal mal ganz abgesehen von der Frage, warum überhaupt etwas upgedatet werden muß, wenn doch permanent synchronisiert wurde …)!?

1. Warum dauert wohl diese einfache Geschichte so lange? An der Netzwerkperformance kann es im Wesentlichen nicht liegen, das sehe ich an anderen Zugriffen.
2. Warum laufen in der Anzeige alle tausend Dateinamen durch und warum rattern (schreiben?) die Festplatten während der gesamten(!) Zeit, obwohl doch nur 1 oder 2 files echt geschrieben werden müssen?

Ich hätte mir vorgestellt, das nach ein paar Minuten die Archiv-flags gecheckt sind und dann einfach gezielt die paar notwendigen KB geschrieben werden, fertig.

Vielen Dank für Euer feedback zu dem was da abgeht!

 

[Ap0phis]

Also ich wäre ehrlich gesagt ziemlich enttäuscht, wenn hier beim Prüfen der Daten'konsistenz' nur ein Flag geprüft würde. Ich denke, da findet mindestens eine CRC-Prüfung statt. Und die dauert natürlich. Gut so!

 

[nosy]

Also ich wäre ehrlich gesagt ziemlich enttäuscht, wenn hier beim Prüfen der Daten'konsistenz' nur ein Flag geprüft würde. Ich denke, da findet mindestens eine CRC-Prüfung statt. Und die dauert natürlich. Gut so!

Eingesehen und einverstanden.
Meine Praxiserfahrung zeigt, dass diese gründliche Prüfung für das notwendige inkremental upate i.d.R. nach max. 10 abgeschlossen ist. Und selbst wenn demnach nur wenige MB neu zu sichern sind, tritt der in meiner Frage #2 beschriebene Effekt auf und dauert weitere 50 Minuten, trotz minimalem neuem Sicherungsvolumens.

 

[itari]

... und was würde deiner Meinung nach in den hier zur Diskussion stehenden 40 Minuten passieren? Wird diese Rechenzeit an das Seti-Institut gegeben zur Erforschung außerirdischer Intelligenzen?

Itari

 

[Ap0phis]

Ich hab´s gerade mal getestet:

Ein Sync mit Datenkonsistenzprüfung von 22,3 GB mit 54.122(!) Dateien dauert bei mir 15 min.
Ich finde das nicht unbedingt langsam, und die Leistung des PC wird nicht wirklich beeinträchtigt. Man merkt´s also kaum.

Wobei jetzt die Frage noch offen ist:
Wie schnell ist deine Datenübertragung zu deiner DS denn so im Allgemeinen?

 

[nosy]

Ich hab´s gerade mal getestet:

Ein Sync mit Datenkonsistenzprüfung von 22,3 GB mit 54.122(!) Dateien dauert bei mir 15 min.
Ich finde das nicht unbedingt langsam, und die Leistung des PC wird nicht wirklich beeinträchtigt. Man merkt´s also kaum.

Wobei jetzt die Frage noch offen ist:
Wie schnell ist deine Datenübertragung zu deiner DS denn so im Allgemeinen?

Vielen Dank für Deine Mühe und Dein feedback!
Ich hab's gerade selber auch nochmal getestet. Der Brutto-Gesamtbestand, der zu sichern ist, ist ca. 70GB mit ca. 20.000 Dateien groß.

Nach dem aktuellen check wurden 470MB Daten als neu zu schreiben identifiziert.
Das Protokoll zum backup-Lauf von soeben sieht so aus (von unten nach oben lesen):

08/01/2011 11:22:52 Herstellungspunkt entfernt 2011/07/14 09:39:49.
08/01/2011 10:42:55 Datensicherung abgeschlossen.
08/01/2011 09:45:46 Datensicherung begonnen

Wenn ich die paar MB per Hand rüberschiebe, dann ist das ruckizucki erledigt. Auch die real-time Datensicherung funktioniert tadellos. Ich sehe da wirklich kein Problem bzgl. Datenverbindungsqualität.

Ich finde aber den Prozess als solchen etwas merkwürdig:
Im Statusfenster des backups wird angezeigt, wieviele von den 470 MB noch zu schreiben sind. Selbst wenn der Zähler bei 0 angekommen ist, nudelt das System weiter und alle jemals gespeicherten Dateiinamen laufen durch.
Auch dann, wenn als Restlaufzeit nur noch "0 Minuten 0 Sekunden" angegeben werden, läuft der Prozess noch fast eine Viertelstunde...

Im Protokoll heißt es "Herstellungspunkt entfernt ...". Ich verstehe das so, dass auch die unveränderten Dateien verschoben (oder gelöscht?) werden - warum eigentlich?.
Wenn die natürlich 1:1 neu geschrieben werden, dann ist das schon merkwürdig. Dateien werden üblicherweise nicht dadurch verschoben indem sie das Betriebssystem komplett neu abschreibt, sondern indem die Indexverweise neu gesetzt werden. Und außerdem werden die Dateien doch nur lokal auf dem DS bewegt und nicht erst über die Lan-Verbindung geschickt ...?

 

[Ap0phis]

Nur, um Mißverständnisse zu vermeiden:

• Vorhandene gesicherte Dateien werden nicht neu geschrieben. Der DR arbeitet mit Hardlinks, die allerdings auch angelegt werden wollen.
• Die CRC-Prüfung an sich dauert mindestens so lange, wie ein Download aller gesicherten Dateien dauern würde, weil ja eine Prüfsumme von beiden Dateiversionen verglichen werden muß.
• Mit ist auch aufgefallen, dass der DR während der Prüfung einen temporären Ordner auf der DS anlegt.
  Vielleicht wäre er schneller, wenn er das auf dem PC temporär machen würde? Wobei ich aber nicht nachgesehen habe, was er da speichert. Evtl. liegt darin noch Verbesserungspotential?

 

[nosy]

...da steckt sicher Verbesserungspotential drin ....

Nach ca. 15min. zeigt das Statusfenster an, wieviele MB zu sichern sind. Und dieser Wert ändert sich dann bis zum Schluß nicht mehr - war jedesmal so!
Also ist zu diesem frühen Zeitpunkt die CRC-Prüfung offensichtlich komplett durch.
Alles was dann noch außer der eigentlichen Neusicherung folgt, sollte deutlich schneller erledigt werden können.

Naja, es ist halt so wie es ist, schau'mer mal, was evtl. künftige software Versionen bringen.