+-Serie Wie Shared Folder zwischen DSen transferieren? Dateien gehen verloren?

[randfee]

Hi,

ich hätte nicht gedacht, dass ich das Frage, aber wie transferiere ich am besten den Inhalt von shared foldern inklusive Home Verzeichnissen zwischen einer alten und einer neuen DS?
Ich dachte, ganz einfach, ich setze alles neu auf und kopiere mittels Remote Share/Mount auf der neuen DS den Ordner Inhalt in den neuen Shared Folder. Lief die letzten beiden Tage 20 Stunden für einen Ordner... ABER: Anzahl der Dateien ist deutlich abweichend (niedriger auf der neuen) Und jetzt? Trash gibt's nicht. . Zwischendurch gabs das Phänomen, dass der Transfer mal gestoppt schien und ich ihn neu angestoßen habe, also nochmal alles kopieren statt overwrite halt "skip". Das müsste ja doch aber funktionieren.
Ich habe jedenfalls gesehen, dass wenn das DSM Interface in den Time-Out läuft und sich ausloggt, dass man bei erneutem Login keinen Kopiervorgang mehr sieht.... aber die DSen hatten weiterhin Bandbreite untereinander also dachte ich: ok, die kopieren weiter.

Ich probiere grade "Shared Folder Sync".

Hatte vorher in /Backups halt schon was liegen was mit einfachem Kopieren versucht war, was ich in einen Dummy-Unterordner "/Backups/Versuch1unvollständig" geschoben hab. Beim Start des Shared-Folder-Sync wurde dieser Unterordner dann gelöscht... aber die 4TB die der groß war sind weiterhin verbraucht auf der DS. Wurde der nun gelöscht, weil es ihn im Ausgangsordner so nicht gab - bzw. wo ist der Platz hin?!

aha, grade erst gesehen, der hat einfach den alten shared folder namens "Backups" in "Backups_1" umbenannt.
Bei dem Homes-Verzeichniss sagt der Shared-Folder-Sync auch, dass der Home Service auf der Ziel DS dann ausgeschaltet wird.... wahrscheinlich nur für die Dauer des Transfers? ... und danach den Folder-Synch aufheben und den Home-Verzeichnisdienst auf der Ziel-DS wieder einschalten? Ich hoffe die Daten gehen dann nicht wieder flöten?

Finde ich alles in Allem sehr ernüchternd. Warum funktioniert kopieren nicht einfach? Und ja, ich weiß ich könnte einen RSync manuell starten... das kann doch aber wohl nicht wahr sein, dann baue ich mir wirklich besser selber einfache Linux Kisten als NAS zum Drittel vom Preis.
Statt 10 Kopier/Sync/Backup Methoden anzubieten wäre eine die wirklich funktioniert eher wünschenswert - ich weiß jedenfalls nach längerer Recherche immer noch nicht was hier die sinnvollste, gängige/verlässliche Methode ist.

Dankbar für jeden Tip.

Grüße
Randfee

 

[Manticoreer]

Jetzt muss ich schmunzeln! Ich verstehe nämlich was du meinst!

Verwende die Filestation ! Dort auf Extras "Remote Verbindung"

 

[randfee]

eh... genau das hab ich doch als erstes gemacht:

1. auf neuem NAS Folder des alten NAS mit "Mount Remote Folder CIFS" verbunden
2. alles aus dem alten kopiert
3. im neuen Ordner eingefügt
4. Remote liegen 29000 mehr Dateien als kopiert wurden.... was soll das?

jetzt versuche ich es mit "Shared Folder Sync" von dem alten NAS aus aufs neue.
Gibt es irgendein DSM-integriertes Vergleichstool um zu sehen wo welche Dateien fehlen?
Egal was es ist, das darf ja nicht sein und ich finds extrem verwirrend. Wie gesagt, kein Recycling bin ist irgendwie beteiligt. Frage mich, ob es irgendwelche .* Dateien sind oder sowas. Egal, es darf eigentlich nicht sein, wenn ich sag kopier den ganzen Ordner.

 

[Tommes]

Gibt es irgendein DSM-integriertes Vergleichstool um zu sehen wo welche Dateien fehlen?

Mir fällt da nur WinMerge für Windows ein. Damit lassen sich Ordner sowie Dateien miteinander vergleichen.

 

[randfee]

Mir fällt da nur WinMerge für Windows ein. Damit lassen sich Ordner sowie Dateien miteinander vergleichen.

hast du auch eine Idee warum/wie das überhaupt passieren kann?

 

[Tommes]

Ich tippe auf temporäre Dateien die vielleicht von Windows angelegt wurden und nicht mit kopiert werden. Oder @eaDir, #snapshot, #recycle oder .DS_Store/ Dateien. Auf jeden Fall sollte es sich dabei um unwichtige Daten handeln. Da man das aber nie so genau weiß, würde ich vorsichtshalber auch einen Vergleich starten.

Interessant für dich wären auch die Hinweise unten auf der Seite von hier... https://www.synology.com/de-de/know...enter/application_backupserv_sharedfoldersync

Tommes

 

[randfee]

WinMerge ist keine Option zum vergleichen - würde extrapoliert gut 6 Tage brauchen nur für diesen einen Ordner :-(

 

[randfee]

ok, ich hab jetzt mit Winmerge mal nur Größen verglichen, weil ich keine Option gefunden hab nur die Existenz von Dateien in Unterverzeichnissen zu prüfen. Das ging zeitlich.

Das Ergebnis ist desolat. Diverse teils sehr wichtige Dateien wurden einfach nicht kopiert:

• OSX Applicationen wurden nicht kopiert (*.app - das sind für gewöhnlich einfach Ordner, soweit ich das weiß)
• iPhoto Libraries (*.migratedphotolibrary)
• Lighroom Preview Kataloge (*.lrdata)

für jede Erklärung bzw. Verbesserungsvorschlag dankbar. Mir scheint, als komme das Problem von unbekannten Dateierweiterungen bzw. Ordnernamen mit Punkten drin ('*.XYXX'). Manche Backups laufen aber nun mal am einfachsten so. Einfach alle Dateien in einen entsprechender Ordner kopieren. Hat ja scheinbar auch geklappt von Client-Rechnern auf auf die DS sonst wären diese Dateien ja gar nicht da.
Dachte bei einem Linux (DSM) gäbs diese windows typischen Probleme nicht. Einfach solche Dateien auszulassen ist aber nicht sehr vertrauenserweckend. Hat das evtl. damit zu tun, dass ich die Remote Ordner per CIFS in der FileStation gemountet hab?

Ich frage mich grade was damit dann bei diversen Backup-Pfaden passiert.

 

[mr coffee]

Ich kopiere die Dateien von einem weiteren PC über die Netzwerkfreigaben von einer zur anderen DS.
Für Vergleiche empfehle ich beyondcompare.
Wollte vor kurzem 8 TB auch mittels der Remote Verbindung in der Filestation kopieren, das hat auch nicht funktioniert - abgebrochen nach der Hälfte weil angeblich die andere DS nicht mehr erreichbar war ... übern PC hats dann funktioniert.

 

[randfee]

das ist doch Bruch - sind diese Kisten nichtmal in der Lage nen Kopiervorgang sauber abzubilden? ... da muss doch irgendein Benutzerfehler von mir/uns vorliegen?!
Ich hab keine Lust und eigentlich auch keinen Rechner dafür, in solchen Fällen tagelang einen Rechner nur dafür laufen zu lassen.
Aber ja, ist mir wohl nie aufgefallen, weil ich das immer über Client Rechner kopiert hab wie du jetzt auch sagst.

 

[Manticoreer]

Genau dafür wäre vielleicht der VMM / vBox geeignet! und ja ich sowas auch schon, Schlussendlich bin ich hingegangen nach dem ersten Kopierversuch den 2. kopierversuch gemacht mit vorhandenen Dateien überspringen. Das ist mühsam, aber bei mir ging es! Auch als ich meine Daten von der 216+ auf das neu erstellte btrfs der 1515+ kopierte! Also etwa Datenmenge von 2,5 TB. Ist mir auch nicht grad so leicht gefallen das bestandene Raid 0 wieder in ein SHR zu verwandeln in der 216+

EDIT: ich hatte nach dem Intel Bug angefangen das Backup NAS (216+) auf ein Raid 0 umzustellen um für den Notfall alle Daten meiner 1515+ aufzunehmen. Es reichte noch, aber sehr wohl gefühlt hab ich mich nicht dabei! Aber rein von der Kopiererei, funktionierte das so wie beschrieben! Am Ende hab ich die Datenmenge und Dateimenge verglichen und passte. Da es sich um die Videostation- Daten handelte wusste ich das auch Metadaten Dateien dabei sind die jedoch sehr klein sind. Genau da war nicht alles Hasenrein wie man so schön sagt, aber das war es auch. Bei anderen Daten hab ich genauer hingesehn und auch mehrere Kopiervorgänge gemacht, bis ich mir sicher war das es passte! (3 - 4 Versuche)

 

[dil88]

Ich würde sowas mit rsync auf einer Shell machen.

 

[Caup]

Ich kopiere seit vielen Jahren Daten zwischen mehreren DS per Windows Robocopy, und hatte noch nie Probleme.
DS1010+, DS1813+ und DS2015xs, alle voll bestückt, die 10GBit DS as zentrales NAS, die beiden anderen als Backup.
Backup läuft nachts und dauert typisch 4-5 Stunden, aufgrund hoher Änderungsraten (VM Images).
Diese Betriebsart läuft hier seit 7 Jahren, zwischen unterschiedlichen DSn und anderen SAN.
Bisher warte ich noch (gottseidank) auf den 1. Fehler...

 

[randfee]

und nochmal.

Wieder will Dateien (Homes-Verzeichnisse und andere Shared Folder) zwischen zwei Disk-Stations kopieren/migrieren. Es klappt nichts davon richtig simpel

1. FileStation kopieren (skip oder overwrite) funktionieren beide nicht, es gehen diverse Dateien "verloren". Ist mir immer noch schleierhaft wie das so schlecht implementiert sein kann
2. Ultimate-Backup. Umständlicher, aber wenn es funktionieren würde, gerne. Geht aber (noch) nicht, siehe hier - sieht so aus, als würden die Source-Verzeichnisse aufgrund eines GUI-Problems nicht angezeigt... nicht sicher.
3. HyperBackup erzeugt ja keine Kopien sondern einen Backup Container, ... das will ich aber nicht.
4. Shared-Folder Sync (per rsync) ist ja ganz nett, aber doch recht unflexibel, da als Ziel nur ein 1:1 shared folder erzeugt werden kann. Beim Transfer der Homes wird auf dem Ziel gar der ganze Home-Service abgeschaltet. Es ist aber die einzige Methode die bisher funktioniert, wobei ich nach einem solchen sync/Transfer nicht wirklich sicher bin wie ich zum normalen Arbeiten übergehen kann, da ständig, wenn man was ändert auf dem Zielsystem man den Hinweis bekommt, dass dies evtl. zu sync-Problemen führen kann, obwohl man den Task auf der Ursprungs-DS längst gelöscht hat. Daher finde ich die Methode auch nicht wirklich gut hier.
5. Beide DS bzw. die Shared Folder per SMB oder AFP auf einem entsprechenden Rechner mounten und den Rechner die Daten von dem einen Ordner in den anderen kopieren lassen funktioniert.... aber was für ein Umstand einen Rechner für sowas 24h laufen lassen zu müssen. Ich will Direkt-Transfer zwischen den DS.
6. natürlich geht rsync aus der shell. Probiert, läuft problemlos durch (wieso auch nicht). Kann doch aber nicht sein, dass ich in die shell muss, dafür kauft man doch Synology.

Wenn das nicht vernünftig mit Bordmitteln hinzubekommen ist, dann wäre das ein Armutszeugnis und ich hab mich auch schon beim Synology Support gemeldet bzw. beschwert, dass der eigentlich triviale FileStation Dateitransfer so wenig funktional ist. Eine rsync GUI wäre ja auch mal was bzw. wegen mir Kontextmenu. Warum nicht die Möglichkeiten eines "einmal-task rsync" von x nach y... mit Optionen.
Ich habe bisher immer "nur" TimeBackup genutzt. HyperBackup ist für mich ok als Backup-Lösung aber zum Dateien transferieren taugt es ja nicht. Ich bin nie damit in Kontakt gekommen, dass der direkte Dateitransfer so wenig zu gebrauchen ist, aber hier würde ich mich doch gerne nochmal beraten lassen. Es muss doch mit Bordmitteln irgendwie zu bewerkstelligen sein?

Ich lerne gern und hoffe, es hat noch jemand eine Idee. Gerne auch Input dazu, was mit meinen FileStations los ist, dass das nicht klappt.
Die DS1817+ ist (nochmals) frisch aufgesetzt. Da ist außer UltimateBackup und HyperBackup nichts drauf....

 

[Tommes]

Hyper Backup kann auch dateibasiert sichern. Ultimate Backup sichert dir das komplette Backupset ebenfalls, wie Hyper Backup auch, in einen Unterordner. Somit musst du die Daten im Ziel wohl noch mal verschieben und ob da nicht auch wieder Daten verloren gehen?!?

Mit einem "einfachen" RSync per Konsole oder Aufgabenplaner ließe sich das sicherlich auch schnell und unkompliziert lösen, dafür bräuchtest du Ultimate Backup nicht. Warum Ultimate Backup bei dir nicht das tut was es soll, hab ich im zugehörigen Thread beantwortet.

BTW: ich verstehe aber deine Kopierprobleme auch nicht wirklich bzw. kann dieses Verhalten bei mir nicht reproduzieren. Mir sind bisher jedenfalls noch keine Daten abhanden gekommen, egal auf welche Weise ich diese von a nach b transferiert habe.

Tommes

 

[Manticoreer]

randfee, hast du dir denn das mal mit der VM überlegt, oder versucht, wie ich vorgeschlagen hab?? Oder LXQt?!? Damit konnte ich allerdings bisher auch wenig anfangen, bzw. Ich hab mich noch nicht viel damit beschäftigt!

 

[randfee]

randfee, hast du dir denn das mal mit der VM überlegt, oder versucht, wie ich vorgeschlagen hab?? Oder LXQt?!? Damit konnte ich allerdings bisher auch wenig anfangen, bzw. Ich hab mich noch nicht viel damit beschäftigt!

was meinst du genau? Eine VM Kiste zum Ausführen des Kopiervorgangs zu nehmen? Klar könnte man das machen, wie gesagt, ich kann nicht einsehen, dass das nicht mit Bordmitteln gehen soll (rsync in der Konsole mal außen vor).
Ich bin derzeit bei der Planung für eine neue VM Kiste, wahrscheinlich dann AMD basiert, aber ich will die neuen CPUs und Preise noch abwarten. Dann ist sowas natürlich kein Problem mehr im Sinne Rechner tagelang zu blockieren... aber wie gesagt... ich erwarte beim Preis den man ja für die Software bei Synology mehr zahlt, dass das out of the box irgendwie möglich ist einfach von einer DS zur anderen zu kopieren.....

Grüße
Randfee

 

[whitbread]

Also ich bin bisher mit shared folder sync immer zurecht gekommen.

Bei entsprechender HW sonst Replikation (geht brutal schnell).

Kontrolle habe ich dann via PC (TotalCommander) gemacht - gab kaum Differenzen (nur so lock-Dateien etc.)