Basic Backup Basic Backup

[Tommes]

Solange du über keinen Public Key verfügst, kannst du dich auf einem Synology NAS nur als Administrator am Terminal anmelden und anschließend mit dem Befehl sudo -i zum root wechseln und genau das wird im ersten Teil der Anleitung beschrieben. Auf dem lokalen Synology NAS erstellst du den Public Key demnach für den Benutzer root und nicht für den Administrator. Daher bitte nochmal die Anleitung genau lesen.

Da man sich mit Basic Backup nicht (ohne weiteres) als root auf einen Remote Synology NAS aufschalten kann, richtest du dort den Public Key für den dortigen Administrator ein. Dadurch erreichst du auch ein hohes Maß an Sicherheit, da die Verbindung stets von der lokalen Synology NAS ausgeführt wird und nicht andersherum.

Da Basic Backup nicht mit dem rsync-Daemon des Remote-Servers arbeitet, sondern eine rsync over SSH Verbindung nutzt, wird dir dein rsync-Benutzer auf dem Remote-Server wenig nutzen, außer wenn dieser Benutzer in der Gruppe der Administratoren gelistet ist, denn nur Administatoren haben Zugang zu einer SSH-Verbindung.

Die Anleitung bezieht sich immer auf den Idealfall. Wenn du davon abweichen möchtest, musst du sicherstellen, das eine entsprechende SSH-Verbindung mit den nötigen Berechtigungen zwischen lokalen NAS und Remote NAS zustande kommt. Das ist dann jedem selbst überlassen.

 

[Yippie]

Danke für deine schnelle Erklärung!

Meine rsync Benutzer auf dem remote NAS, ist tatsächlich bereits Mitglied der Gruppe Administrators, sollte also prinzipiell funktionieren.

Ich hatte zuvor das Push Backup eingerichtet, mit dem eigenen rsync Benutzer, was irgendwie korrekt lief.
In den Einstellungen von Basic Backup habe ich dabei unter SSH Benutzername den eigenen rsync Benutzers, des Ziels, eingetragen.

Würde ich der Anleitung exakt folgen, dann wird ja ein SSH Key für den root Benutzer erstellt werden. Was für einen Benutzer muss ich dann bei der Erstellung des Backup Jobs, unter SSH Benutzername, angeben? root?

Oder anders gefragt: Warum gibt es den SSH Benutzername? Und warum verbindet sich Basic Backup nicht generell per Admin Konto oder root?

 

[Tommes]

Würde ich der Anleitung exakt folgen, dann wird ja ein SSH Key für den root Benutzer erstellt werden. Was für einen Benutzer muss ich dann bei der Erstellung des Backup Jobs, unter SSH Benutzername, angeben? root?

Mit etwas überlegen könntest du dir die Frage selbst beantworten. Welche Verbindung richtest du denn wohin ein? Doch wohl von dem lokalen NAS auf das Remote NAS, oder? Demnach gibst du ja auch die Zugangsdaten deines Remote Servers an, also IP, evtl. MAC-Adresse und eben auch den Benutzer, welcher auf deinem Remote NAS den Public Key erhalten hat… also dein rsync-Benutzer.

Oder anders gefragt: Warum gibt es den SSH Benutzername?

Wie meldest du dich denn auf deinem Remote NAS per SSH an. Doch wohl mit dem Benutzernamen deines Administrators, oder? Als root kannst du dich direkt ja nicht anmelden. Warum also sollte Basic Backup das können, zumal auf dem Remote NAS der Public Key eben nicht für root, sondern für einen Administrator ausgestellt wurde.

Meine rsync Benutzer auf dem remote NAS, ist tatsächlich bereits Mitglied der Gruppe Administrators, sollte also prinzipiell funktionieren.

Das sehe ich auch so. Der Name spielt ja keine Rolle, die Gruppenzugehörigkeit ist entscheidend.

Und falls ich etwas genervt rüberkomme. Mir hängen diese ewigen Diskussionen bezüglich SSH und Public Key Authentifizierung langsam zum Hals raus. Meine Anleitung ist eigentlich so geschrieben, das sie jeder verstehen sollte und das das auch so ist, wurde schon vielfach bewiesen. Von daher bitte ich dich, den Bogen nicht weiter zu überspannen um jedes Detail haarklein auszudiskurieren. Ist nicht bös gemeint, aber ich mag einfach nicht mehr.

Tommes

 

[Yippie]

Ok, dann ist für mich das Thema Basic Backup hiermit auch abgehakt, da für meinen wohl sehr speziellen Fall nicht nutzbar.

Danke trotzdem für deine Geduld

 

[Tommes]

…da für meinen wohl sehr speziellen Fall nicht nutzbar

Das sehe ich zwar anders, da an deiner Konfiguration überhaupt nichts speziell ist und du dich eigentlich schon auf der Zielgraden befindest, du denkst nur zu kompliziert. Aber ich zwinge dich auch nicht, es weiter zu versuchen. Deine Entscheidung

 

[Tommes]

Hi!

Ich habe in einem ersten YouTube Video damit begonnen, euch die Installation und Einrichtung von Basic Backup näherzubringen und möchte euch dies Video natürlich nicht vorenthalten, Basic Backup - Installationsanleitung !

Ich versuche in naher Zukunft noch weitere Videos zu Basic Backup zu erstellen, wo es unter anderem darum gehen soll, wie man z.B. eine SSH Public Key Verbindung einrichtet und wie man im Anschluss daran entsprechende Aufträge konfiguriert. Falls ihr weitere Ideen oder Wünsche habe, dann könnt ihr diese hier gerne nennen, oder mich auch per PN anschreiben.

Bis dahin wünsche ich euch viel Spaß mit meinem, seit langer Zeit "ersten" produzierten Video.

Tommes

 

[Tommes]

Schneller als gedacht habe ich bereits ein weiteres Video zum Thema "BasicBackup - SSH-Verbindung einrichten" fertiggestellt und hoffe, das es dem einem oder anderen nützlich sein wird.

 

[Tommes]

Ich hab grad wirklich einen Lauf denn ich habe grade ein weiteres Video mit dem Namen "BasicBackup - Pull-Backup einrichten und ausführen" auf YouTube hochgeladen. Vielleicht sollte sich @Yippie das mal anschauen, damit er mir glaubt, das man mit Basic Backup durchaus ein Pull-Backup ausführen kann

 

[system47]

Hallo Tommes,
vielen Dank für Basic Backup!
Ich habe es ausprobiert, da HyperBackup ewig braucht um einen 200GB (und mehr) Ordner zu sichern.
Ewig dauert auch dann der nächste Backup Durchgang, der Transfer ist dann zwischen 5-15 MB/s.

Mit Hilfe Deiner integrierten Anleitung ist es mir auf Anhieb gelungen den Transfer per ssh als Pull-Backup einzurichten. Herzlichen Dank dafür.

Eine Frage habe ich noch:
Ich möchte innerhalb eines zu sichernden Ordners einen Unterordner vom Backup ausschliessen.
An welcher Stelle kann ich die exclude Option eintragen?

 

[Tommes]

Hallo @system47 und willkommen in diesem Forum!

Es freut mich zu hören, das du mit Basic Backup zufrieden bist. Falls du die Datenübertragungsgeschwindigkeit noch weiter optimieren möchtest, kan nich dir das Programm ionice ans Herz legen. Hierzu ein Auszug aus den Release-Notes von Basic Backup 0.8-0400...

• Bei der Synchronisierung großer Datenmengen kann, bedingt durch die ausgelöste hohe Lese- und Schreiblast des rsync-Prozesses, die Verfügbarkeit deines Synology NAS sowie an diesem Prozess beteiligte Remote-Server für die Dauer des Auftrags stark einschränkt sein. Dieses Verhalten kann durch die Reduzierung der Bandbreite und unter Berücksichtigung der Lese- und Schreibgeschwindigkeit der verwendeten Datenträger spürbar verbessert werden. Aus diesem Grund wurde eine Begrenzung der Datenübertragungsrate hinzugefügt, die als frei einstellbarer Wert zwischen 1 kB/s und maximal 1250000 kB/s definiert werden kann.
• Wenn das 3rd-Party-Paket -SynoCli Monitor Tools- der -SynoCommunity- installiert ist, verwendet Basic Backup automatisch das darin enthaltene Programm ionice. ionice kann die hohe Lese- und Schreiblast, die normalerweise durch den rsync-Prozess ausgelöst wird, soweit optimieren, dass die Verfügbarkeit deines Synology NAS und der an diesem Prozess beteiligten Remote-Server jederzeit gewährleistet ist.
• Zu Testzwecken kann das im Vorfeld installierte ionice-Programm über das Debug-Menü vorübergehend abgeschaltet werden.

Deine Frage...

An welcher Stelle kann ich die exclude Option eintragen?

... ist gar nicht mal blöd und musste selbst erst überlegen, da ich die exclude Option bereits fest im rsync-Script von Basic Backup verankert habe...

--delete-excluded --exclude=@eaDir/*** --exclude=@Logfiles/*** --exclude=#recycle/*** --exclude=#snapshot/*** --exclude=.DS_Store/***

Ich habe es jetzt nicht ausprobiert, aber eigentlich solltest du weitere exclude Optionen einfach auf der letzten Seite der Auftragskonfiguration in das Feld "rsync Optionsschalter" eintragen können. Also genau dort, wo zurzeit ein -ah eingetragen ist. Ich würde hinter das -ah einfach weitere exclude Optionen hinzufügen und dann testen, ob es funktioniert. Also z.B. so...

-ah --exclude volume[x]/share/folder/sub

Ich hab heute und morgen leider nicht die Zeit, es selbst auszuprobieren, daher würde ich dich bitten, es einfach mal zu testen. Ansonsten teste ich das irgendwann zum Ende der Woche oder am Wochenende selbst durch.

Tommes

 

[system47]

Hallo Tommes,
vielen Dank für Deine schnelle Antwort!
Synocli habe ich schon installiert.
An der Stelle habe ich es schon ausprobiert, aber leider funktioniert es da nicht.

 

[Tommes]

Es hat mir jetzt doch keine Ruhe gelassen, daher habe ich Folgendes ausprobiert.

Auf meinem Remote-NAS gibt es den freigegebenen Ordner /Filme, der einen weiteren Unterordner mit dem Namen /Serien enthält. Darin befinden sich diverse Serien. Ich habe nun spaßeshalber den Film "Alien" als weiteren Unterordner dem Ordner /Serien hinzugefügt, also /Filme/Serien/Alien. Da ich diesen Ordner nicht mitsichern möchte, habe ich dem rsync-Optionsschalter von Basic Backup folgende exclude Option mitgegeben....

-ah --exclude Alien/***

... wobei auch die Syntax...

-ah --exclude=Alien/***

... funktioniert ... und den Auftrag anschließend mit einer erweiterten Verbose Ausgabe (Option -vv) auf der Konsole ausgeführt. Im Protokoll wird mir u.a. folgendes ausgegeben...

receiving incremental file list
[sender] hiding directory Serien/Alien because of pattern Alien/***

... und im Datensicherungsziel auf meinem lokalen Synology-NAS taucht der Ordner auch nicht auf. von daher sollte das mit dem exclude über das Feld rsync Optionsschalter durchaus funktionieren. Evt. musst du die Syntax bei dir ein wenig anpassen. Habe diese im oberen Beitrag ja auch zunächst anders angegeben.

Nachtrag: Noch ein Hinweis dazu, was es mit den drei *** nach dem / auf sich hat.
Dazu ein Auszug aus der rsync Manpage...

if the pattern contains a / (not counting a trailing /) or a **, then it is matched against the full pathname, including any leading directories. If the pattern doesn't contain a / or a **, then it is matched only against the final component of the filename. (Remember that the algorithm is appliedrecursively so full filename can actually be any portion of a path from the starting directory on down.)

a trailing dir_name/*** will match both the directory (as if dir_name/ had been specified) and everything in the directory (as if dir_name/** had been specified). This behavior was added in version 2.6.7.

Tommes

 

[system47]

Hallo Tommes,
so funktioniert es
Ich habe den kompletten Pfad genommen, wie Du zuerst schriebst.
Die relative Pfadangabe funktioniert.

 

[Hannibal72]

Hallo Tommes,
zunächst vielen Dank für das tolle Tool BasicBackup (und früher UltimateBackup) und die Möglichkeit es unter DSM7 nutzen zu können!! Es läuft bei mir einfach seit Jahren immer zuverlässig und lässt einem nachts besser schlafen ;-)

Ich habe nun aber ein kleines Problem beim Erstellen eines neuen Auftrages, und hoffe, dass Du - oder die community - mir helfen könnt.

• ich habe eine DS2422+ in der inzwischen 11 Festplatten verbaut sind.
• aktuell läuft DSM in Version 7.2.1-69057 Update 5 und BasicBackup in 0.8-400, gemäß Anleitung installiert.
• 3 Backup-Jobs auf 2 verschiedene USB-Platten laufen erfolgreich und waren easy einzurichten.
• Bei mir ist jede interne Festplatte als eigenes Volume eingerichtet, also derzeit gibt‘s derzeit 11 volumes bei mir (diese sind als gemeinsame Ordner mit lesbaren Namen eingerichtet, also z.B. FilmeXY usw.)

Nun möchte ich auf volume 11 (aka FilmeSerien) den Ordner „Filme6“ auf eine neue externe Festplatte (die als Gemeinsamer Ordner als „Videobackup Nr.4“ benannt ist; [ich meine, das ist usbhsare3, denn ich habe derzeit noch andere externe HDDs dran]) sichern:

1. ich erstelle also in der BB-GUI also einen neuen Auftrag, Sicherungsziel „lokal“ und dann wollte ich unter „Freigegebener Ordner“ die richtige USB-HDD auswählen; im Dropdown stehen aber immer nur 5x „usbshare“ ohne Nummer, Name oder so. Ich weiß nicht, ob die 3. usbshare = usbshare3 ist.
2. ich wähle testweise mal den dritten usbshare-Eintrag und als Zielverzeichnis gebe ich einfach mal „/Filme6Backup“ ein und klicke auf weiter,
3. wähle als Quellserver wieder „lokal“, dann unter Datensicherungsquelle auswählen sehe ich in der Liste nur noch die Volumes 1-9 (mit allen Ordnern und Unterordnern) sowie die usbshares (dort mit deren Nummerierung und Unterordnern, also z.B. /volumeUSB3 — das will ich ja auch nutzen, aber als Ziel); aber: die Volumes 10 und 11 sehe ich nirgends.

Was ich bislang versucht habe...

• Ich habe zwischenzeitlich BB von 0.8-300 auf 0.8-400 angehoben und die Syno hatte inzwischen auch ein Update nebst Neustart.
• Ich hatte auch BB mal gestoppt und wieder gestartet
• Ich hatte für volume 11 (also den „Freigegebenen Ordner“) auch mal die Berechtigung „Interner Systembenutzer/BasicBackup/Lesen&Schreiben“ gesetzt (obwohl die bei den anderen Backupordnern nicht gesetzt war und die Backups 1A laufen)
• alles ohne Veränderung
• ich bin alle paar Tage die Einstellungen von BB durchgegangen, ob ich was übersehen habe, aber finde nichts.
• Auch bin ich diesen Thread durchgegangen, finde aber keinen Hinweis.

Also, Tommes:

• Wieso „sieht“ BB die volumes 10 und höher nicht als Quelle? Wie/Wo muss ich ggf. nachsteuern?
• Sind die „usbshares“ unter „Datensicherungsziel auswählen“ in der Reihenfolge 1-5 angeordnet, also der 1. Eintrag ist usbhare1, der 2. usbshare2 usw.? Wie kriege ich da ansonsten die richtige Ziel-Platte raus?

Bin für jeden Input offen ;-)

Vielen Dank schonmal und einen schönen Sonntag,

Hannibal

PS: hoffe, ich hab alle relevanten Infos erwischt, ansonsten sag mir bitte Bescheid!

 

[Tommes]

Vielen Dank für dein positives Feedback.

Zu dem, was dir aufgefallen ist und was somit nicht wirklich gut läuft…

Wieso „sieht“ BB die volumes 10 und höher nicht als Quelle? Wie/Wo muss ich ggf. nachsteuern?

Diese Frage kann ich dir sogar beantworten, ohne mich durch die Tiefen des Quellcodes von Basic Backup zu wühlen. Denn du bist für mich der erste den ich kenne, der mehr als 9 Volumes verwendet. Basic Backup verarbeitet nur einstellige Volume Nummern, welche in der Musterekennung [[:digit:]] begründet liegt. Hänge ich diese Mustererkennung an das volume an, wird daraus ein /volume[[:digit:]] worin alle Zahlen zwischen 0 und 9 enthalten sind. Schau ich mir an und änder/erweitere das.

Sind die „usbshares“ unter „Datensicherungsziel auswählen“ in der Reihenfolge 1-5 angeordnet, also der 1. Eintrag ist usbhare1, der 2. usbshare2 usw.? Wie kriege ich da ansonsten die richtige Ziel-Platte raus?

Darauf habe ich spontan keine Antwort. Dazu müsste ich mich zunächst wirklich in die Tiefen meines Quellcodes begeben und ein paar Tests durchführen. Aber auch hier bist du der erste den ich kenne, der mehr als … sagen wir 3 … externe Datenträger gleichzeitig verwendet. Oder du verwendest externe Datenträger, auf denen sich mehrere Partitionen befinden. Egal… auch das schau ich mir an und versuche eine Lösung zu erarbeiten.

Das könnte aber etwas dauern, da ich grad noch ein paar andere Projekte am Start habe und sowieso immer ganz viele Ideen mit mir rumschleppe. Aber ich kümmer mich… gib mir einfach ein paar Tage Zeit.

Tommes

 

[Hannibal72]

Gerne!!
Wow, danke für die schnelle Rückmeldung - und das sonntags!


Ich hatte mir schon fast gedacht, dass das mit der zweistelligen Volume-Ziffer zusammenhängt - und dass das "Problem" offensichtlich kein anderer hat, dachte ich mir nach dem stöbern im Thread auch.
Möglich, dass mein "Anhäufen" von volumes nicht gertade bet practice ist - ich hatte vor der 2422 meine Daten, Filme, Musik usw. auf 3 DS verteilt - was mir irgendwann aber zuviel "friction" wurde, mal abgesehen davon, dass der Platz v.a. für meine ganzen Aufnahmen nicht mehr gereicht hat.


Ich habe eigentlich nicht dauerhaft so viele externe HDDs an der Syno; aber für mein Musik-Backup habe ich noch nicht die Zeit gefunden einen schaltbaren Stromstecker nebst iobroker-Skript einzurichten; auch hängt derzeit noch ein Datengrab dran, das ich langsam befülle usw.
-- Achja, zu Deiner Vermutung: die 5 HDDs bestehen alle jeweils nur aus 1 Partition.

Leider hat der Tag ja nur 24 Stunden ;-)


Bin gespannt auf Deine Ideen!

Nur kein Stress und danke, dass Du Dir das anschaust!

Liebe Grüße und einen schönen Sonntag noch,

Hannibal

 

[Tommes]

@Hannibal72 ... na da hast du mir ja ein schönes Ei ins Nest gelegt.

Die Sache mit den Volumes größer 9 habe ich bereits gelöst und war auch eigentlich ein Klacks. Aber das mit den USB-Datenträgerbezeichnungen bekomm’ ich grad nicht richtig hin.

In der File Station wird bei mir z.B. ein USB-Datenträger als usbshare1 angezeigt. Wenn ich mit einem Rechtsklick die Eigenschaften dieses Datenträgers aufrufe, lautet der Mountpoint jedoch /volumeUSB1/usbshare. Der Datenträger trägt als Namen zwar usbshare1, jedoch kann ich diesen Namen nirgendwo im System abgreifen... jedenfalls noch nicht.



Auf der Konsole erhalte ich auch nur den Mountpoint /volumeUSB1/usbshare ohne eine angehange 1. Ich kann mir das zwar mittels "wenn" - "dann" Prüfungen zusammenbasteln, das in Basic Backup am Ende bebenfalls ein usbshare1 steht, aber so gefällt mir das absolut nicht.

Ich benötige also noch mehr Zeit um das Problem vollständig zu lösen, zumal ich dieses Fehlverhalten auch in meiner App "AutoPilot" festgestellt habe. Ist mir vorher noch nie aufgefallen. Wie gesagt... könnte noch etwas länger dauern...

Tommes

 

[Tommes]

Für diejenigen, die es interessiert. Synology geht wohl hin und koppelt die UUID eines ext. Datenträges an eine Nummer, beginnend mit 1. Daraus entsteht dann halt der Name : usbshare1, usbshare2 etc. Die Datei, worin diese Informationen gespeichert werden, liegt unter /usr/syno/etc/usbno_guid.map. So gesehen muss ich nur die UUID des ext. Datenträger ermitteln und diese dann mit den Eintragungen in der /usr/syno/etc/usbno_guid.map abgleichen um so an die richtige Nummer zu kommen. Klingt doch eigentlich ganz einfach, oder? Hier noch ein Link zum Thema

Was sich Synology da wieder bei gedacht hat? Gruselig.

 

[synfor]

gruselig insbesondere deshalb, weil Synology sich bei der Neuvergabe der Nummer nicht darum schert, dass die Nummer in der usbno_guid.map bereits vergeben ist.

 

[Tommes]

Auch werden teilweise die Mountpoints während des unmount nicht ordnungsgemäß gelöscht. So ergibt es sich, das die Mountpoints eines zuvor eingesteckten USB-Sticks mit zwei Partitionen immer noch im Dateisystem als /volumeUSB1/usbshare1-1 und /volumeUSB1/usbshare1-2 vorhanden sind und ein aktuell eingesteckter USB-Stick mit einer Partition als /volumeUSB1/usbshare gemounted wurde.

Es sind also diese Ordner vorhanden…

/volumeUSB1/usbshare
/volumeUSB1/usbshare1-1
/volumeUSB1/usbshare1-2

… obwohl nur der Ordner /volumeUSB1/usbshare an den aktuell eingesteckten USB-Stick gebunden wurde. Da blickt doch keiner mehr durch, vor allem wenn…

…Synology sich bei der Neuvergabe…

… neue Verknüpfungen ausdenkt. Das ist echt krank und ich weiß noch nicht wirklich, wie ich das Verhalten reproduzieren kann um es in Basic Backup korrekt anzuzeigen. Das wird mich wieder sehr viel Zeit und Nerven kosten.