BackUp kleineres DataCenter

[wario]

Hi zusammen,

erstmals grob: ich möchte in Zukunft privat eine Cloudlösung anbieten worauf mehrere Nutzer Ihre Daten uploaden können. Ich mache mir gerade Überlegungen zur Datensicherung. Da ich bald bis zu 10TB an fremde Daten verwalte, suche ich nach einer möglichst schnellen, aber auch sicheren BackUp Lösung.
Allgemein lässt sich sagen dass ich ziemlich neu in dem Gebiet BackUps bin und freue mich auch, wenn mir jemand kritische Anregungen zu Überlegungen äussert.

momentan läuft hyperbackup via rsync auf einem anderen Netzwerkserver.
Gesichert werden soll täglich Abends bzw über die Nacht.
Leider läuft die NAS bei ersten Testversuchen und das BackUp gestern die ganze Nacht durch und war morgens immer noch nicht fertig
Visionierung bzw Rotation ist deaktiviert.
Gesichert wird das ganze System inkl System Apps und etc

Macht das HyperBackup beim nächsten Backup ein komplett neues Backup welches wieder solange dauert, oder werden nur aktualsierte bzw neue Daten gesichert?
Welche möglichkeiten habe ich, damit BackUps von mehreren TB schnell und effizient von statten gehen?

Im vorraus: ich riskiere noch nichts und mache auch nicht bereits mit heiklen Daten unüberlegt drauf los, mir geht es hier um Ideensammlung und Anregungen die mir Helfen sollen eine gute BackUp Strategie zu verwirklichen.

Hardware momentan: DS920+
gbit Netzwerk
Internet 1gbit down und 100mbit up

 

[Benie]

Macht das HyperBackup beim nächsten Backup ein komplett neues Backup welches wieder solange dauert, oder werden nur aktualsierte bzw neue Daten gesichert?

So wie sich das anhört, hast Du ein Einzelbackup Job erstellt, der dauert immer so lang.

Du musst das Backup Versioniert erstellen und die Rotation aktivieren, sonst läuft Dir die HDD irgendwann über.
Dann läuft das Backup inkrementell, nur das initial Backup dauert lang, alle weiteren Backups dauern je nach Datenmenge nur wenige Minuten.

 

[wario]

ja genau hatte mal ein einzelnbackup laufen lassen um Geschwindigkeit und Funktionalität zu testen.
In diesem Fall hatte ich Versionierung abgeschalten weil ich den denkfehler hatte, pro Version zusätzlich die selbe Menge an Daten, ich hab nun gelesen das dem nicht so ist. Gibt es eine effiziente Anzahl an Version für Daten die sich häufig ändern könnten? 256 von Synology vorgeschlagen finde ich etwas viel?

Ist die Strategie erstmal ausreichend? Es gibt ja noch so viel Möglichkeiten mit der NAS, deshalb frage ich hier mal grob durch was ihr so zu sagen habt.

 

[Synchrotron]

Wenn sich die Daten nicht ändern (was meistens für den allergrößten Teil der Daten zutrifft), wird genau 1 Version erstellt. Die Frage ist daher i.w. hypothetisch. Klar kannst du diesen Wert runter setzen. Ich würde mich daran orientieren, wie weit ich bei den am häufigsten geänderten Dateien zurück gehen möchte. Wenn ich eine Datei täglich ändere, und möchte 3 Monate zurück gehen können, benötige ich ca. 100 Versionen.

 

[Thorfinn]

Hi zusammen,

Da ich bald bis zu 10TB an fremde Daten verwalte,

Die Fremden vertrauen dir. Geniesse dieses Vertrauen und werde diesem gerecht.
Wie kritisch sind diese Daten?
Kann man die Kritikalität monetarisieren? Wenn ja, dann ist es nur Geld. Wenn daran langjährige Freundschaften zerbrechen können ist es schlimmer.

Allgemein lässt sich sagen dass ich ziemlich neu in dem Gebiet BackUps bin

alt, aber immer noch gut: The Tao of Backup. 7 simple Regeln.

momentan läuft hyperbackup via rsync auf einem anderen Netzwerkserver.
Gesichert werden soll täglich Abends bzw über die Nacht.
Leider läuft die NAS bei ersten Testversuchen und das BackUp gestern die ganze Nacht durch und war morgens immer noch nicht fertig

War das ein volles Backup von 10 TB? Rechne mal nach wie schnell das teoretisch gehen kann. Dann multipliziere den Datenstrom mit 2 um den Protokolloverhead zu berücksichtigen.... Dann die Dateisystemverwaltung und Zeit für Defragmentierung der Medien des empfangendem rsync Servers.
Erwarte keine Wunder.

Macht das HyperBackup beim nächsten Backup ein komplett neues Backup welches wieder solange dauert, oder werden nur aktualsierte bzw neue Daten gesichert?

Du bestimmst. Das kommt auf deine Konfiguration an. Inkrementelles Backup spart Zeit, gibt weniger Sicherheit.
Integritetstests sind ein Muss, genau wie regelmässige Kontrollen der Wiederherstellbarkeit. (Tao of Backup Regel 5 & 7)

Welche möglichkeiten habe ich, damit BackUps von mehreren TB schnell und effizient von statten gehen?

Alice irrt durch den Garten der Königin und trifft die Grinsekatze:
"Würdest Du mir bitte sagen, welchen Weg ich einschlagen muss?", fragt Alice.
"Das hängt in beträchtlichem Maße davon ab, wohin du gehen willst", antwortete die Katze.
"Oh, das ist mir ziemlich gleichgültig", sagte Alice.
"Dann ist es auch einerlei, welchen Weg du einschlägst", meinte die Katze.
"Hauptsache, ich komme irgendwohin", ergänzte Alice.
"Das wirst du sicher, wenn du lange genug gehst", sagte die Katze.
aus "Alice im Wunderland" von Lewis Carroll.

kurzum:
"schnell und effizient" muss man immer gegen "sicher und sorgfältig" abwägen.

Was sind die Randbedingungen? - 100 Mbit/s upstream ist nicht dolle, wenn du Daten ins WAN schicken willst.
Steht der Rsync server im LAN?
Steht 1GBit/s auf dem Karton des LAN Switches? Wieviel schafft es defakto bevor die CPU des switch brennt?
Welche PING Zeiten hast du zum Rsync Server?
Wieviele Packete verlierst du?

Was sind das für Daten? viele kleine Schnipsel = grosser Protokolloverhead oder wenige grosse Dateien mit geringerem Overhead? Wie oft ändern die sich?

Versionierung und Rotation (Tao of Backup Regel 4) sind imho ein Muss. ("Scheisse, das habe ich gestern überschrieben, wo ist die Version von vorgestern?"). Wenn du ein Ransomware Angriff hast, was nützt dir dann ein Backup der verschlüsselten Daten?
Überlege das neben dem inkrementellen Backup ein Vollbackup evt. niedrieger Frequenz zu halten.

Wenn der Rsync server online im LAN steht, dann ist der Separationsgrad nicht sehr hoch (Tao of Backup Regel 3) und ein Wurm bohrt sich problemlos dorthin (Tao of Backup Regel 6).

 

[Thorfinn]

Wenn ich eine Datei täglich ändere, und möchte 3 Monate zurück gehen können, benötige ich ca. 100 Versionen.

Das ist eine Wahrheit mit Modifikationen. Frequenz und Dauer sind verschiedene Dinge.
z.B. Halte das tägliche Backup einer Woche vor, das wöchtenliche Backup 3 Monate.
- wupti sind es nur noch 19 Versionen und der Lagerbedarf 1/5.

 

[Thorfinn]

erstmals grob: ich möchte in Zukunft privat eine Cloudlösung anbieten worauf mehrere Nutzer Ihre Daten uploaden können.

"eine Cloud" ... "kleines DataCenter" ... "mehrere Nutzer" ....
Butter bei die Fische!
Wieviele Nutzer? Welche Zugriffsraten?
Mit 100 Mbit/s upload sind wir im SoHo Bereich, Wenn das eine DSL Verbindung (PING > 5ms) ist, dann wird das wohl eher ein Freundschaftsserver.

Ein "kleines Datacenter" hat in meinen Ohren mehr als 5 Carrier Verbindungen zu 2 oder mehr Knotenpunkten (z.B. DE-CIX und NL-IX oder DIX). Bei einer Cloud Lösung hast du distribuierte Ressourcen.
Das ist dann aber alles "jenseits" des Produktportefeuille von Synology.

 

[Thonav]

...und hoffentlich werden dann auch nur legale Daten und zudem keine Virenschleudern auf Deinem DataCenter abgelegt werden.

 

[wario]

Wie kritisch sind diese Daten?
Wenn ja, dann ist es nur Geld...

ich habe an mir selber den Anspruch ein möglichst sichere Umgebung anzubieten, grösstenteils unabhängig wie kritisch die Daten sind. Der Server wird einer eigenen Gemeindschaft zu verfügung gestellt und der Speicher wird auch gegen ein kleines Entgeld vermietet an Interessierte. Ich überlege mir aber noch im Prospekt anzumerken, dass wirklich kritische Daten auch noch selber zu Back Upen sind. Der Server soll eher eine Mobility Center werden für kleinere Arbeiten, Fotos von Handys, Aufnahmen von Besprechungen, Sprachnotizen und etc
Die Leute kenne ich nur eher "geschäftlich"

alt, aber immer noch gut: The Tao of Backup. 7 simple Regeln.

vielen Dank, gleich als wichtiges Lesezeichen abgespeichert.

War das ein volles Backup von 10 TB?

es waren knapp 2tb, das Intialbackup ging knappe 11h, durchschittlich wurden mit 50mb/sec transferiert was mir etwas langsam erschien. Du hast aber geschrieben dass ich das ganze sowieso halbieren muss wegen dem overhead? Dann passt dass ja ungefähr von der geschwindigkeit bei gbit LAN

Was sind die Randbedingungen? - 100 Mbit/s upstream ist nicht dolle, wenn du Daten ins WAN schicken willst.
Steht der Rsync server im LAN?

jup der steht im lan, ping 4ms, keine Packetlosses

Steht 1GBit/s auf dem Karton des LAN Switches? Wieviel schafft es defakto bevor die CPU des switch brennt?

das netzwerk schafft so knapp 950mbit wenn ich Transfers von der NAS auf eine SSD im PC mache

Was sind das für Daten? viele kleine Schnipsel = grosser Protokolloverhead oder wenige grosse Dateien mit geringerem Overhead? Wie oft ändern die sich?

viele kleine schnippsel und auch fotodateien nicht grösser als 20mb, dazu ein paar video und audiofiles zwischen 100 und 500mb gross. ich gehe davon aus dass die sich wöchentlich ändern werden. Anfänglich habe ich nur ca 10 bis 20 nutzer die eigene Volumes mit eigenen Account gegeordnet bekommen. Die Geschwindigkeitsbregrenzung ist, pro User, vorerst bei 25mbit up und download da ich dass ja zuerst über eine eigene Inet Verbindung via Kabel realsiere. Das wird auch so vemerkt bzw die User kennen die Up und Downstream Grenzen. Leider sind 1gbit down und 100mbit up voerst das höchste der Gefühle.

Versionierung und Rotation (Tao of Backup Regel 4) sind imho ein Muss. ("Scheisse, das habe ich gestern überschrieben, wo ist die Version von vorgestern?"). Wenn du ein Ransomware Angriff hast, was nützt dir dann ein Backup der verschlüsselten Daten?
Überlege das neben dem inkrementellen Backup ein Vollbackup evt. niedrieger Frequenz zu halten.

Wenn der Rsync server online im LAN steht, dann ist der Separationsgrad nicht sehr hoch.

der rsync server wird nur hochgefahren sobald das NAS das Backup macht, ansonsten ist der AUS. Versionierung ist an, ist die Smart Recycling mit 256v eingestellt. Werde noch eine kleinere NAS holen die dann wöchentlich oder monatlich voll backups übernimmt. Wäre das ein eingermassen sinvoller Ansatz?

vielen dank schonmal für deine ausführliche antwort, werde dann auf deinen zweiten Post eingehen. Ich freue mich sehr über deine Inputs

 

[Thorfinn]

Deine 100 Mbps upload werden ein Flaschenhals. Mit einer 25 Mbps Bandbreite ist solides streamen von Video wie es jedes 08-15 mobiltelefon aufnimmt grenzwertig.
Vor 20 Jahren bot ich über so eine Verbindung Preflight Checks für Grafiker und Druckereien an. Das lief auf einem PowerMac G3 (beige). Für mein PowerBook 520s (68LC040 CPU, Apple System 7.1) wäre sowas das richtige. Das PowerBook ist 25 Jahre alt und nicht mehr im Produktiveinsatz. Damals konnte jeder noch im Internet was spielen. Heute ist selbst die Wartung eines mailservers richtig manuelle Arbeit.

Warum willst du den Nutzern eigene Volumen zuordnen? Das kann man über Quota eleganter und dynamischer machen und Skalierbarkeit haben. Am Tag 1 musst du dir nicht schon x Platten zulegen. DSM ist ein Linux und kein DOS. Rechteverwaltung ist alles.

Backup gehört imho mindestens in einen anderen Brandabschnitt des Gebäudes. Offsite ist besser. Meins liegt auf Arbeit.

Da du das auf eine monetäre Basis stellen willst:
Pass auf, das das nicht als "gewerblich" interpretiert werden kann. Wenn dein ISP Carrier das riecht, bekommst du andere Konditionen & Preise.
Wenn du eine Bezahlung forderst, wird das schnell eine "Gewinnerzielungsabsicht" nach NetzDG. Aus allen Haftungen kannst du dich nicht rausschreiben. DSGVO/GDPR gilt sowieso. Du wirst Auftragsverarbeiter und da du nicht weisst was da für Daten abgelegt werden, kannst du schon mal anfangen dein Verzeichnis von Verarbeitungstätigkeiten zu schreiben.

Mein (mail)hoster ruft 1,35 €/md. für 100 GB Speicher, unbegrenzt trafik, tägliches backup, UPS+Generator, 4 Carrier zu 2 Knoten und 24/7/365 Monitorering & Support bei 99,7% uptime auf. Das seh ist als Discount-hoster an und war meine unterste Schmerzgrenze. Deine Kunden mögen das anders sehen. Jede Konkurrenz ist willkommen und freies Unternehmertum ist ein hohes Gut.

 

[wario]

Deine 100 Mbps upload werden ein Flaschenhals..

das Upload Problem ist bekannt. Streaming soll voerst auch nicht möglich sein. Die Leute wissen auch dass der Server Einschränkungen hat und ich werde dass auch so Kennzeichnen. Vorab, es kommen keine geschäftlichen Verträge zustande sondern eher Spenden für den Unterhalt und die Kosten des Servers. Wenn es irgendwann mal was grösseres werden wird, ziehe ich um in eine Stadt wo ich nen besseren Anschluss bekomme (Zürich hat bereits sehr viel 10gbitupdown Anschluss

Warum willst du den Nutzern eigene Volumen zuordnen? Das kann man über Quota eleganter und dynamischer machen und Skalierbarkeit haben. Am Tag 1 musst du dir nicht schon x Platten zulegen. DSM ist ein Linux und kein DOS. Rechteverwaltung ist alles.

Das nehme ich gern entgegen, Ich dachte es wäre "sicherer" und von der Übersicht her besser. Ausserdem dachte ich dass ich so mehr flexibilät habe indem ich Volumes wieder anpassen und löschen kann. Wenn ich ein grosses USER Volume habe kann ich es z.B nicht wieder verkleineren. Okay, eigentlich müsste ich dass ja auch nicht, wenn ich mir dass so überlege. Ich muss bei den Quotes setzen aber trotzdem noch für jeden User nen Freigegeben Ordern machen und diesen so konfiguieren dass die anderen User die Ordner natürlich nicht sehen.
Aber vielen dank das werde ich heute gleich ausprobieren.

Backup gehört imho mindestens in einen anderen Brandabschnitt des Gebäudes. Offsite ist besser. Meins liegt auf Arbeit.

werde ich auf jedenfall beherzigen.

Da du das auf eine monetäre Basis stellen willst:

ich wohne in der Schweiz, hier ists nicht so dermassen überreguliert, und Spenden dürfen offziell nicht besteuert werden, der Betrag ab dem ich das angeben muss ist auch weit unter dem was ich so bekomme.

Mein (mail)hoster ruft 1,35 €/md. für 100 GB Speicher, unbegrenzt trafik, tägliches backup, UPS+Generator, 4 Carrier zu 2 Knoten und 24/7/365 Monitorering & Support bei 99,7% uptime auf. Das seh ist als Discount-hoster an und war meine unterste Schmerzgrenze. Deine Kunden mögen das anders sehen. Jede Konkurrenz ist willkommen und freies Unternehmertum ist ein hohes Gut.

Unser System ist so aufgebaut, das grosse Investoren insgesamt das leichtere Spiel haben. Kleine werden hart besteuert, haben keinen Zugriff auf tiefe Zinssätze oder gar negativ Zinsen und Subventionen.
Dass ein kleiner nicht mit den Preisen mithalten kann ist eine logische Schlussfolgerung.
Ich bin in einer Gemeindschaft die dass auch so sieht, und die gerne etwas mehr bezahlt, um kleineren Markteilnehmern etwas bessere Chancen ermöglicht wieder im Markt mitzumischen.

Danke für deine Zeit, lg

@blurrrr

hallo Blurrr, hast du auch was zu sagen oder kannst du nur mit Lachsmileys auf meine Posts reagieren?

 

[wario]

Hallo nochmals Ich habe mich im Thread alles evt etwas undeutlich formuliert. Ich würde momentan auf keinen Fall Daten von Geschäften, Kleinunternehmen oder Selbständigen übernehmen wollen. Dafür reicht mein Angebot garrantiert nicht aus. Mit "Bald" meinte ich auch eher so in einem halben Jahr. Ich setze mich täglich wirklich Stunden hin und mir versuche das Wissen anzueignen und eine Skizze zu erstellen wie was funtkionieren soll, was ich bei Problemen mache, wie ich Hardwareausfälle bewältige und mir dabei eine Routine aneigne. Ich bin nicht aus der Berufsgattung und verfüge auch deshalb ehrlich gesagt nur übe Halbwissen Mir ist es aber wichtig aus diesem Halbwissen auch Wissen zu erabreiten dass Hand und Fuss hat. Das geschäftliche bezieht sich eher auf eine Spende innert der Gemeinschaft, es gibt User die gerne bei uns selber Ihre unkritischen Daten Hosten wollen um uns insgesamt zu Unterstützen.
Ich weisse aber ausdrücklich alle interessierte darauf hin dass das keine Cloud für kritische bzw geschäftliche Daten werden sollen. Ich weisse jedliche Haftung von mir, es kommt kein Vertrag zustande oder irgendwas. Das ganze mache ich aus Interesse und falls es irgendwann mal doch grösser werden sollte, hole ich mir dafür natürlichen den geeigneten Experten un lasse mich für ein Unternehmen beraten.
Wollte das nur sagen weil es es so rüberkam als wolle ich Daten von kleinen Unternehmen hosten und würde das bereits in einigen Wochen starten. Sorry dafür. lg