Allgemeine Fragen zum Thema ISCSI und HA Cluster

[gandalf101]

erst mal ein Hallo an alle hier im Forum,

ich habe schon viele kleinere Projekte mit Synology Nas Systemen realisiert, und die Qualität und Leistung war und ist für mich immer ausreichend gewesen. Jetzt steht ein größeres Projekt an und da hätte ich auch gerne die Synology als Shared Strorage für einen HA Proxmox Cluster verwendet.

Ich hatte da an 2x DS3018xs mit je einer 10Gbit dual Nic gedacht. Davon wollte ich je einmal den Heartbeat und je einmal das Storage Lan abbilden. Als Bestückung dachte ich an je 2x SSD im Raid1 und je 4x HDD im Raid 5

Jetzt wollte ich mal fragen mit welcher ISCSI bzw. NFS Performance ich real so in etwas rechen kann, hat hier jemand Erfahrung? Es werden so etwa 10-15 Windos Maschinen im Cluster laufen. Eventuell würde ich auch 2x RS3618xs nehmen, hätte ich da mehr Leistung?

Hat jemand praktische Erfahrungen mit dem HA Cluster, funktioniert dieser einwandfrei oder gibt es Probleme mit der Datenkonsistenz im Betrieb oder Faillover? (Habe da im Forum was gelesen)

Und dann würde ich gerne noch eine DS918+ als Backup für die Replication des Clusters einsetzen, ist dies auf einem HA Cluster grundsätzlich möglich, wie schnell lassen sich die Daten sichern (habe mal gelesen das RSINC da auf 50 MBs begrenzt ist)? Kann man eigentlich mittels Browser auf die Replizierten ISCSI LUN Daten direkt zugreifen und diese bei Bedarf auch einzeln wiederherstellen? Da habe ich nichts genaues finden können.

ich weiss, viele Fragen aber ich freue mich auf euer Antworten

Grüße
Gandalf101

 

[Ar-Al]

Ich bin neugierig und habe erstmal nur die technischen Daten beider Server nebeneinander gelegt:
https://www.synology.com/de-de/products/compare/DS3018xs/RS3618xs

 

[blurrrr]

Via Browser auf ISCSI-LUNs zugreifen... auch mal eine nette Idee...

4x HDD im Raid 5... Geht so, da dürfte ein Raid10 schon flotter sein... (oder - damit die Leitung auch wirklich ausgereizt wird, 4x DC-SSD). Was den Clusterbetrieb angeht, so läuft hier auch was zwecks Virtualisierung kleinerer VMs (ohne 10GBit), aber das sind auch alles kleine Linux-VMs und keine Windows-VMs. Zugriff erfolgt hier via NFS und nicht über ISCSI. Die Frage wäre wohl auch, was es für Windows-Maschinen sein sollen (Client/Server?). Sofern es um Clients geht, Gedanken direkt wieder streichen und über einen Terminalserver nachdenken. Sofern es Windows-Server sind, ggf. über Konsolidierung der Dienste nachdenken. Was die Datenkonsistenz angeht... immer ein Backup parat haben. Wird hier täglich gemacht, die Snapshots wirst Du wohl öfters machen können (mitunter stündlich oder so). Was die "Snapshot&Replication"-Funktionalität angeht, kann ich dazu nichts sagen, da hier sowas nicht genutzt wird (zuviel Abhängigkeit von einem Hersteller und seinen Funktionalitäten). Soweit ich weiss, kannst Du die Snapshots und/oder Replikation aber direkt auf das kleinere Gerät laufen lassen.

Was das Thema rsync angeht, so stellt sich halt die Frage, ob da wirklich "soviel" an Daten zu übertragen ist (nach initialem Sync), dass Du (auch mit 50MBs) nicht damit hinkommen würdest. Ich muss ganz ehrlich gestehen, dass das Synozeugs zwar schön, gut und einfach ist (ebenso wie Proxmox), aber für den "richtigen" Storage, werden dann doch eher richtige Server mit GlusterFS benutzt. Bei redundanter Infrastruktur (Proxmox-Cluster, Syno-Cluster) dürften (sollten?) auch redundante Switche vorhanden sein, wobei schon jeder Node 2x10G für die Verbindung pro Switch bräuchte - da bliebe dann ja auch nur 1x1GBit-Port für die Heartbeat-Verbindung.

Snapshot und Replikation und was weiss ich nicht - hin oder her - ein vernünftiges Backup solltest Du sowieso machen. Mit "vernünftig" meine ich übrigens ein jedes welches, bei welchem eine granulare Wiederherstellung möglich ist (je nach verwendeten Diensten). Bei einem Mailserver wäre es eben die Wiederherstellung von einzelnen Mails, usw.

Wenn Du auf Raid5 setzt (oder Raid6) erhöht sich der Durchsatz mit jeder weiteren "Spindel", von daher - so zumindestens bei mir - lieber mehrere kleinere HDDs (z.B. WD Gold?) als eine handvoll große. Alternativ wie schon gesagt eben DC-SSDs, sind hier schliesslich nicht auf einem Ponyhof die RS (genaue Specs weiss ich grad nicht), sollten aber schon mit red. Netzteil bezogen werden (also "RP" oder "+") und über verschiedene Phasen laufen.

Wieviele Proxmox-Nodes hast Du eigentlich im Einsatz? Können uns da aber auch gern nochmal im Detail via PM (oder anderweitig) drüber unterhalten.

Schönen Gruß

 

[NormalZeit]

. . . da bliebe dann ja auch nur 1x1GBit-Port für die Heartbeat-Verbindung.

Das reicht. Über den Heartbeat laufen keine großartigen Datenmengen. Sollte aber möglichst eine direkte Verbindung sein und nicht über einen Switch gehen.

 

[blurrrr]

so stehts beschrieben

 

[gandalf101]

Danke für die Infos,

es sollen 2 Switche zum Einsatz kommen, auf den ersten Nas1 auf den zweiten Nas2 und die beiden anderen 10Gb Ports als Heartbeat. Könnte ich alternativ auch die restlichen 4x 1G als Bond für den Hearbeat nehmen?

Allerdings interessiert mich am meisten die Performance, kann ich die volle Leistung von den SSDs (ca 500 MBs) für die VMs bereitstellen, wer hat denn Erfahrungen mit den Geräten beim Durchsatz und im täglichen Einsatz? Ist ISCSI eigentlich performanter als NFS?

@blurrr gerne können wir uns weiter unterhalten, aber ich konnte hier im Forum keine PM finden, oder bin ich blind? Du scheinst von Proxmox nicht so wirklich überzeugt zu sein, hast du schlechte Erfahrungen damit gemacht?

Grüße aus Oberbayern,

Gandalf101

 

[blurrrr]

Habe ich u.a. selbst im Einsatz Das mit dem Bonding für die Heartbeat-Verbindung ist allerdings eher nicht so sinnig, da das Konstrukt so einfach wie möglich gehalten werden sollte. Das mit dem angedachten Konstrukt ist auch nicht so prickelnd, denn wenn ein Switch ausfällt, dürfte kein Failover stattfinden, da die Heartbeat-Verbindung ja noch steht und das aktive NAS somit auch einsatzbereit ist. Kann mich aber auch irren Pm sollte eigentlich vorhanden sein, ansonsten halt mal direkt über den Link "Benachrichtungen" oben.

 

[NormalZeit]

Könnte ich alternativ auch die restlichen 4x 1G als Bond für den Hearbeat nehmen?

Würde ich auf keinen Fall machen. Über die Heartbeat Leitung fließen kaum Daten und die sollte immer straight forward und simpel aufgebaut sein. Am besten direkt ein Patchkabel zwischen den beiden Synos an jeweils einem 1 GBit Port.

Die beiden Synos mit 10 GB an getrennte Switche anzuschließen ist auch keine so gute Idee, wie blurrr schon schrieb, macht das bei einem Switchausfall Probleme mit dem Failover.

Wir hatten bis vor einem Jahr 2x RS2415rp+ (beide voll mit 6 TB Platten im RAID 6) in Betrieb, von daher kann ich aus der Praxis sprechen.

 

[gandalf101]

ah ok, der Heartbeat dient also nur zur internen Kommunikation und die Daten werden jeweils direkt über die 10G Leitung auf die beiden Geräte geschrieben?

Dann mache ich natürlich je einen 10G Active/passive Bond auf 2 getrennte Switche.

@NormalZeit was für Erfahrungen hattest du denn mit dem Verbund? Lief dieser Stabil und hattest du 600-700 MBs Durchsatz?

Gruss aus Oberbayern

Gandalf101

 

[NormalZeit]

@NormalZeit was für Erfahrungen hattest du denn mit dem Verbund? Lief dieser Stabil . . .

Wie gesagt, es waren 2x RS2414rp+. Von den vier GB-Interfaces waren 2 getrunct für die Nutzdaten, 1x Heartbeat und 1x Management in einem anderen IP-Bereich wie die Nutzdaten, für letzteres haben wir ein eigenes Storage VLAN. Freigabe erfolgte über NFS an zwei Clients.

Das initiale Setup mit 8x 6 TB Platten lief fast ein Jahr stabil und rund, Datendurchsatz mit 200 MB/sec im Peak im Bereich des praktisch Möglichen. Da SHR mit HA nicht funktioniert, wir aber mehr Platz benötigten, haben wir nach Rücksprache mit Synology den HA erst aufgelöst, und dann nacheinander jede Maschine mit 12 Platten bestückt und ein neues RAID 6 (mit je 1 Hotspare) eingerichtet, Daten zurückgespielt und schließlich beide wieder zu einem HA verbunden.

Von Anfang an hatten wir natürlich immer ein aktuelles Backup in einem entfernten Rechenzentrum, zu welchem wir eine eigene Dark-Fiber liegen haben.

Das „neue“ HA lief dann auch für ein paar Monate stabil, bis die Probleme losgingen. Mehrfach hat sich das HA ohne Ursachen aufgelöst, und die „verschwundene“ Maschine konnte auch Remote nicht wiederbelebt werden, wir mussten immer ins RZ fahren und Köpfchen drücken ... und dann bange knapp 10 Minuten warten, ob die Kiste den Arsch auch wieder hochkriegt. Das erste DSM Update war ein Desaster und wir mussten beide Maschinen manuell durchbooten, was insgesamt über eine viertel Stunde Komplettausfall bedeutet hat. In der Folgezeit haben wir die DSM Updates einfach ausgesessen, da es kein besonderes Risiko war, direkt von außen waren die Maschinen ohnehin nicht erreichbar.

Auch der Support von Synology konnte jedesmal keine Fehler finden (Remote Session).

Zu guter letzt liefen dann zwar beide Maschinen, ließen sich aber auch von Synology nicht mehr zu einem HA verbinden. Es wurde uns zwar ein Tausch der Maschinen angeboten, allerdings nicht im Vorabtausch so dass wir eine nach der anderen hätten migrieren können. Im professionellen Umfeld ist so ein Service Level undenkbar.

Für ein produktives System das 24/7 für globale Kunden Daten bereitstellt war uns das dann doch ein zu heißer Ritt und wir haben uns von den Synologys wieder getrennt – eine steht jetzt bei mir zu Hause als Datengrab, wird aber wegen Lärm und Stromverbrauch nur im Bedarfsfall hochgefahren.

. . . und hattest du 600-700 MBs Durchsatz?

ne, nur 200 MB/sec, siehe oben.

Erwartest Du Dir wirklich 600 – 700 MB/sec? Welche Platten baust Du ein und wieviele Spindeln? Wie viele Clients greifen bei Dir parallel und gleichzeitig zu? Viele kleine Dateien oder wenige, große?

Solche Raten erreichen wir auf unseren Storages mit konventionellen Platten im RAID 60 und Dual 16 Gbit FibreChannel, mit SSDs geht dann schon mehr.

 

[blurrrr]

Kleine Korrektur: Über die Heartbeat-Verbindung synchronisieren sich die Geräte, daher sollte das auch die schnellste (oder gleichschnell) sein.... Kannte es bisher eigentlich auch nur anders (von anderen Systemen).

EDIT: für richtiges HA im RZ und 24/7 vllt besser skalierbare Dinge nehmen (z.B. GlusterFS)

 

[gandalf101]

Hallo,

nachdem das Projekt jetzt abgeschlossen ist und seit gut 6 Monaten im Betrieb ist möchte ich mal meine Erfahrungen teilen, eventuell helfen diese anderen Nutzern bei der Entscheidung.

Für das Projekt habe ich 2 DS3018xs Systeme mit je einer 10Gbit Netzwerkkarte verbaut. Davon geht je ein Link auf einen 10Gbit Switch und der andere Link verbindert die beiden Synos als Heartbeat Verbindung. An den beiden Switchen hängen jeweils über 10Gbit die 3 Proxmox Knoten des Clusters. In den Synos sind je 6x 2Tb SSDs als Raid 5 von Samsung verbaut. Die Server greifen über ISCSI und NFS auf den HA Synology Cluster zu. Mittlerweile laufen im Cluster etwa 30 Windows und Linux VMs mit sehr guter Performance, ich selbst bin von der Performance positiv überascht gewesen, ich hatte mit deutlich weniger gerechnet. Mehrere Tests in den Windows und Linux VMs haben eine Leistung von über 800 Mbyte/s bei Einbindung mit NFS und etwas über 950 Mbyte/s bei ISCSI ergeben, auch die Zugriffszeiten auf Datenbankanwendungen in den VMs sind top.

Die Prozessor Auslastung der DS3018xs liegt dabei im normalen Betrieb bei etwa 30 Prozent und die Ramauslastung bei noch viel weniger.

Ich habe mehrfach die HA Funktion des Systems getestet, diese dauert in der Regel etwa 8-10 Sekunden bis der Takeover erfolgt ist, in meinem Fall kann ich gut damit leben.

Ein kleiner Kritikpunkt gibt es dann aber noch zu erwähnen, möchte man die Synology Systeme Updaten so ist leider ein Neustart des gesamten HA Clusters notwendig was zur Folge hat das alle VMs heruntergefahren werden müssen und die Dienste für eine gewisse Zeit nicht bereitstehen, dies sollte man bei der Planung berücksichtigen. Da die Geräte bei mir als reines internes Storage dienen kann ich auf die Updates und Neustart verzichten, aber im Shared Betrieb sollten diese natürlich immer aktuell gehalten werden.

Grüße
Gandalf101