NVME SSD als Volume nutzen - Erfahrungen

[PlexUser]

Ok, danke, dann brauche ich also in meinem Anwendungsfall kein Raid 1.

 

[ctrlaltdelete]

Raid1 mit 2 x Kingston SA2000M81000G 1 TB eingerichtet und BTRFS Volume erstellt.
Raid-sync fehlerfrei, Temperaturen beim sync:
Slot 1: 45 Grad (idle 27)
Slot 2: 38 Grad (idle 28)
System: 44 Grad (idle 36)
Alles unkritisch. Da ich ein eine gute Backupstrategie (2.DS, C2 Cloud, USB) habe werde ich mal alle Pakete auf das Volume verschieben und dann weiter testen. Ich werde berichten. Bisher bin ich absolut happy mit diesem Setup.

 

[Mavalok2]

dann brauche ich also in meinem Anwendungsfall kein Raid 1.

Dass muss immer im Einzelfall betrachtet und abgewogen werden. Ganz klar ist RAID mit Redundanz besser und auch zu empfehlen. Aber wenn es das Budget nicht hergibt, ein Ausfall nicht ins Gewicht fällt, das Gerät auch so schnell wieder aufgebaut ist, die Daten sich kaum verändern, auch Platzmangel kann ein Grund sein etc. Das sind Argumenten, die jeder nur für sich selbst abwägen kann.
Für mich persönlich ist ganz klar, NAS gibt es bei mir nur mit RAID mit Redundanz.

 

[PlexUser]

Ja eben, das ist ja die Einzelfallentscheidung: im Laptop läuft auch nur eine NVMe als Systemplatte, von daher wäre es völlig plemplem, wenn ich mir jetzt Gedanken machen würde, ob der Plex-Server zwingend auf nem Raid-1 laufen sollte ;-)

 

[Mavalok2]

Hatte in der Firma auch schon Workstations mit RAID1. Eine coole Sache, sollte eine Festplatte mal ausfallen. Ist genau ein einziges Mal bei einer Workstation passiert. Deshalb wieder mit Einzelfestplatten in Betrieb und regelmäßige Sicherungen der Systemfestplatte. Daten liegen ohnehin nur auf den Servern.
Es gibt schlichtweg kein Rezept welches immer funktioniert. Deshalb ist dieser Thread hier auch spannend, da @ctrlaltdelete hier einen Lösungsansatz verfolgt und ausprobiert, der so von Syno noch gar nicht wirklich vorgesehen ist. Aber ich denke mir, dass ich - zumindest was ich hier bisher lese - auch auf diesen umstellen werde. Muss allerdings meinem DS720+ noch etwas RAM spendieren. Mit 2 GB RAM nutzen die NVMe auch nicht so wirklich viel.

 

[PlexUser]

Hat schon jemand ausführlicher getestet, was so ein NVMe Volume bringt?
In ersten Tests habe ich im Vergleich zum HDD Raid (bei welchem sich der Workload ja auf mehrere Platten verteilen kann) keine wirklich große Verbesserung feststellen können. Ich hatte bisher aber auch nur Volume-internes Kopieren testen können.
Hat jemand von euch schon ausführlicher testen können?

Zudem überlege ich nun doch zwei NVMe zu verwenden. Soweit ich mich erinnere bietet ein Synology Raid1 aber keine Beschleunigung beim Lesen, da Synology bei Raid1 immer nur von einer Platte liest anstatt den Workload auf beide Platten zu verteilen, oder?

Um das Navigieren innerhalb der Nutzeroberfläche von Plex noch weiter zu beschleunigen, überlege ich nun daher einen Raid0 einzurichten. Ich nutze die M.2 Schnittstelle ja derzeit nur für den Plexserver und falls das Volume crasht brauche ich ja nur die Datenbank und Metadaten aus dem Backup wieder rüberzukopieren. Ein Raid0 sollte doch auch in diesem Fall (furchtbar viele winzige Dateien in furchtbar vielen Ordnern) nochmal deutlich mehr Geschwindigkeit bringen, als wenn ich nur eine NVMe verwende oder gibt es auch Situationen wo ein Raid 0 nichts gegenüber einer einzelnen NVMe bringt?

 

[ctrlaltdelete]

Ich habe es bisher nur als Volume (Raid1) für eine VM WIndows 10 laufen und da läuft WIndows flüssig, vorher mit den HDDs war es wesentlich langsamer. Raid 1 hast du halt den Vorteil nur die SSD tauschen zu müssen und kein Backup einzuspielen.

 

[PlexUser]

Danke für dein Feedback! Könntest du bei Gelegenheit bitte mal prüfen, ob Synology auch bei NVMe im Raid1 immer nur von einer Platte liest anstatt den Workload auf beide zu verteilen? (Prüfbar durch kopieren vom NVMe Volume auf das HDD Volume. Dabei von beiden NVMe die Datenträgerauslastung unter "Resurcen-Monitor" -> "Datenträger" -> "alle anzeigen" beobachten.)

Das Backup bräuchte ich bei Raid1 nicht, stimmt! Allerdings wäre in beiden Fällen immerhin folgendes erforderlich:

• NAS runterfahren
• NAS auf den Kopf stellen und dazu bei Bedarf zuvor Kabel lösen
• NVMe tauschen
• NAS richtig rum hinstellen und dazu bei Bedarf zuvor Kabel anschliessen
• NAS hochfahren
• Raid Reparatur bzw. Einrichtung starten

Zu dieser ganzen Liste käme in meinem Fall bei einzelner NVMe oder Raid0 lediglich das folgende dazu:

• Plex Installation (3-4 Clicks und weniger als eine Minute Zeitaufwand)
• Backup vom HDD SHR1 Raid einspielen (3-4 Clicks und je nach Größe der Datenbank 5 min bis 1h Wartezeit)

Für mich ist es dieser geringe Mehraufwand bei Eintreten des Worst Case es einfach nicht wert dauerhaft auf eine bis zu doppelte Performanz zu verzichten und nur die Hälfte des Speicherplatzes zu haben. Bei komplexeren Installationen auf dem Volume sieht das aber natürlich aus.

Ideal wäre ein gut eingerichtetes Raid1, welches beim Lesen beide Datenträger nutzt anstatt nur einen... Aber das bekommt man soweit ich weiss selbst per Konfiguration per SSH nicht hin, das müsste leider Synology implementieren Aber siehe oben, eventuell hat Synology das ja zwischenzeitlich bereits geändert... wäre interessant, wenn das jemand mit m.2 NVMe Raid1 mal prüfen könnte.

 

[plang.pl]

Gerade ausprobiert: Beim kopieren von Daten über die FileStation vom nvme RAID1 auf HDD wird leider nur ein Datenträger der nvme lesend belastet. Beim Schreiben vom HDD auf nvme wird nur eine HDD belastet, aber beide nvme-Laufwerke

 

[PlexUser]

Vielen Dank fürs testen!
Sehr schade, dass Synology das immer noch nicht geändert hat... Das verursacht ja nicht nur die Halbierung des möglichen Lesespeeds von Raid1 sondern führt noch dazu zu einer enorm unterschiedlichen Belastung der Datenträger und insbesondere bei HDD wäre ja eine möglichst gleichmäßige Belastung der Datenträger sinnvoll...

 

[PlexUser]

Ok die Raid-Implementierung stammt offenbar garnicht von Synology sondern ist einfach eine Linux-Distribution.
Und warum auch immer, dachten die Entwickler des Software-Raids, dass es zum Load-Balancing eine gute Idee ist, durch einen Hash der Process-ID zu entscheiden von welcher Platte ein Raid1 gelesen wird. Sprich bei gleicher Process-ID wird immer von derselben Platte gelesen. Greift dann ein zweiter Process auf das Raid1 zu, besteht zumindest eine 50:50 Chance, dass er auf die andere Platte zugreift - je nach dem wie der Hash seiner Process-ID ausfällt...
Was für ein Unfug... Das mag ja bei Servern sinnvoll sein, wo ständig alle möglichen Prozesse auf die Volumes zugreifen, aber eben auch nur dann... Für den normalen Anwender ist das so ziemlich die ungünstige Idee für Load-Balancing...

Dennoch sehr verwunderlich, dass Synology unter diesen Umständen nicht ihr eigenes Software Raid implementiert haben. So furchtbar umfangreich oder komplex ist der Quellcode dafür ja nicht... Wäre ja die Pflege von so hundert oder maximal wenigen hundert Zeilen Quellcode schon wert, wenn dafür dann alle Synology-Raid1 doppelt so schnell im Lesezugriff wären...

 

[Mavalok2]

wenn dafür dann alle Synology-Raid1 doppelt so schnell im Lesezugriff wären...

Ich denke, bei vielen Synos dürfte hier die PCIe Schnittstelle das Bottleneck sein.

Beim Schreiben vom HDD auf nvme wird nur eine HDD belastet, aber beide nvme-Laufwerke

Klar, weil der neu geschrieben Inhalt direkt auf die 2. Platte des RAID1 gespiegelt wird.

Ich habe es bisher nur als Volume (Raid1) für eine VM WIndows 10 laufen und da läuft WIndows flüssig, vorher mit den HDDs war es wesentlich langsamer.

Windows 10 läuft grundsätzlich auf einer HDD eher schlecht. Es empfiehlt sich hier immer eine SSD vorzuziehen.

 

[PlexUser]

Ich denke, bei vielen Synos dürfte hier die PCIe Schnittstelle das Bottleneck sein.

Naja aber dann ist es ja sogar noch unverständlicher, dass beim Lesen von Raid1 nur eine Platte verwendet wird... Wenn beide Platten genutzt werden würden, würden ja eben auch doppelt so viele PCIe Lanes genutzt werden.

Edit: @Mavalok2 achso,ich glaube ich verstehe wie du dir das dachtest! Du dachtest vermutlich an PCI (ohne "e")! Da wäre es tatsächlich so gewesen: alle Geräte teilten sich den PCI-Bus.
PCIe klingt zwar ähnlich wie PCI ist aber etwas vollkommen anderes! Bei PCIe gibt es Lanes und jedes Gerät hat seine eigenen Lanes, welche für andere Geräte schon rein physisch / elektrisch unmöglich zu erreichen geschweige denn zu nutzen sind. Sprich der einzige Weg mehr Daten gleichzeitig zu übertragen, ist es mehr Geräte gleichzeitig zu verwenden. Oder anders fomuliert gilt für PCIe: je mehr Geräte desto leistungsfähiger wird die PCIe-Schnittstelle insgesamt und desto weniger Bottleneck.
Edit2: ok, ich habe gerade gesehen, dass es wohl auch PCIe Switches gibt... Aber die werden wohl erst im HighEnd-Bereich verwendet.

 

[PlexUser]

Mal wieder neue Erfahrungen mit den M.2 als Laufwerk: die beiden NVMe laufen bei mir inzwischen als Raid 0. Seltsamer Weise liegen die Übertragungsraten beim Volumen-internen Kopieren des Plex-Ordners aber auf dem Niveau des Einzel-NVMe-Volumes

 

[Mavalok2]

Nein, ich meinte schon PCIe, also Peripheral Component Interconnect Express. Leider kenne ich die genauen technischen Spezifikationen von der Anbindung von NVMe M.2 SDD bei Syno nicht. Aber ich habe in einem Testberichten gelesen, dass diese eben nur mit PCIe 2.0 x1 angebunden sein sollen, also 2. Generation mit nur einer Lane, was 500 MB/s bedeuten würde. Es wurde allerdings nicht darauf eingegangen ob dies pro M.2 oder für beide gilt. Aber ich gehe davon aus, dass dies wohl eher letzteres sein wird. Aber vielleicht hat hier jemand exaktere Angaben dazu.

Weise liegen die Übertragungsraten beim Volumen-internen Kopieren des Plex-Ordners aber auf dem Niveau des Einzel-NVMe-Volumes

Das würde meine Theorie bestätigen.

 

[PlexUser]

Das würde meine Theorie bestätigen.

schon, nur passt die Theorie zu PCI (und weiteren "historischen" Schnittstellen) und nicht zu PCIe
Das ist ja gerade der elementare Kern des PCIe Konzeptes: anstatt dass sich alle Geräte einen zentralen Bus teilen, soll jedes Gerät seine eigene Lane(s) haben.
Von den insgesamt 6 PCIe 2.0 Lanes des J4125 sollte jeder M.2 Slot seine eigene Lane haben. Mehr geht halt mit J4125 leider nicht...
Die beiden NVMe M.2 Slots deiner Theorie nach mit einem PCIe Switch auf eine gemeinsam genutze PCIe 2.0 Lane zu mappen wäre ein ausgesprochen ungewöhnliches und noch dazu sehr teures Boardlayout...
Sich zwei NVMe mit jeweils! mehr als 3000 MB/s an eine gemeinsam genutze 500 MB/s Lane zu hängen und dazu noch nen relativ teuren PCIe Switch zu verballern? So entwickelt man keine Boards - hoffentlich

Ich befürchte die Ursache dieses seltsamen Ergebnisses eher im Software-Raid... Bin aber dennoch sehr überrascht...

 

[PlexUser]

Ok, hier mal die Ergebnisse von hdparm: die Ergebnisse zeigen ganz klar, das jede M.2 ihre eigene PCIe 2.0 Lane hat und die ca. 80% mehr Durchsatz als die Ergebnisse einer einzelnen Platte (siehe Seite 1) passen gut zu dem was ich von Raid0 erwarten würde.

Warum die Ergebnisse beim Volume-internen Kopieren per Filestation so seltsam aussehen ist mir aber weiterhin unerklärlich...

 

[ctrlaltdelete]

Update: Habe jetzt alle Pakete auf das NVME-Volume verschoben mittels dieses Scripts: https://www.synology-forum.de/threads/apps-von-volume-x-nach-volume-y-verschieben.77896/ läuft alles gut. Temperaturprobleme Fehlanzeige.

 

[Mavalok2]

Klingt gut. Jetzt benötige ich nur noch Zeit für den Umbau und mit Dir nachzuziehen.

 

[ctrlaltdelete]

Was für einen Umbau?