Korrupte Dateien und Transfergeschwindigkeiten

[wjavixxassuj]

Hallo Zusammen,

ich nutze eine DSM720+ mit installierter DSM 7.2-64561.
Festplatten: 2x Seagate Barracuda 10TB (ST100000DM0004-1ZC101) im Synology Hyrid RAID (SHR)
SSD Cache: 2x Integral SSD 128GB NVME
RAM: Integral 16GO DDR4 RAM

Meine Konfiguration sieht wie folgt aus:

• NAS ist verbunden mit einem CAT7 Patchkabel an die Fritzbox 6690. Hängt am 1 Gbit Port und die Netzwerkübersicht sagt "LAN 2 at 1 Gbit/s"
• Desktop Rechner ist verbunden mit demselben CAT7 Patchkabel an die Fritzbox 6690. Hängt am 2,5 Gbit Port und die Netzwerkübersicht sagt "LAN 1 at 2,5 Gbit/s". Die Netzwerkkarte ist auch fähig mit 2,5 Gbit/s zu arbeiten.
  
  
• Openspeedtest im Docker Container:
  • Download: ~900Mbit/s; Upload: Upload: ~700Mbit/s, Ping: 4ms
    
• Für den Filetransfer nutze ich Netzlaufwerke die mit SMB3 Protokoll laufen.
• S.M.A.R.T. Test (Laufwerkstatus): In Ordnung (alle Festplatten).

Jetzt habe ich folgendes Problem:

1. Wenn ich Dateien aus dem Internet direkt in mein Home Verzeichnis lade und diese dann entpacke, habe ich oft das Problem das die Dateien kaputt sind. Lade ich dieselben Dateien über denselben Weg direkt auf eine lokale Festplatte habe ich dieses Problem nicht. Beobachten kann man das vor allem bei größeren Dateien. Gibt es hierfür einen erklärenbaren Grund?
   
   
2. Mir ist aufgefallen, dass wenn ich bspw. Videomaterial die mehrere GB groß sind auf die NAS im internen Netzwerk kopiere ich Geschwindigkeiten von ~100Mbit/s erreiche. Bei vielen kleineren Dateien dümpelt die Transfergeschwindigkeit <5Mbit/s herum. Müsste die Transferrate bei den größeren Dateien nicht viel höher liegen?

 

[plang.pl]

S.M.A.R.T. Test (Laufwerkstatus): In Ordnung (alle Festplatten).

Das sagt nix aus. Poste mal die Details der Platten:

Gibt es hierfür einen erklärenbaren Grund?

Mal einen RAM-Test gemacht? (mit dem Synology Assistant am PC)

Zu 2.) Ist dabei WLAN im Spiel oder sprichst du von kopieren nur über LAN? Bei vielen kleinen Dateien ist das Kopieren viel langsamer als bei großen.

Was läuft sonst auf der DS? Docker, VMs? Pakete? Vielleicht ist nur das Volume ausgelastet?

 

[wjavixxassuj]

Details der Festplatten:

HDD1	HDD2

Mal einen RAM-Test gemacht? (mit dem Synology Assistant am PC)

Nein, war mir nicht bekannt das Tool. Probiere ich gleich mal aus und lasse es ggf. über Nacht laufen.

Zu 2.) Ist dabei WLAN im Spiel oder sprichst du von kopieren nur über LAN? Bei vielen kleinen Dateien ist das Kopieren viel langsamer als bei großen.
Was läuft sonst auf der DS? Docker, VMs? Pakete? Vielleicht ist nur das Volume ausgelastet?

Nein, WLAN ist nicht im Spiel. Beide Geräte sind per LAN Kabel mit der Fritzbox verbunden. Das kleinere Dateien langsamer zu kopieren sind ist mir bewusst. Wenn ich aber eine 50GB Datei übertrage, dann wundern mich die 100Mbit/s dann schon, weil ich auf jedenfall mit mehr gerechnet habe. Ich weiß auch das der Flaschenhals hier die HDDs sind, die sollten aber auch mehr wie 100Mbit/s schaffen.

Auf der Synology laufen ansonsten einige Docker Container. Zum Zeitpunkt waren alle Container im Leerlauf, heißt auf der NAS arbeitet außer mir niemand. Die Container sind nicht ausgelastet und drücken auf die Performance vom NAS. VM's habe ich nicht.

Jellyfin	Vaultwarden	Paperless-NGX	Invidious	SearNGX
Jellyseer	WikiJS	Pyload	Speedtest-Tracker	DrawIO
WBO	Portainer	Adguard	Rustdesk

 

[himitsu]

Ja, bei Großen, kann es im 1Gbit locker mal auf 112MB/s hoch gehen.

Dass es bei vielen Kleinen runter geht, ist nochtmal.
* Overherad im Netzwerk
* und viele kleineteilige Lese-/Schreibzugriffe auf die Platten
* eventuell kann beim Letzten ein SSD-Cache helfen
* Viel freier RAM hilft vor allem bei häufigen kleinen Lesezugriffen. (auch Random Access auf große Dateien)

Du kannst erstmal probehalber dein PC-Netzwerk auf 1 GBE runter schrauben, falls der Fehler in den 2,5G liegt und/oder dem Kabel liegt.

Ich hatte vor Jahren mal mit einem USB-LAN-Adapter Probleme.
LAN war OK, aber beim USB schlichen sich durch einen defekten Intel-Treiber, vor allem bei großen Datenmengen, fehlerhafte Bytes rein.
Dadurch ging die Datenrate runter (CRC-Prüfung schlug an und übertrug es erneut) aber ab und an passten die fehlerhaften Daten zum CRC, so dass es dann auf die Platte geschrieben wurde.

Versuch:
* große Datei auf dem PC
* diese auf's NAS und zurück kopieren
* dann diese Dateien binär vergleichen und schauen Was genau kaputt ging.

Du kannst Dateien mit Prüfung kopieren (also nach dem Kopieren den Inhalt verifizieren)
oder vorher Hashs (CRC32/MD5/SHA...) generieren und hast so eine Möglichkeit der nachträglichen Fehlerprüfung

Passieren die Fehler im NAS, dann könntest du im Dateisystem auch Hashs aktivieren und somit nachträglich alle Dateien einzeln prüfen/überwachen lassen.
* z.B. defekter RAM-Riegel

 

[plang.pl]

Die Platten sind ok.
Wie schaut es sonst aus?

Ist dabei WLAN im Spiel oder sprichst du von kopieren nur über LAN?

Was läuft sonst auf der DS? Docker, VMs? Pakete? Vielleicht ist nur das Volume ausgelastet?

Mal einen RAM-Test gemacht? (mit dem Synology Assistant am PC)