Dateitransfers kleiner Dateien endlich mal beschleunigen? DAS kaufen?

[mgutt]

Ok... Und was ist da nun bei mir kaputt. Ob das am Switch liegt. Da muss ich wohl mal ein Kabel durchs Haus legen und auch mal das 1 GBit Onboard LAN testen.

 

[peterhoffmann]

Nu noch schnell der Test per FTP.

Programm:
Filezilla portable
Einstellung: 10 Dateien gleichzeitig

Dateienanzahl:
24.000 (12 Ordner je 2000)

Ergebnis:

Wie man sieht, weitestgehend volle Auslastung vom Netzwerk.

---

Testweise habe ich auch mal die gleichzeitige Anzahl von Dateien runtergesetzt und vom PC zum NAS (SSD) kopiert:
1 Datei gleichzeitig => ca. 25 MB/s
4 Dateien gleichzeitig => ca. 80 MB/s
5 Dateien gleichzeitig => ca. 100 MB/s

 

[mgutt]

Weiß nicht. Wozu hast du denn soviel RAM!?

Für alles was ich nutze. Dateiübertragung, Plex Thumbnails, Docker, usw. Linux nutzt den RAM ja schon recht clever. Allerdings hätte ich erwartet, dass Synology den RAM auch für den Empfang von Daten nutzt. Bei NFS gibt es dafür zB den async Modus. Auch SMB kennt den. Die Frage ist was Synology eingestellt hat:
https://www.systutorials.com/241743/is-samba-sync-or-async-for-writes/

 

[peterhoffmann]

Hier sind meine SMB-Einstellungen:

 

[mgutt]

Meine Einstellungen sehen genauso aus, nur dass bei mir SMB2 das Minimum ist. Hast Du auf deinem NAS zufällig manuell Multichannel aktiviert (das bringt auch was bei nur einer Verbindung, da dann mehrere Sessions parallel genutzt werden)? Wird hier erklärt:
https://blogs.technet.microsoft.com...a-feature-of-windows-server-2012-and-smb-3-0/

Dort wird auch erklärt wie man die verwendete SMB Version ausliest. In meinem Fall 3.1.1:

PS C:\WINDOWS\system32> Get-SmbConnection

ServerName     ShareName UserName             Credential                    Dialect NumOpens
----------     --------- --------             ----------                    ------- --------
192.168.178.10 marc      DESKTOP-PC\Marc MicrosoftAccount\marc@example.org 3.1.1   5
192.168.178.1  fritz.nas DESKTOP-PC\Marc MicrosoftAccount\marc@example.org 1.5     3
DISKSTATION    marc      DESKTOP-PC\Marc MicrosoftAccount\marc@example.org 3.1.1   2
DISKSTATION    photo     DESKTOP-PC\Marc MicrosoftAccount\marc@example.org 3.1.1   1

Dann habe ich schnell mal eine alte DS214Play angeworfen (bis auf eine feste IP ist da nichts eingestellt). Die habe ich an den 10G Switch angeschlossen, wo auch der PC dran steckt, d.h. kein anderer Switch liegt dazwischen. Auch nur 6 MB/s


Das lenkt natürlich gleich den Verdacht auf die 10G Karte im PC. Also umgesteckt auf 1G Onboard:


Das lenkt den Verdacht auf den Switch. Also das NAS mit fester IP direkt ohne Switch verbunden:


Jetzt wieder zurück zur DS1618+. Diesmal ein Kabel quer durchs Haus. Direktverbindung 1G PC Onboard an 10G NAS:


Gut. Was stimmt jetzt nicht mit meinem PC ^^ Das ist ein i5-7600K mit 32 GB 3200 Mhz RAM und Samsung 970 Pro M.2. Nichts wirkt ausgelastet.

Nehmen wir mal einen Notebook (Dell L521x):


Jetzt gehen mir die Ideen aus. Mit und ohne Switch, zwei verschiedene PCs, Kabel und NAS und alles zeigt das selbe Ergebnis. Doch SMB Multichannel?

Ich habe übrigens nie irgendeinen Cache gelöscht. Einfach immer in neue Ordner kopiert.

 

[Kurt-oe1kyw]

hmmmm, irgendwo muss da bei dir eine "Bremse" vorhanden sein.

Bei einer großen Datei mit 6 GB kann ich wie üblich mein Netzwerk auslasten, also ~ 113-115 MB/s.
Bei vielen kleinen Dateien geht es erfahrungsgemäß zurück, hier mein Ergebnis mit deiner Testdatei:



Aufbau: PC (alter i7 mit 16 GB RAM) deine Testdatei auf einer 500 GB SSD evo 850 entpackt und ganz primitiv alle markiert-kopiert-einfügen, siehe Ergebnis im Bild.
Übertragungsweg: PC - uralt netgear GS108 - DS 916+ (8GB RAM)

Verdacht:
Kann es sein dass durch die Belegung von 84% Speicherplatz bei dir auf der DS diese niedrige Geschwindigkeit entsteht?

Ich habe die gleichen Einstellungen wie Peter in #24.

Das Protokoll im DSM zeigt mir eine SMB3 Verbindung zwischen PC und DS916:

Sollte also eigentlich passen.

 

[peterhoffmann]

Beim TestPC läuft Win7, somit SMB 2.1 und kein Multichannel.

 

[mgutt]

Nach langer Suche habe ich den Schuldigen nun gefunden. Sobald ich den Windows Defender Echtzeitschutz deaktiviere (also den Virenschutz), kann ich auch kleine Dateien mit 40 MB/s aufs NAS kopieren:


Nutzt ihr alle Drittanbieter-AV-Software oder scannt bei euch der Windows Defender nicht beim Hochladen aufs NAS? Wenn ich jetzt nämlich darüber nachdenke, fällt mir ein, dass ich Mitte des Jahres das Problem hatte, dass der Windows Defender wie bekloppt auf meinem NAS nach Viren gesucht hat und schlussendlich fand ich heraus, dass der Google Play Music Manager der Auslöser war (also Downloads vom NAS):
https://www.maxrev.de/windows-defender-scannt-staendig-im-netzwerk-nur-wo-t393763.htm

Damals habe ich dann Ausschlüsse definiert. Allerdings betrafen die mein altes NAS. Mein neues hat einen anderen Namen, weshalb diese Ausnahmen eh nicht mehr greifen.

Und jetzt wenn ich noch weiter darüber nachdenke, dann fällt mir ein, dass der Windows Defender erst seit diesem Jahr mir immer eine Warnung ausgibt, wenn ich vom NAS eine Datei zB auf meinen Desktop kopieren möchte:


So als hätten die etwas geändert, das Netzlaufwerke grundsätzlich als Böse betrachten?!

Es hilft übrigens nicht, wenn ich das Netzlaufwerk M: zu den Ausschlüssen hinzufüge. Nur wenn ich den Defender abschalte steigt die Performance.

 

[Kurt-oe1kyw]

Ich nutze Kaspersky und habe die windows Sachen nicht aktiv, das wäre also eine mögliche Erklärung.

 

[Puppetmaster]

Kein Windows, kein Defender, keine Probleme.

 

[mgutt]

Kein Windows, kein Defender, keine Probleme.

 

[peterhoffmann]

Super. Dann hast du ja schon mal die Ursache.

 

[AndiHeitzer]

Ich habe bei mir auch mal geschaut ... und bin auf 5MB/s gekommen ...
Das gilt für beide Richtungen, also WIN10-PC -> DS916 oder DS916 -> WIN10-PC, wobei hier ein Managed Switch wegen LAG genutzt, noch dazwischen hängt.

Eine zehnfache Übertragungsrate (50MB/s) erreiche ich, wenn ich die Files auf das iSCSI-Laufwerk (liegt auf der DS916) schiebe ...
Lokal am Rechner zwischen zwei SSDs komme ich auf über 110MB/s.

Die DS916 verlangt SMB2 (MIN) / SMB3 (MAX) ...

Der WIN-Defender ist bei mir in normal Betrieb, neben HIRN V2.


NACHTRAG:
Bei deaktiviertem WIN-Virenschutz steigt die Rate bei SSD -> SSD auf über 300MB/s und auf ~25MB/s wenn ich auf's Netzlaufwerk kopiere.

 

[mgutt]

NACHTRAG:
Bei deaktiviertem WIN-Virenschutz steigt die Rate bei SSD -> SSD auf über 300MB/s und auf ~25MB/s wenn ich auf's Netzlaufwerk kopiere.

Dann tippe ich mal auf einen der zahlreichen Bugs im Zuge der letzten Windows Updates. Allerdings konnte ich noch keinen KB-Eintrag finden, weshalb ich in der Community dazu mal eine Frage aufgemacht habe:
https://answers.microsoft.com/en-us...th-small/59994866-52a4-44c9-9f04-d4b005014a1a

Ich registriere mich mal für die Insider Builds von Windows. Vielleicht ändert sich ja was in der nächsten Version.

EDIT: Installation von Windows 10 19013 läuft. Allerdings habe ich wenig Hoffnung, denn dieses Problem scheint wohl seit 2016 zu existieren sofern seitdem nichts verbessert sein sollte:
https://answers.microsoft.com/en-us...-service/fda3f73e-cc0a-4946-9b9d-3c05057ef90c

Dort wird empfohlen bestimmte Dateierweiterungen vom Scan auszunehmen. Spannenderweise auch .exe. Das werde ich natürlich nicht machen ^^ Ich füge dort aber jpg, txt, xml etc hinzu, die meiner Ansicht nach nicht für Viren missbraucht werden (sofern das neue Windows Update nichts bringt). Hier ist zB eine Liste von Endungen, die man auf keinen Fall ausschließen sollte:
https://www.howtogeek.com/137270/50-file-extensions-that-are-potentially-dangerous-on-windows/

Vom Prinzip könnte man annehmen, dass zB mp4 auch sicher ist, aber man darf nicht vergessen, dass es zB auch mal in VLC oder in Android Lücken gab, die selbst über Videos ausgenutzt werden konnten. In Windows ist mir aber aktuell nichts bekannt. Außerdem lade ich keine Videos herunter, sondern schaue sie wenn als Stream im Browser. Jedenfalls sollte man das nicht auf die leichte Schulter nehmen und Ausnahmen nur dann definieren, wenn man weiß was man tut.

Super. Dann hast du ja schon mal die Ursache.

Ok, also nutzt du auch nicht den Defender

 

[TeXniXo]

Spannend - bitte um laufende Updates hier!

 

[mgutt]

Für alles was ich nutze. Dateiübertragung, Plex Thumbnails, Docker, usw. Linux nutzt den RAM ja schon recht clever. Allerdings hätte ich erwartet, dass Synology den RAM auch für den Empfang von Daten nutzt. Bei NFS gibt es dafür zB den async Modus. Auch SMB kennt den. Die Frage ist was Synology eingestellt hat:
https://www.systutorials.com/241743/is-samba-sync-or-async-for-writes/

Ich habe mir mal die smb.conf angeschaut:

ash-4.3# cat smb.conf
[global]
        include=/var/tmp/nginx/smb.netbios.aliases.conf
        winbind enum groups=yes
        printcap name=cups
        min protocol=SMB2
        realm=*
        local master=no
        security=user
        passdb backend=smbpasswd
        printing=cups
        max protocol=SMB3
        winbind enum users=yes
        load printers=yes
        workgroup=WORKGROUP

Es wird also nicht "strict sync" gesetzt und damit gilt der Standardwert. Der ist nun interessant:
https://www.samba.org/samba/docs/current/man-html/smb.conf.5.html

In Samba 4.7.0, the default for this parameter changed from no to yes to better match the expectations of SMB2/3 clients and improve application safety when running against smbd.

Aktuell nutzt Synology noch eine ältere Version:

ash-4.3# smbstatus --version
Version 4.4.16
Synology Build 24922, Aug  8 2019 19:20:10

Allerdings wissen wir nicht ob Synology was am Samba Code selbst modifiziert hat. Sobald die neue Windows-Version installiert ist bzw die Ausnahmen definiert sind, ich also mit 40 MB/s kopieren kann, werde ich mal mit den Einstellungen vom Samba Server herumspielen. Mal sehen ob das einen weiteren Einfluss auf die Geschwindigkeit hat. Die Frage ist nämlich ob wir in Zukunft wenn Synology auf 4.7.0 aktualisiert evtl mit einer schlechteren SMB Performance rechnen müssen.

EDIT: Also das ist echt albern. In den Ausschlüssen von Windows Defender habe ich folgendes ohne Erfolg getestet:
M:\
\\DISKSTATION\marc
txt

Dann habe ich das probiert:
\\192.168.178.10\marc

Und das hat als einziges "funktioniert":


Wie gehabt wenn der Virenschutz deaktiviert ist:


Also die Ausschlüsse sind ebenfalls total fehlerhaft oder aber es gibt quasi eine externe und lokale Prüfung. Das Beste ist jetzt aber noch, dass ich den Ausschluss nicht mehr entfernen kann. Klicke ich auf den Pfeil zum Aufklappen, dann klappt der von alleine wieder zu ohne den Button anzuzeigen:


Eigentlich sollte es so aussehen:


Und das geilste ist, dass es nicht mal über Regedit geht:


Hinweis: Beim lokalen Kopieren (also von SSD auf SSD) funktioniert der Ausschluss "txt", aber auch nur teilweise. 50 MB/s schaffe ich ohne den Ausschluss, 130 MB/s mit dem Ausschluss und 260 MB/s, wenn ich den Virenschutz deaktiviere.

EDIT2: Ok über die Powershell ging es nun:

Windows PowerShell
Copyright (C) Microsoft Corporation. Alle Rechte vorbehalten.

Lernen Sie das neue plattformübergreifende PowerShell kennen – https://aka.ms/pscore6

PS C:\WINDOWS\system32> Remove-MpPreference -ExclusionPath "\\192.168.178.10\marc"

EDIT3: Nachdem das nichts bringt, teste ich schon mal ob wir beim asynchronen Modus was herausfinden. Über die Kommandozeile bearbeiten wir die smb.conf per vim:

ash-4.3# cd etc
ash-4.3# cd samba
ash-4.3# vim smb.conf

Ergebnis:

ash-4.3# cat smb.conf
[global]
        include=/var/tmp/nginx/smb.netbios.aliases.conf
        winbind enum groups=yes
        printcap name=cups
        min protocol=SMB2
        realm=*
        local master=no
        security=user
        passdb backend=smbpasswd
        printing=cups
        max protocol=SMB3
        winbind enum users=yes
        load printers=yes
        workgroup=WORKGROUP
        strict sync=no

Dann den Samba Serverdienst neu starten wie hier beschrieben:
https://www.synology.com/de-de/security/advisory/Synology_SA_17_72_Samba

ash-4.3# sudo /sbin/restart smbd
smbd start/running, process 1812

Ergebnis: Immer noch 40 MB/s.

Ich habe dann mal always sync erzwungen:

ash-4.3# cat smb.conf
[global]
        include=/var/tmp/nginx/smb.netbios.aliases.conf
        winbind enum groups=yes
        printcap name=cups
        min protocol=SMB2
        realm=*
        local master=no
        security=user
        passdb backend=smbpasswd
        printing=cups
        max protocol=SMB3
        winbind enum users=yes
        load printers=yes
        workgroup=WORKGROUP
        strict sync=yes
        sync always=yes

Diesmal schwankt die Übertragung wie blöde:


Daraus können wir schließen, dass der Windows Explorer gar nicht erst danach verlangt. Mit einem Update von Samba wird sich also nichts ändern. Gut.

Nun testen wir mal Multichannel. Die smb.conf sieht nun so aus:

ash-4.3# cat smb.conf
[global]
        include=/var/tmp/nginx/smb.netbios.aliases.conf
        winbind enum groups=yes
        printcap name=cups
        min protocol=SMB2
        realm=*
        local master=no
        security=user
        passdb backend=smbpasswd
        printing=cups
        max protocol=SMB3
        winbind enum users=yes
        load printers=yes
        workgroup=WORKGROUP
        strict sync=no
        sync always=no
        server multi channel support=yes
ash-4.3# sudo /sbin/restart smbd
smbd start/running, process 24581

Diesmal erhalte ich über die Powershell auch eine Ausgabe:

PS C:\WINDOWS\system32> Get-SmbMultichannelConnection

Server Name    Selected Client IP      Server IP      Client Interface Index Server Interface Index Client RSS Capable
-----------    -------- ---------      ---------      ---------------------- ---------------------- ------------------
192.168.178.10 True     192.168.178.21 192.168.178.10 12                     7                      False
GUTTSTATION    True     192.168.178.21 192.168.178.10 12                     7                      False

Allerdings ist die Übertragungsrate gleich geblieben. Ich hatte diesen Absatz nicht gelesen:
https://blogs.technet.microsoft.com...a-feature-of-windows-server-2012-and-smb-3-0/

With SMB Multichannel, if the NIC is RSS-capable, SMB will create multiple TCP/IP connections for that single session, avoiding a potential bottleneck on a single CPU core when lots of small IOs are required.

Multichannel bringt bei einer LAN-Verbindung also nur was, wenn der Kopierprozess einen CPU Kern überlasten würde. Multichannel verteilt die Last dann nämlich auf mehrere Kerne und TCP/IP Verbindungen. In meinem Fall ist die CPU aber stark genug, weshalb sich das bei mir nicht auswirkt.

Schade, dass man scheinbar nicht mehr rausholen kann. Denn Potential ist noch da, was man daran sehen kann, wenn man 2 oder sogar 3 Kopierprozesse parallel startet und damit in der Summe bei 60 bis 75 MB/s landet: