Wechsel von AFP zu SMB

[mindphunk]

Hallo zusammen,

bisher wurde in unserem Netzwerk nur über AFP gearbeitet. Da Apple aber die Entwicklung von AFP eingestellt hat wird der Wechsel jetzt spätestens mit macOS Sierra notwendig, da die Mac-eigenen Apps (wie bspw. Numbers, Vorschau, TextEdit, etc.) beim Speichern auf ein AFP Share abtürzen (was m.E. an der Art und weise liegt wie diese Apps speichern und eigentlich File Versioning unterstützen). Hier und hier wurde bereits über dieses Phänomen geschrieben. (Es schient an der Netatalk/AFP Version des DSM zu liegen, sage ich als Laie – korrigiert mich eines Besseren)

Da bisher aber nur AFP genutzt wurde, sind natürlich einige Ordner und Dateien via AFP nicht SMB konform benannt (z.B. ein . am Ende oder andere Zeichen, die nicht erlaubt sind), was dazu führt, dass die Ordner "gemangled" werden.

Es gibt die Möglichkeit die Option mangled names = no in der smb.conf zu setzen, das führt zum korrekten Anzeigen der Ordnernamen. Die Inhalte der betroffenen Ordner werden dann aber bei mir gar nicht mehr im Finder angezeigt. Auch ein Umbenennen ist nicht erlaubt (Error -43 im Finder).


Lange Rede kurzer Sinn:
Wie kann ich am Besten von AFP zu SMB umsteigen? Was gibt es zu beachten?
Ich würde natürlich am liebsten alle nicht-SMB-konformen Ordner und Dateien erst auflisten und dann umbenennen. Letzteres im besten Fall automatisiert. Hat hier vielleicht jemand eine Lösung via Shell Script? Oder ein solches, das die falschbenannten auflistet und die Liste als File Tree in einer .txt ablegt?

Oder gibt es eine andere Möglichkeit?

Ich würde mich sehr über Hilfe freuen und bin mir sicher, dass hiermit sehr vielen Usern geholfen werden kann.

Danke!

 

[mindphunk]

Ich habe eine Lösung für mich gefunden:

1. Alle Dateien und Ordner auflisten, die nicht erlaubte Zeichen im Namen aufweisen. Das habe ich per Bash Script und SSH erledigt, das habe ich mir als saubere .csv ausgeben lassen. So konnte ich mir einen Überblick über die Menge der betroffenen Daten machen.

2. Anschließend habe ich dasselbe Script erneut laufen lassen, jedoch leicht modifiziert: Es hat ein weiteres Bash Script geschrieben, das sequentiell einen Ordner oder Datei nach dem Anderen umbenannt hat. Alle nichterlaubten Zeichen wurden durch Unterstriche ersetzt und eine Zufallsnummer am Ende angefügt. So konnte ich versehentliches Überschreiben von Ordnern und Dateien ausschließen.

3. Ich habe das erste Script noch mal laufen lassen, um zu sehen, ob die Umbenennungen stattgefunden habe – mit Erfolg.

Damit kann ich nun auf SMB3 Standard setzen. Alle Probleme wurden behoben. Einzige Ironie der Geschichte: Wenn ich jetzt via SMV Dateien und Ordner nach demselben Muster benenne, wie es mir vor Tagen noch Kopfschmerzen bereitet hat, gint es keine Fehler und die Ordner und Dateien werden korrekt dargestellt. Benutzt SMB einfach eine andere Zeichenkodierung?! Wie auch immer....

Eine wichtige Sache noch:
Löscht alle Login Daten, die mit der DS zusammenhängen aus der Schlüsselbundverwaltung. Wenn ihr euch dann via SMB connected und diese Daten abspeichert geht ihr auf Nummer sicher, dass Finder auch nur die Daten per smb:// kennt und somit nicht versehentlich doch via AFP verbindet.

Natürlich habe ich weiterhin AFP auf der DS laufen, weil ich Time Machine benutze. Das läuft auch einwandfrei. Hier ist folgendes wichtig:
1. Es gibt ein Share, das nur für Time Machine Backups genutzt wird. Das wird über DSM beim AFP Dateidienst auch eingestellt.
2. Auf dieses Share hat nur ein eigens angelegter Benutzer Zugriff (heißt bei mir z.B. timemachine.backups), Admin User haben natürlich auch Zugriff.
3. Dieser User wird bei Time Machine auf den Macs benutzt um sich mit dem einen Share zu verbinden. Die Login Daten können natürlich in der Schlüsselbundverwaltung gespeichert werden.
4. Nutzt keinen User mit admin Rechten für die täglich Arbeit mit der DS. Damit schafft ihr eine klare Abgrenzung zu dem Time Machine User und Share. Soll heißen: SMB und AFP können friedlich koexistieren.

Einziger Nachteil momentan: Dateitransfers via SMB scheinen mir etwas langsamer zu sein. Wenn hier jemand Informationen zur Beschleunigung beisteuern kann: nur zu!

Ich hoffe, dass ich jemandem helfen konnte. Solltet ihr Fragen zum genauen Vorgehen haben, dann bitte nur zu. Ich versuche zu helfen, so gut ich kann!

 

[MIKA]

Danke für die Infos. Das hilft.

Kannst Du die beiden Scripts hier posten ??

Vielen Dank und Gruss Michael

 

[TeXniXo]

Einziger Nachteil momentan: Dateitransfers via SMB scheinen mir etwas langsamer zu sein.!

Wie hoch ist die Übertragungsrate? Sowohl in Client als auch in DS abzulesen.

 

[PsychoHH]

Vielleicht hilft bei dir folgendes:

http://www.heise.de/mac-and-i/meldung/OS-X-10-11-5-Abhilfe-fuer-SMB-Probleme-3222725.html


Ich wechsel auch bald komplett auf smb.
Hoffentlich läuft dann 6.1 schnell stabil, sodass man auch Time Machine über smb nutzen kann.


Hab zwar keine Dateien die mit smb nicht kompatibel sind, aber für einige macht ein Script schon Sinn.
Wäre echt gut, wenn du dies postest.

 

[mindphunk]

Dann teile ich es gerne mit ein paar Worten vorab:
Bitte nicht einfach blind loslegen, sondern aufmerksam verstehen, was genau passiert.
Eventuell müsst ihr das Script nämlich euren Bedürfnissen entsprechend anpassen.
Gebt acht damit, eventuell kann etwas passieren, dass ihr nicht eingeplant habt!


Noch mal Schritt für Schritt:

1. Per SSH auf die Diskstation zugreifen. Dafür muss der SSH Dienst auf der DS aktiviert sein. (Hilfe)

ssh admin@diskstation.local -p 22

Die Option -p legt fest, welcher Port angesteuert wird. Dieser wurde vorher in den DS Einstellungen vergeben.
Ein Konto mit Administratorrechten reicht aus. Bitte kein root, so geht ihr sicher, dass keine DSM eigenen Ordner und Dateien von Änderungen betroffen sein werden.

2. Dateien und Ordner auflisten! Ich habe hier mehrere einzelne Befehle laufen lassen, damit ich jeweils eine spezifische Auflistung habe und mich nicht durch eine lange Liste wühlen muss. Ordner und Dateien, die sich irgendwo in "@eaDir" oder "#recycle" Ordnern befinden, werden nicht berücksichtigt. Damit sind alle Ordner in den Papierkörben der Shares für uns irrelevant. Die Suche durchläuft alle Volumes. Es wird immer eine CSV Datei in den home Share des angemeldeten Benutzers gelegt. In unserem Fall ist das admin, da dieser jetzt via SSH aktiv ist. Hier müsst ihr eventuell den Pfad anpassen, falls euer Share "homes" nicht auf /volume1 liegen sollte oder ihr einen anderen Speicherort für den Output wählen möchtet.

Nun zu den Befehlzeilen:

1. Ordner, die mit einem Punkt enden:

find /volume* -name "*." -type d -not -path "*@eaDir*" -not -path "*#recycle*" -printf '"%h","%f","%CY-%Cm-%Cd %CT","%s","%u","%M"\n' > /volume1/homes/$USER/dir_dot_end.csv

2. Jetzt listen wir alle Ordner auf, die auf ein Leerzeichen enden:

find /volume* -name "* " -type d -not -path "*@eaDir*" -not -path "*#recycle*" -printf '"%h","%f","%CY-%Cm-%Cd %CT","%s","%u","%M"\n' > /volume1/homes/$USER/dir_space_end.csv

3. Alle Ordner, die folgende Zeichen im Namen haben:

: ; " \ / ? < > * |

find /volume* -name "*[\?\:\;\"\\\?\<\>\*\|]*" -type d -not -path "*@eaDir*" -not -path "*#recycle*" -printf '"%h","%f","%CY-%Cm-%Cd %CT","%s","%u","%M"\n' > /volume1/homes/$USER/dir_not_allowed_chars.csv

4. Nun werden alle Dateien auflisten, die die o.g. Zeichen im Namen haben:

find /volume* -name "*[\?\:\;\"\\\?\<\>\*\|]*" -type f -not -path "*@eaDir*" -not -path "*#recycle*" -printf '"%h","%f","%CY-%Cm-%Cd %CT","%s","%u","%M"\n' > /volume1/homes/$USER/files_not_allowed_chars.csv

5. Damit sollten 4 CSV Dateien erstellt worden sein. Falls in den Ordner- oder Dateinamen Zollzeichen (") auftauchen, müsst ihr diese doch manuell in einem Textprogramm auffinden und durch zwei Zollzeichen ersetzen. Wenn hier jemand einen Vorschlag hat, wie das per Bash Command automatisiert erledigt werden kann, dann wäre das eine große Bereicherung!
Dann wird die CSV auch richtig eingelesen und die Spalten richtig verteilt. Mehr zum korrekten Aufbau einer CSV hier.

Beispiel für eine Fehlerhafte CSV Zeile und die Korrektur:

"/volume1/homes/username/Test","Daten für 27" Screen","2016-09-27 10:00:59.0612228610","4096","username","drwxrwxrwx"
                                            ?
                                         wird zu:
                                            ?
"/volume1/homes/username/Test","Daten für 27"" Screen","2016-09-27 10:00:59.0612228610","4096","username","drwxrwxrwx"

----

Nun habt ihr schon mal einen Überblick über die betroffene Menge an Daten und könnt entweder manuell die Ordner und Dateien umbenennen oder wie folgt fortfahren.

Das Auflisten war harmlos. Jetzt kommt der Zauber.

Ich lasse erneut eine Liste erstellen, allerdings wird diesmal eine .sh Datei erstellt, die anschließend ausgeführt wird.

1. Ordner mit Leerzeichen oder Punkt am Ende des Namens:
a) .sh erstellen:

# Hier werden die Ordner mit Leerzeichen aufgelistet und in die .sh geschrieben
find /volume* -name "* " -type d -not -path "*@eaDir*" -not -path "*#recycle*" -printf 'find "%h" -type d -name "* " -print0 | while IFS= read -r -d "" folder ; do mv -- "$folder" "${folder}_$RANDOM"; done\n' > /volume1/homes/$USER/dir_change_end.sh

# Jetzt werden die Ordner mit Leerzeichen aufgelistet und ans Ende der .sh geschrieben
find /volume* -name "*." -type d -not -path "*@eaDir*" -not -path "*#recycle*" -printf 'find "%h" -type d -name "*." -print0 | while IFS= read -r -d "" folder ; do mv -- "$folder" "${folder}_$RANDOM"; done\n' >> /volume1/homes/$USER/dir_change_end.sh

b) .sh ausführen:

/volume1/homes/$USER/dir_change_end.sh

Das sollte eigentlich nun alles behoben sein. Zur Kontrolle könnt ihr noch mal eine der ersten CSV-Auflistungs-Befehle laufen lassen und ggf. die Änderungen noch mal wiederholen.
Es muss wiederholt werden, wenn ein Überordner von der Umbenennung betroffen ist. Wird dieser automatisch umbenannt, dann stimmt der Pfad nicht mehr, wenn es um die Unterordner geht. Verständlich? Hier ein Beispiel:

/volume1/homes/username/Test /	>> Wird zu >>	/volume1/homes/username/Test _51247/

Wird nun nichtmehr gefunden, weil der Überordner sich geändert hat:
/volume1/homes/username/Test /Unterordner /

Damit sollten dann alle Ordner umbenannt sein, die ein Punkt oder Leerzeichen am Ende haben. Morgen gehts weiter mit den Sonderzeichen, die nicht erlaubt sind.

 

[dil88]

Die "paar" Worte haben es in sich. Vielen Dank für die Mühe und die genaue Ausarbeitung!

 

[mindphunk]

Aber gerne doch. Ich habe ganze drei Tage damit verbraucht das alles zusammenzusuchen, zu verstehen und zu testen.

Ich hoffe, dass damit vielen der Weg von AFP zu SMB geebnet werden kann, da Apple in Zukunft ganz auf SMB setzen wird.

Ich bitte all diejenigen, die sich wirklich auskennen, Verbesserungsvorschläge zu machen!

 

[PsychoHH]

Das sieht echt sehr sehr gut aus.

Du könntest den find Befehl in eine Variable packen und danach die Variable Abfragen..
Wenn Variable nicht leer dann führe es nochmal aus.
Also nimmt man den find Befehl in eine while Schleife und macht erst einen break wenn nichts mehr gefunden wird.
Theoretisch sollten denn nach mehreren automatischen Durchgängen alle Pfade korrigiert werden.

Morgen bzw. später kann ich dir das evtl sonst genauer beschreiben, nun geht's aber erstmal ein bisschen schlafen.
Bin gerade eh an einem neuen Projekt dran und musste da ein paar Sachen schreiben die evtl helfen.

 

[MIKA]

Dann teile ich es gerne mit ein paar Worten vorab:
Bitte nicht einfach .........

Vielen Dank.....Der regnerische Sonntag ist gerettet.

Gruess Michael

 

[mindphunk]

Gut, dass es bisher noch keine Rückfragen gab. Ich bin davon ausgegangen, dass ich es noch detaillierter hätte beschreiben können

Weiter gehts.

Es fehlen noch die Ordner und Dateien mit den Sonderzeichen im Namen.

Hier gehe ich im Prinzip genauso vor, wie ich es bei den Ordnern oben beschrieben hatte. Dazu habe ich zwei Abläufe:

1. Ordner mit : ; \ ? < > * | finden und jedes dieser Zeichen mit einem Unterstrich _ ersetzen.
Ich habe hier noch den share für die Time Machine Backups ausgeschlossen, da ich nicht wusste, ob das Backup (backupname.sparsebundle) als Ordner eingelesen wird. Die Backups sollten also nicht angefasst werden. Hier müsstet ihr eventuell den Namen des Shares ändern. Bei mir heißt es eben "Time Machine Backups".
Ebenfalls sind die Papierkörbe der shares und alle Ordner mit @ ausgeschlossen, somit bleiben Systemordner, wie @tmp unangetastet.

find /volume* -name "*[\:\;\"\\\?\<\>\*\|]*" -type d -not -path "*@*" -not -path "*#recycle*" -not -path "*Time Machine Backups*" -printf 'find "%h" _X_X_X_\n' > /volume1/homes/$USER/folders_not_allowed_chars.sh

Damit wird eine .sh wie gewohnt im home share des per SSH eingeloggten Users erstellt. Anschließend muss die Zeichenfolge _X_X_X_ mit folgendem Text ersetzt werden. Ich habe dazu die find & replace Funktion eines Text Editors genutzt. (weil ich es per Bash nicht hinbekommen habe. Das escapen der einzelnen Zeichen war mir zu stressig, ist nicht mein Gebiet).

_X_X_X_

wird zu:

-type d -name '*[\:\;\"\\\?\<\>\*\|]*' -not -path "*@*" -not -path "*#recycle*" -not -path "*Time Machine Backups*" -print0 | while IFS= read -r -d '' file ; do ext="${file##*.}" ; filename="${file%.*}" ; file_clean="$(echo $filename | tr "\:\;\"\\\?\<\>\*\|" "_")" ; final="$file_clean.$ext" ; mv -n -v "$file" "$final" ; done

Danach wird die folders_not_allowed_chars.sh ausgeführt:

/volume1/homes/$USER/folders_not_allowed_chars.sh

Die .sh evtl. erneut ausführen.
Damit wären dann schon mal alle Ordner i.O.

2. Dateien mit : ; \ ? < > * | finden und jedes dieser Zeichen mit einem Unterstrich _ ersetzen:

find /volume* -name "*[\:\;\"\\\?\<\>\*\|]*" -type f -not -path "*@*" -not -path "*#recycle*" -not -path "*Time Machine Backups*" -printf 'find "%h" _X_X_X_\n' > /volume1/homes/$USER/files_not_allowed_chars.sh

_X_X_X_

wird zu:

-type f -name '*[\:\;\"\\\?\<\>\*\|]*' -not -path "*@*" -not -path "*#recycle*" -not -path "*Time Machine Backups*" -print0 | while IFS= read -r -d '' file ; do ext="${file##*.}" ; filename="${file%.*}" ; file_clean="$(echo $filename | tr "\:\;\"\\\?\<\>\*\|" "_")" ; final="$file_clean.$ext" ; mv -n -v "$file" "$final" ; done

Danach wird die files_not_allowed_chars.sh ausgeführt:

/volume1/homes/$USER/files_not_allowed_chars.sh

auch hier eventuell noch mal wiederholen.


Ihr könnt natürlich die Befehle so anpassen, dass statt : ; \ ? < > * | auch andere Zeichen oder Zeichenfolgen gesucht und ersetzt werden.

Damit wars das, Ordner- und Dateinamen sind korrekt umbenannt worden.

Viele Grüße!

 

[mindphunk]

Wie hoch ist die Übertragungsrate? Sowohl in Client als auch in DS abzulesen.

Das sind die Übertragungsraten für 5 Dateien, jeweils ca. 800 MB, also 4GB insgesamt.
Links ist via SMB und rechts via AFP.
SMB kommt auf ca. 50MB/s und AFP hingegen auf gute 100MB/s.
Das sind gravierende Unterschiede, die sich im täglichen Arbeiten bemerkbar machen.

Wie kann das optimiert werden?

Hier mal ein Auszug aus dem Terminal:

$ smbutil statshares -a

==================================================================================================
SHARE                         ATTRIBUTE TYPE                VALUE
==================================================================================================
home                          
                              SERVER_NAME                   diskstation
                              USER_ID                       502
                              SMB_NEGOTIATE                 SMBV_NEG_SMB1_ENABLED
                              SMB_NEGOTIATE                 SMBV_NEG_SMB2_ENABLED
                              SMB_NEGOTIATE                 SMBV_NEG_SMB3_ENABLED
                              SMB_VERSION                   SMB_3.0
                              SMB_SHARE_TYPE                DISK
                              SIGNING_SUPPORTED             TRUE
                              EXTENDED_SECURITY_SUPPORTED   TRUE
                              LARGE_FILE_SUPPORTED          TRUE
                              OS_X_SERVER                   TRUE
                              CLIENT_REQUIRES_SIGNING       TRUE
                              DFS_SUPPORTED                 TRUE
                              MULTI_CREDIT_SUPPORTED        TRUE
                              ENCRYPTION_SUPPORTED          TRUE
                              SIGNING_ON                    TRUE

--------------------------------------------------------------------------------------------------

----

EDIT:
Ich habe jetzt das Signing, wie in diesem Artikel beschrieben, deaktiviert:

sudo sh -c 'echo "[default]\nsigning_required=no" > /etc/nsmb.conf'

Damit komme ich mit SMB nun auch auf 100MB/s. Der Transfer war insgesamt fast noch einen hauch schneller als mit AFP.

Sehr fein. Dann ist der Wechsel perfekt.

 

[gente]

...bei mir ist seit signing auch SMB3 etwas flotter als AFP. Bei mir läuft SMB schon seit Anfang an und habe keine Probleme mit TimeMachine auf DS über AFP.
LG Thomas

 

[PsychoHH]

EDIT:
Ich habe jetzt das Signing, wie in diesem Artikel beschrieben, deaktiviert:

Damit komme ich mit SMB nun auch auf 100MB/s. Der Transfer war insgesamt fast noch einen hauch schneller als mit AFP.

Sehr fein. Dann ist der Wechsel perfekt.

Hab ich ja in Post 5 schon geschrieben


Wenn dann bald TM über smb auf der Synology läuft kann ich den Macdateidienst komplett deaktivieren.

 

[mindphunk]

Hab ich ja in Post 5 schon geschrieben

Ja, danke! Ich hatte es zunächst nicht mehr in Erinnerung


Einziges Problem jetzt ist, dass keine automatische Anmeldung mehr funktioniert. Wenn ich also in der Finder Seitenleiste unter dem Punkt Netzwerk auf die DS klicke, muss ich anschließend auf "Verbinden als ..." klicken und die Loginaufforderung bestätigen. Das war vorher, d.h. mit Signing, nicht der Fall.

Ist jetzt kein großes Ding, war vorher nur anders und einfacher. Hat da jemand 'nen Tipp?
Ich habe bereits alle DS-relevanten Logindaten aus dem Schlüsselbund entfernt und wieder neu hinzugefügt.

 

[PsychoHH]

Ist aber eigentlich seit Sierra ein generelles Problem:

http://www.synology-forum.de/showthread.html?79445-Permanente-Passwortabfrage-seit-macOS-Sierra

 

[Nightlover]

@mindphunk

danke für deine tolle Instruktion und Ausarbeitung deiner Anleitung.

Night

 

[hotspot_2]

Hallo,

super Anleitung! Ich habe auch bei meiner DS nun mal AFP deaktiviert und SMB3 aktiviert.

Leider habe ich immer noch das Problem das wenn ich einen Share auf der DS öffne, ich zwar Dateien lesen kann aber diese (z.B. eine Excel Datei) dann immer noch nicht abspeichern kann.

Hat jemand eine Idee woran das noch liegen könnte?

Ich greife auf die Shares meistens über Pathfinder zu indem ich auf Diskstation klicke. Pathfinder bietet mir dann die verschieden Shares ein und ich mounte diese dann. Wie kann ich nun die Signatur für diese Shares dauerhaft abschalten?

Danke schon mal!

 

[omast]

Hallo zusammen, ich habe auch gerade von AFP auf SMB umgestellt und den AFP-Dienst komplett auf der DS414 deaktiviert.

Nun habe ich das Phänomen, das ein Verzeichnis in dem 200 Objekte sind manchmal nicht mehr korrekt dargestellt wird – es erscheinen nur 11 Objekte.

Wenn man dann mal alle sieht und in einem Unterverzeichnis drin ist, springt der Finder regelmäßig wieder in das übergeordnete Verzeichnis zurück und zeigt dann dort 11 Ordner.

Ich arbeite unter Sierra und kann dieses Phänomen auf beiden Arbeitsplätzen über WLAN und Ethernet beobachten.

Jemand eine Idee?

 

[dil88]

Willkommen im Forum!

Könntest Du bitte ein Beispiel für einen Verzeichnis- bzw. Dateinamen geben, der verschwindet? Vielleicht ist es ein Problem mit Sonderzeichen, die SMB nicht unterstützt.