NAS und Datenbank Performance

[Liftboy222]

Moin und Hallo!

Es läuft eine Softwarelösung für den KfZ Bereich auf drei clients die sich eine DB3 Datenbank teilen. Nach Problemen mit einem 216play nach einem update jener Lösung kam es dann die Problemen, Latenzen, usw..
Das Softwarehaus, die das KfZWin anbieten kam en mit der Aussage, dass höchsten ein extrem teuren NAS die Anforderungen einer hochfrequemtierten Datebank unterstützen könne. Es wird jedoch grundsätzlich kein NAS empfohlen und supportet. Da steckt sicher ein gewisses "Nichtwollen" hinter und ich würde gerne das 216play mal gegen ein potenteres Gerät für diese Aufgabe tauschen.

218+ oder 718+ ...?
Ein 218play wird hier wohl kaum einen Unterschied machen.

Weiter liegen ein paar Daten drauf und zwei Kameras streamen auf das NAS.

Vielen Dank und Gruß

Frank

 

[dil88]

Die Kameras würde ich auf eine andere DS packen bzw. auf der 216play lassen, wenn Ihr eine neue DS für die DB anschaffen wollt. Es wird primär auf RAM ankommen. Wie groß ist die DB?

 

[Liftboy222]

Hallo dil88

Ganz lieben Dank für Deine Reflektion. Ich komme morgen dazu mir die Datenbank in Betracht zu ziehen.

Frank

 

[TaifunDB]

Ich kenne DB3 nur vom Namen. Hat die etwas mit SQLite zu tun? Wird offenbar direkt als Datei angesprochen, oder?

Ist diese Softwarelösung denn überhaupt mehr-Client-fähig? Wenn ja, dann soll das Softwarehaus zeigen, wie das ohne Netzwerkserver gehen soll. Ansonsten ist das ein interessantes Spiel.

Ein NAS mit 1GBit angebunden ist schon nicht langsam. Wenn man dann noch eine 918+ nimmt und Slot 3 und 4 mit zwei 512GB SSDs (Raid1) bestückt, dann wird darauf das Programm schnell genug zugreifen können. Das ist schon nicht so viel schlechter als rein lokal.

 

[dil88]

DB3 sagt mir auch nichts, habe ich deshalb auch völlig übersehen. Was ich schrieb setzt voraus, dass die DB Software auf der DS läuft wie MariaDB, mysql oder Postgres beispielsweise.

 

[Liftboy222]

Ich bin da etwas tiefer eingestiegen.

Dbase "*.dbf" ist eine seit mehr als 30 Jahren nicht tot zu bekommendes Datenbankformat.

Es wird vermutlich eher mit dem recordlocking zu tun haben mit dem Bereiche der Datenbank bei Zugriff gesperrt werden und der Linux Samba des NAS wohl diese Information nicht richtig transportiert wird. Es ist also eher eine Konfigurationsfrage und bedingt eine der von Performance.

Genauer gesagt: Wenn ein Benutzer auf die Datenbank zugreift muss der Teil des Datensatzes gesperrt werden, damit nicht zufällig ein zweiter Nutzer in genau diesen Bereich eingreift und das Chaos perfekt wird. Der Vorgang des Sperrens ist different zwischen WIndows und Linus (Synology NAS).

https://www.samba.org/samba/docs/man/Samba-HOWTO-Collection/locking.html

Record locking semantics under UNIX are very different from record locking under Windows.
By default, Samba only makes locking calls when explicitly asked to by a client, but if you set strict locking = yes, it will make lock checking calls on every read and write call.
You can also disable byte-range locking completely by using locking = no.

Wenn ich Zeit habe werde ich mal näher schauen. Der Softwarehersteller spinnt also ein wenig herum wenn behauptet wird, dass ein NAS nicht funktioniert da hochfrequent auf die Datenbank zugrgriffen wird und darin das Problem liegt. Die programmieren halt noch "altes" Zeug mit Clipper und DBase Datenbanken und sind herzlich wenig bemüht sich neben der Windows Welt auf andere Plattformen einzulassen.

Dir lieben Dank für die Mühe!

Frank

 

[NSFH]

Also ich habe früher mit Clipper und dBase programmiert. Das sowas heute noch verwendet wird...Hammer!
Die Filelocking Funktonen des NAS greifen hier gar nicht sondern nur die der DBF. Diese Geschwindigkeit hängt wiederum am Speichermedium und der CPU+RAM auf der die DBF läuft.
Ich würde sagen, dass eine Vierkern INTEL CPU plus 2GB locker reichen sollten, dazu die DBF direkt auf SSD legen, wenn sie nicht zu gross ist. Je nachdem wieviele Nutzer auf das System zugreifen die Syno mittels beider Ethernet Ports ins LAN hängen.
Würde mich wundern, wenn das nicht reicht!

 

[Liftboy222]

Wenn es nicht mit dem locking zu tun hat verwundert mich, dass jede noch so altersschwache Windows Workstation den virtuellen Server spielen kann für die anderen Arbeitsplätze ohne Einschränkungen. Dieser Laden verweigert sich halt vollständig gegen alles wo nicht Windows drauf steht. Es sind einige Datenbanken auf die Zugegriffen wird, Kunden, Fahrzeuge, Anschreiben, lalala hin zu der mit Abstand dicksten Datenbankdatei (1GB) mit alles Teilen des Großhandels.

 

[slindshady]

Ich würde mal stark vermuten, dass konkret ne 918+ mit 2x kleinem SSD Cache vollkommen ausreicht. Da kannst die Bay-Slots regulär für normale HDDs nutzen. Oder liege ich da jetzt komplett daneben?

 

[Liftboy222]

Ich werde nochmal versuchen (trotz gewisser Verweigerungshaltung) mit dem Hersteller der Software zu sprechen. Ganz so sicher kann ich halt nicht sein und eine 918 mit entsprechender Austattung kostet wohl auch Geld - zum Testen vielleicht zu wackelig.

Vielen Dank bis hier hin für Eure Hilfe!

 

[Liftboy222]

Nochmal vielen Dank für Eure Reflektion!

Ich habe nochnal mit dem Softwarehgersteller und Synology support Kontakt und kompremiert die folgenden Informationen erhalten.

Softwarehersteller sagt auf kürzlich erneute Nachfrage:
Die Zugriffe auf kleine Dateien der DB Datenbaken bereiten im Duplex kleinereren, preiswerten NAS Systemen häufig Probleme und daher unterstützt der Hersteller generell keine NAS Systeme.

Synology support sagt als erste elementare Antwort:
Ehrlich gesagt gehe ich davon aus, dass die DS216play genügend Leistung hat um die Aufgaben stemmen zu können. Insgesamt unterstützt die DiskStation 15 Kameras und parallele Office-Arbeit.

Daher kann ich mir nur schwer vorstellen, dass zwei PCs die auf eine Datenbank zugreifen und zwei bis drei Kameras, die in FullHD aufzeichnen, die DS216play komplett auslasten werden.



An Ihrer Stelle würde ich die Last erst einmal nachstellen, bevor Sie eine neue DiskStation kaufen. Sollte jedoch wider Erwarten die DiskStation unterdimensioniert sein, empfehle ich eine DS218+ im 2-Bay Bereich oder eine DS918+ im 4-Bay Bereich (je nachdem, wie viel Speicherplatz benötigt werden sollte), mit der Sie zukunftssicher zu einem späteren Zeitpunkt mit weiteren PCs auf die Datenbanken zugreifen können und zusätzlichen Kameras aufzeichnen können.

Ich habe nun nochmal die Aussage des Softwareherstellers an Synology support reflektiert.

Die 218, 718 oder 918 + stehen also zur Auswahl. Ich werde mir erst im neuen Jahr Gedanken machen in welcher Konstellation ein neues NAS anzuschaffen ist

Euch nochmal vielen Dank und einen guten Rutsch!


Frank

 

[NSFH]

Verstehe die Antwort des Softwareherstellers nicht. Die typischen DBF Datenbanken, egal ob dBase oder Clipper bestehen immer aus 2 Komponenten, der eigentlichen DBF mit ihren Indexdateien und dem Programmcode.
Heisst man muss in der Anwenderebene (auf dem PC) festlegen können (ini-Datei), wo die Datenbanken abgelegt sind und den Zugriffspfad (per IP, nicht UNC!) konfigurieren. Mehr ist nicht erforderlich.
Wenn diese Anbindung über GBit Ethernet erfolgt und zudem auch noch SSDs verwendet werden halte ich Zugriffsfehler oder Timingprobleme für ziemlich ausgeschlossen!

 

[Liftboy222]

Verstehe die Antwort des Softwareherstellers nicht. Die typischen DBF Datenbanken, egal ob dBase oder Clipper bestehen immer aus 2 Komponenten, der eigentlichen DBF mit ihren Indexdateien und dem Programmcode.
Heisst man muss in der Anwenderebene (auf dem PC) festlegen können (ini-Datei), wo die Datenbanken abgelegt sind und den Zugriffspfad (per IP, nicht UNC!) konfigurieren. Mehr ist nicht erforderlich.
Wenn diese Anbindung über GBit Ethernet erfolgt und zudem auch noch SSDs verwendet werden halte ich Zugriffsfehler oder Timingprobleme für ziemlich ausgeschlossen!

Das ist auch so. In die .ini eingetragen wo und es rennt los. Der Hinweis mit UNC war glaube ich extrem sinnig Da schaue ich vorsichtshalber nochmal nach!
Ich denke ein 218+, spätestens 718+ sollte reichen. Bei einer alten Windows Kiste ohne SSD die den Server spielt reicht es ebenso.

Ein ganz flotten Dank!

Frank

 

[NSFH]

In dem Zusammenhang dürfte die aktuelle Beta 6.2 für dich interessant sein, da man hier erstmalig das Antwortverhalten der Syno gerade für Datenbank Betrieb einstellen kann.

 

[blurrrr]

*einfach mal "QoS" in den Raum werf* (bzgl. Cams und DB-Zugriff...). Kommt aber auch drauf an, wie das ganze angesprochen wird. Total beliebt ist ja dieser Access-Müll o.ä. ... Die eigentlichen "Probleme" bei derlei Software sind eigentlich die, dass tonnenweise Daten übertragen werden (weswegen sowas via Internet z.B. meist garnicht funktioniert, ausser man wartet halt eine halbe Stunde oder so...). Eventuell wäre es da noch förderlich, sich den Bandbreiten mal anzunehmen und dort zu schauen.

@NSFH: Die meisten Anbieter setzen doch auf UNC, sieht man doch immer wieder den Mist in irgendwelchen ini-Files bei den Pfadvariablen... \\blubb\software\ (ob NetBIOS-Name oder IP spielt dabei eigentlich keine wesentliche Rolle, wobei es via IP natürlich weniger Problemchen geben kann). Ist nur leider schade, dass solche Anbieter auch irgendwie nie den Dreh in Richtung MSSQL/MySQL/MariaDB kriegen... das höchste der Gefühle ist dann meist noch Firebird.

 

[Liftboy222]

In dem Zusammenhang dürfte die aktuelle Beta 6.2 für dich interessant sein, da man hier erstmalig das Antwortverhalten der Syno gerade für Datenbank Betrieb einstellen kann.

Das hört sich spannend an. Ich habe den Bereich jener EInstellung noch nicht gefunden (werde ich noch), aber erstmal danke und frohes neues Jahr