Einsatz als reiner Postgresql-Server sinnvoll?

[AlexHQ]

Hallo alle zusammen!

Ich beschäftige mich zur Zeit mit dem Gedanken mir ein NAS zuzulegen und darauf meine Pokerdatenbank (postgresql) laufen zu lassen, so dass ich von meinem PC und Notebook darauf zugreifen kann (lokal u. übers Internet).

Die Datenbank ist mittlerweile 140GB gross und wird in den nächsten zwei Jahren in etwa auf die doppelte Grösse anwachsen.



Jetzt zu meinen Fragen:

#1 Ist die Umsetzung performancemässig mit einem NAS zu machen? Vermutet ihr irgendwo einen Flaschenhals? Welches 2-bay NAS würdet ihr mir empfehlen?

#2 Ich habe bei meinen Recherchen hier im Forum gelesen, dass die Frimware selber eine Postgres-Datenbank benutzt. Ist das noch immer so? Kann es dabei zu Konflikten zwischen den Datenbanken kommen?

#3 wo werden die datenbanken gespeichert? ich meine gelesen zu haben, dass sie irgendwo im Systembereich Volume1 (oder so ähnlich) gespeichert werden. ist dieser systembereich grössenmässig begrenzt?

#4 ist ein verwaltungstool wie pgadmin auf dem NAS installiert? wird der postgres-server automatisch beim anschalten des NAS aktiv oder muss ich ihn immer manuell starten?

#5 Habt ihr noch ideen oder einwände, an die ich nicht gedacht habe?



Sorry für die vielen Fragen, aber ich habe im froum nicht viel über den einsatz von postgresql auf einem NAS finden können und bin in Sachen NAS absoluter Frischling.

Alex

 

[itari]

Die Datenbank ist mittlerweile 140GB gross und wird in den nächsten zwei Jahren in etwa auf die doppelte Grösse anwachsen.

Ich denke, die wichtiger Frage ist, wie viele Transkationen pro Minute und wie schnell muss die Antwort bei einer Query sein.

Jetzt zu meinen Fragen:

#1 Ist die Umsetzung performancemässig mit einem NAS zu machen? Vermutet ihr irgendwo einen Flaschenhals? Welches 2-bay NAS würdet ihr mir empfehlen?

die neue DS710+ könnte man probieren

#2 Ich habe bei meinen Recherchen hier im Forum gelesen, dass die Frimware selber eine Postgres-Datenbank benutzt. Ist das noch immer so? Kann es dabei zu Konflikten zwischen den Datenbanken kommen?

Es werden mehrere Postgres-Datenbanken in der Firmware genutzt. Es läuft ein (!) Datenbank-Server. Es gibt keine Konflikte.

#3 wo werden die datenbanken gespeichert? ich meine gelesen zu haben, dass sie irgendwo im Systembereich Volume1 (oder so ähnlich) gespeichert werden. ist dieser systembereich grössenmässig begrenzt?

Die Datenbank-Dateien sind im User-Space ausgelagert. Es ist also nur die Größe der Platte eine Grenze (bei RAID ... die Größe des RAIDs)

#4 ist ein verwaltungstool wie pgadmin auf dem NAS installiert? wird der postgres-server automatisch beim anschalten des NAS aktiv oder muss ich ihn immer manuell starten?

PHPpgadmin lässt sich installieren und läuft super

#5 Habt ihr noch ideen oder einwände, an die ich nicht gedacht habe?

Auf der internationalen Seite gibt es auch ein Anfrage-Mail-Formular für solche Kaufentscheidenden Fragen. Vielleicht stellst deine Anforderungen auch direkt bei den Synology-Leuten vor. Kannst ja damit sehen, wie die das Problem dann einschätzen.

Itari

 

[jahlives]

Ich denke auch dass eigentlich nur eines der neusten Modelle für eine solch umfangreiche Datenbank in Frage kommt. Am besten mit soviel RAM wie möglich.
Nicht ausser acht lassen solltest du auch, dass die Performance bei solch grossen Datenbanken auch entscheidend vom Layout der Tabellen und optimierten Queries abhängt

Gruss

tobi

 

[baris2887]

Du kannst doch auch über Windows per pgAdmin über eine externe Verbindung zugreifen.

Das kommt eigentlich eher auf deine Datenbankanwendung an.

- Wie komplex ist die Datenbankstruktur?
- Die komplex sind die Queries?
- Wie hoch ist der I/O bzw. wie viele Zugriffe hast du gleichzeitig?

Ich würde für aufwendigere Datenbanken einen normalen PC nehmen.
Selbst die Intel Atoms sind sehr schwach, ein älterer Pentium oder Athlon 64/X2 ist deutlich schneller.

 

[AlexHQ]

Danke für eure Antworten

Zur Datenbankstruktur (ect.) kann ich leider mangels Vergleichsmöglichkeiten/Erfahrung keine Aussagen machen. Die Datenbank ist Grundlage für das Programm Holdem Manager. Hauptsächlich werden meine gepielten Pokerhände in realtime in die Datenbank eingelesen und Statistk-Werte für das HeadsUp Display ausgelesen. Ich denke ich werde es einfach mal ausprobieren.

Alternative?

Falls mir der Server zu langsam sein sollte, ist es dann möglich auf dem NAS einen bereich als iscisi-target zu definieren und nur meine vorhandene Datenbank (Server läuft dann auf dem PC/Notebook) dorthin auszulagern? kann ich dieses Target dann sowohl vom PC als auch vom Notebook nutzen (nicht gleichzeitig) oder ergeben sich dadurch Probleme?
könnte ich das Target auch aus dem Internet erreichen?

 

[itari]

Falls mir der Server zu langsam sein sollte, ist es dann möglich auf dem NAS einen bereich als iscisi-target zu definieren und nur meine vorhandene Datenbank (Server läuft dann auf dem PC/Notebook) dorthin auszulagern? kann ich dieses Target dann sowohl vom PC als auch vom Notebook nutzen (nicht gleichzeitig) oder ergeben sich dadurch Probleme?
könnte ich das Target auch aus dem Internet erreichen?

iSCSI-Target geht auf der DS! Ob das allerdings mit einer Datenbank wirklich das Optimale ist, weil da ja dann viel mehr Traffic generiert wird als wenn auf der NAS ein DB-Server die Arbeit verrichten würde, bezweifle ich. iSCSI ist eigentlich nur dann wirklich stark, wenn das für gelegentliche große Datenabfragen verwendet wird (Archiv oder so).

iSCSI im Internet ist schlicht zu langsam, ist eigentlich nur für schnelle lokale Netze gedacht (1/10GBit-LAN).

Itari

 

[TheBigOne]

Hi Alex,

ich hab genau die gleiche Problemstellung. Postgresql für Holdemmanager. Das ganze hatte ich zuvor schon mal auf meiner Diskstation versucht. Leider hatte in einer früheren Version der Diskstation die DB nicht auf die HDDs gespeichert, sondern in den internen Speicher. Und die Performance beim Import war auch dann dementsprechend.

Jetzt hab ich mir gestern die aktuelle Version 3.0 der Diskstation installiert. Die schon installierte Datenbank von Postgres wird jetzt auch unter /volume1/@database/pgsql/ gespeichert. Also auch genug Platz für die Pokerdatenbank.

Im Moment importiere ich hier jetzt Hände mit 25 Hands/s. Was ganz ordentlich ist(Ich hatte davor einen dedicated Linuxserver mit Postgresql am Laufen und da waren es eher so um die 9 Hands/s. Im Moment läuft der Import auch über WLAN. Ich teste auch mal, ob es über LAN noch schneller geht.

Jetzt mal zu den Schriten, die zu tun sind:

1. Du musst den Zugriff auf deine DB von deinem lokalen Netzwerk erlauben:
vi /usr/syno/pgsql/etc/pg_hba.conf

# IPv4 local connections:
host all all 127.0.0.1/32 trust
host all all 192.168.1.0/24 trust

Anstatt 192.168.1.0 musst du halt dein lokales Netzwerk einfügen.

2.Postgres neu starten. /usr/syno/etc/rc.d/S20pgsql.sh restart

3. Jetzt loggst du dich am Besten mit pgadmin und deinem admin Account auf deine DB ein.

4. Hier musst du jetzt noch eine admin DB anlegen(egal wie, die muss nur da sein)

5. Jetzt kannst du dich über den Holdemmanager und admin auf die DB connecten. Hier legst du dann deine eigentliche PokerDB an. Fertig

 

[killerbees19]

so dass ich von meinem PC und Notebook darauf zugreifen kann (lokal u. übers Internet).

Wieso nimmst du dir nicht einfach einen passenden vServer oder Cloud Server bei einem beliebigen Anbieter? Gute Linux Kenntnisse wären dafür natürlich eine Voraussetzung. Wäre für eine gute Leistung sicherlich empfehlenswerter, ebenfalls gut skalierbar und du hast keinen Ärger mit Hardware und Stromkosten. Du würdest vermutlich sogar günstiger weg kommen. Oder ist der primäre Einsatzzweck im lokalen Netzwerk? Dann kann ich deine Überlegung wegen einem NAS durchaus verstehen.

EDIT: Ups, hatte gar nicht auf das Datum vom ersten Beitrag geschaut - Sorry!


MfG Christian

 

[TheBigOne]

Wieso nimmst du dir nicht einfach einen passenden vServer oder Cloud Server bei einem beliebigen Anbieter? Gute Linux Kenntnisse wären dafür natürlich eine Voraussetzung. Wäre für eine gute Leistung sicherlich empfehlenswerter, ebenfalls gut skalierbar und du hast keinen Ärger mit Hardware und Stromkosten. Du würdest vermutlich sogar günstiger weg kommen. Oder ist der primäre Einsatzzweck im lokalen Netzwerk? Dann kann ich deine Überlegung wegen einem NAS durchaus verstehen.

EDIT: Ups, hatte gar nicht auf das Datum vom ersten Beitrag geschaut - Sorry!


MfG Christian

Ich selbst hab sogar im Moment noch einen Dedicated Server. Der kostet halt 39,- Euro im Monat. Diskstation hab ich eh auch, also wären die Zusatzkosten nicht ausschlaggebend.

Von der Perfomance ist hier eher die Paketlaufzeit der Flaschenhals. Ich denke der Poster wird es auch hauptsächlich (80-90%) lokal nutzen und den Rest von unterwegs.