Loganalyse alá Splunk oder elk

[Wurzelseppi]

Hi zusammen,

experimentiere gerade mit meiner 415play und muss dabei ziemlich oft auf verschiedene Logfiles zugreifen.
Kennt jemand ein gutes Syno Package oder einen einfachen Weg, diese Logfiles handlebar zu machen.

Kenne Splunk aus der Arbeit und würde mich auch für den ELK Stack interssieren, aber das Ganze aufzusetzen ist eine Heidenarbeit.
Gibt´s da zufällig schon was Fertiges bzw. "Halb-" Fertiges, das man nur noch customizen muss ?

Merci & Grüße,

Wurzelseppi

 

[4bob]

Hi Wurzelseppi,

Unterstützt die 415play Docker?

Ein fertiges Paket kenne ich nicht. Synology bietet nur das "Protokoll-Center" an, natürlich weit weg von GrayLog, Logstash & Co.
Ich nutze unter Docker GrayLog + mongoDB + elasticsearch. Das ist schnell gemacht sofern docker läuft, aber ohne Anpassung wirst du da auch kaum was aufbauen können & meine 415+ macht dann aber auch nichts anderes mehr (Java sein Dank).

Bob

 

[rednag]

Ich hänge mich hier mal ran.
Das Thema könnte interessant werden und ich bekunde auch Bedarf.
Hab auch eine DS415+ mit 8 GB und Docker installiert.

 

[4bob]

@rednag
Der TE kennt aber schon Splunk; Du bist dir sicher? Es wird alles über die Console eingerichtet
Der Aufbau verzahnt alle Container! Ich kann dir die Grundlagen geben bis zum WI von GreyLog.

Bob

 

[rednag]

Na ja, nach Deiner Nachricht bin ich mir doch nicht mehr so sicher
Evtl. würde ja syslog-ng schon reichen.
Jedenfalls sind die Logs von Synology nicht grade umfangreich.

 

[4bob]

Es kommt darauf an was du machen möchtest. Ich stell die Frage an dich anders, was erwartest du denn von diesem Aufbau bzw. was suchst du?
" nicht grade umfangreich" bedeutet was für dich?

 

[rednag]

Beispiel HyperBackup: Kein Grund warum das Backup abgebrochen wird, was bisher gesichert worden, was fehlt etc.
Konsole: Die Logs liegen alle schön breit verstreut unter /var/log.
Mailserver: Die Logs liegen unter /volume1/@maillog
Apache: /volume1/@appstore/Apache2.2/var/log/httpd ist leer.

Ich will nicht ins kleinste Detail protokollieren lassen, aber 2016 sollte es möglich sein, daß Logs einheitlich in einer Datei geschrieben und grafisch aufbereitet werden.

 

[4bob]

Nun das ist ganz schön viel auf einmal

Die Qualität der Logs kann mit einer solchen Installation nicht verändert/verbessert werden.
Wenn du also über HyperBackup mehr erfahren willst damit die Logausbeute besser wird kann nur der Entwickler helfen.

Bei meinen Logs hier im heimischen Lan kommt es mir besonders auf Geschwindigkeit an. Mein PI2 sammelt von allen Geräten, als syslog server, die Protokolle ein und über den
LogAnalyser kann ich mir sehr schnell einen Überblick verschaffen.
Alles in Echtzeit - und ohne viel Einlesen.
Mit GrayLog versuche ich dann auf lange Sicht hin diese Logberge zu analysieren.

Zufrieden bin ich damit aber noch nicht.

Bob

 

[rednag]

Nach so einer Lösung suche ich auch.
Auch nur im lokalen Netz. Da sammelt sich aber auch was an:
Smartphones, Drucker, Tablet, 2 DS, TV, LibreELEC etc. Was "Mensch" halt so braucht.
Der jetzige Zustand ist irgendwie unbefriedigend.

 

[4bob]

Jetzt übertreibst du es aber
Smartphones, Drucker, Tablet, und TV damit würde ich mir nicht die Logs vollschreiben.
Als Smartphone Android ? Hier solltest du dir mal ein Catlog View besorgen und dem Treiben 2 Minuten zusehen dann weißt du das ist keine gute Idee ist

Also 2x DS und der LibreELEC Client sind kein Problem, über eine DS könntest du sogar recht einfach einen Syslogserver mit Archivfunktion einrichten der die Daten annimmt.

 

[rednag]

Ok, die Logs vom Drucker und Androiden brauche ich jetzt nicht wirklich.
LibreELEC (hier liegt die DB auf der DS) und 2 NASen wären interessant. Evtl. noch der Router. Das sit aber bei einer Fritz!Box garnicht so leicht wie meinen ersten Recherchen ergeben haben.

 

[Wurzelseppi]

Hab jetzt mal eine Sexilog VM genommen, und von meinem Synology per Syslog UDP die Logs dahin geschickt. War einfach, aber leider bei Weitem nicht das, was ich eigentlich will.
1. Läuft die Logauswertung auf einer Maschine, die nicht dauernd an ist (ist blöd, wenn mein NAS dann immer die Logs ins Nirwana schickt )
2. Kann ich keinen generischen Logshipper auf dem NAS installieren (der die ganzen Logs aus /var/log, etc verschicken kann), weil ich auf meiner Kleinen kein RPM oder sonstiges (also nchts ausser den Synology-Packages) installieren kann.

Beim Letzteren bin ich nicht ganz sattelfest, weil ich kein wirklicher Linux-Spezi bin (werd ich aber gerade )

Docker kann meine DS415play auch nicht, weil alleien schon der RAM wohl zu wenig ist. Eine Erweiterungsmöglichkeit hätte Synology für ein paar Euro Fufzig schon noch einbauen können :-(

Ergo....irgendwie hab ich ein ganz ganz ganz schlechtes Gefühl für das, was ich da machen will :-(

 

[4bob]

SexiLog kenne ich jetzt nicht, wirkt aber auf den ersten Blick spezialisiert auf VMware Umgebungen.
Schade das Docker bei dir nicht unterstützt wird, das wäre eine der besten Optionen. Zumindest im Hinblick auf die Bereitstellung von Logstash&Elasticsearch.

Ich hab genau den umgekehrten Fall; Mein NAS ist nicht ständig aktiv daher nutze ich einen Raspberry Pi als syslog Server somit geht bei mir nichts ins Nirwana
Auch Synology bietet eine Archivfunktion der Logs an. Selbst wenn das Senden aktiv ist, das sollte zumindest dann eine spätere Auswertung noch ermöglichen.

Keine Ahnung welchen Logshipper du favorisierst, aber da existieren welche unter java, python und perl, das sollte dann schon ausreichen (unterm DSM) für eine reine Auswertung und Virtualisierung in deiner aktuellen Konfiguration mit SexiLog.

Edit: Schon den Filebeat versucht? Der deamon läuft ohne große Anpassungen [filebeat.yml] bei mir und könnte Logstash innerhalb deiner VA Daten liefern.

Beim Letzteren bin ich nicht ganz sattelfest, weil ich kein wirklicher Linux-Spezi bin (werd ich aber gerade )

Ich freue mich auf deinen Bericht

Bob

 

[Wurzelseppi]

Hi,

das mit dem Raspberry hört sich auch interessant an.
Hab jetzt noch keinen Logshipper versucht, weil mir das Ganze eigentlich nicht so gefällt (Auswertung und Speicherung der Daten auf einer Maschine, die nicht dauernd läuft) :-(
Denke, ich werd mich mal bei den Raspberries umschauen.

Kannst Du das was empfehlen ?

Hab auch schon darüber nachgedacht, mir gleich eine DS415+ zu holen.

Danke Dir, für Deine Beiträge, übrigens.

Echt hilfreich, wenn man sich mit jemand austauschen kann, der was davon versteht

Wenn wir uns nicht mehr hören, guten Rutsch morgen .... Das gilt übrigens für alle geneigten Leser hier !!!

 

[4bob]

Hi Wurzelseppi,

Oh je - für den Raspberry Pi oder div. andere Einplatinencomputer gibt es jede Menge Infos im Netz. Der Pi hat einfach das größere Ökosystem,
damit findest du für jede Art der Anwendung das Richtige Image+Hilfe+Anleitungen
Perfekt für dich als Linux Einsteiger - Logauswertung hin oder her! Meinen Einstieg hatte ich mit den Klassiker Raspbian.

Zum NAS; Bevor du dich jetzt in Unkosten stürzt nur weil „Docker“ fehlt solltest du vielleicht vorab am PC mit einer Linux VM anfangen, dort kannst du dir Docker in Ruhe ansehen und die ersten Container bauen.
Synology hat dem DSM eine eigene DockerUI spendiert die kannst du auch in einem DSM5.2 virtuell abbilden und dort mit Docker arbeiten. Bist du dann immer noch der Meinung das fehlt dir kannst du einen Wechsel angehen.

Aber es ist in meinen Augen eine sehr geniale Erweiterung für die Synology DS, muss aber verstanden sein für eine langfristige und sinnvolle Nutzung.

Zurück zum eigentlichen Thema; Also ich hab mir jetzt ein ELK Stack unter Docker aufgebaut um Filebeat und das DSM mal aufeinander los zulassen und kann zu Beginn nicht mit Elasticsearch 5.1 Logstash 5.1 und Kibana 5.1 anfangen,
damit läuft der RAM schon beim Start voll

Aktuell läuft E&L 2.1 mit Kibana 4.4 mal sehen; das funktioniert auch aber ist noch nicht für einen Dauereinsatz geeignet.

Danke Dir, für Deine Beiträge, übrigens.
Echt hilfreich, wenn man sich mit jemand austauschen kann, der was davon versteht

Dankeschön, das freut mich zu hören - naja ich bin da nicht perfekt und greif auch schonmal daneben

Wenn wir uns nicht mehr hören, guten Rutsch morgen .... Das gilt übrigens für alle geneigten Leser hier !!!

Gleichfalls, und nicht zu doll!

@rednag
Ich hab dich nicht vergessen Wenn das ELK funktioniert wie ich es mir vorstelle leg ich noch eine kleine Anleitung bei. Du kannst dir aber mal den loganalyzer in der online demo ansehn;
Das müsste sich auch auf der DS einrichten lassen; ggf. fehlen Rechte unter /var/logs >> http://loganalyzer-demo.adiscon.com/ aber für den Anfang eine gute Übung

Was deine FB angeht findest du hier sicherlich alles Nötige http://yourfritz.de, um ein downgrade wirst du da nicht herumkommen, denn mit 6.30 wurde telnet angeschaltet und das brauchst du in jedem Fall für den Mod.
Ich bin froh mit meinem OpenWRT, da muss man mich um sowas keine Gedanken machen

Bob

 

[Wurzelseppi]

Hallo zusammen,

sorry, hab mich jetzt eine Weile nicht mehr gerührt, weil ich ein paar andere Themen hatte
Aber, so langsam kehrt wieder Ruhe ein, und ich finde wieder Zeit und Lust dafür.

So, also ..... fast 6 Wochen später hab ich mir dann doch eine DS916+ geleistet. Wohin auch sonst mit dem Weihnachtsgeld ?!?!?

Hab sie seit Dienstag am Laufen und schon die ersten Versuche mit Docker gemacht. Ich muss sagen "Aller Anfang ist schwer, aber dass das mächtig sein kann, glaube ich sofort"
Denke auch, dass Synology hier einem Einiges an Admin Aufwand mit den Images selbst abnimmt, aber wie es dann wirklich funktioniert, hängt natürlich von ganz vielen Faktoren ab.

Habe mir als ersten ein elk Docker Image angesehen "sebp/elk".

Funktioniert sehr gut, wenn man die Anleitung befolgt. Hab es bis zu dem Punkt hinbekommen, bei dem ich einen Dummy Logstash Eintrag erzeuge, und den im Kibana sehe. (Wie gesagt hab ich das Ganze erst seit 3 Tagen)
Die nächste große Hürde wird der Filebeat sein, der ja die Logfiles auf dem Host drunter (also dem DSM) an den Logstash schicken soll.
Dazu hab ich ein paar Filebeat Dockers angesehen, aber die waren alle jetzt nicht so der Brüller.
Zudem haben die ja alle das Problem, das sie eigentlich nicht an die Files des Hosts kommen (ja erstmal zum Glück ), aber es sollen ja die Logs geshippt werden, und das geht dann natürlich nicht.
Manche Docker haben aber die Möglichkeit, dass man Ihnen einen Shared Folder des NAS´s zur Verfügung stellt. Damit hat man aber auch noch nichts gewonnen, weil in einem Shared Folder natürlich keine Logs liegen.

Naja, ich hab mal getestet, einen Shared Folder mit reiner Leseberechtigung zu erstellen, und auf DSM Ebene einen
mount -o bind /var/log/ /volume1/hidden_folder
gemacht.
Damit stellt man das gesamte var/log Verzeichnis in dem Sharefolder (der ja read-only ist) zur Verfügung.
Irgendwie hab ich die leise Befürchtung, dass sich die Linux-Asse gerade die Hände über dem Kopf zusammenschlagen und sich denken "Was für ein &§%"§"

Naja, konnte mir bis jetzt noch nicht anders helfen.

Jetzt am Wochenende steht dann das erste Shipping von Logfiles aus diesem Ordner an den ELK Docker an. Bin schon gespannt.....

Bis dahin.

Grüße,


Wurzelseppi

 

[rednag]

@rednag
Ich hab dich nicht vergessen Wenn das ELK funktioniert wie ich es mir vorstelle leg ich noch eine kleine Anleitung bei. Du kannst dir aber mal den loganalyzer in der online demo ansehn;
Das müsste sich auch auf der DS einrichten lassen; ggf. fehlen Rechte unter /var/logs >> http://loganalyzer-demo.adiscon.com/ aber für den Anfang eine gute Übung

Was deine FB angeht findest du hier sicherlich alles Nötige http://yourfritz.de, um ein downgrade wirst du da nicht herumkommen, denn mit 6.30 wurde telnet angeschaltet und das brauchst du in jedem Fall für den Mod.
Ich bin froh mit meinem OpenWRT, da muss man mich um sowas keine Gedanken machen

Bob

Oh je, Downgrade von der Fritz!Box...?!
Ich glaube dann lasse ich die auch mal außen vor. Scheue den Aufwand ein wenig. Hab das auch noch nie gemacht. Im übrigen warte ich ja schon sehnsüchtig auf die 6.80

 

[4bob]

Hi Wurzelseppi, meinen Glückwunsch zu DS916+

Das Image vom Seb ist auch meine erste Wahl, da hier das benötigte plugin „logstash-input-beats“ bereits enthalten ist. Die Dokumentation von Ihm ist schon sehr vorbildlich, das gibt es kaum in diesem Umfang!

Dazu hab ich ein paar Filebeat Dockers angesehen, aber die waren alle jetzt nicht so der Brüller.

Filebeat läuft ohne Anpassungen unterm DSM.
Also herunterladen, entpacken in einem Ordner deiner Wahl ablegen, die Konfiguration anpassen anschließend ausführen (ausführbar machen nicht vergessen). Fertig

Für den Anfang eignet sich für dich der TextEditor den du über das DSM verwendest, damit kannst du die filebeat.yml anpassen. Als root auf der Konsole gibt’s primär erst mal nur vi, nano kann aber nachinstalliert werden und ist anfängerfreundlicher.

Möchtest du jetzt noch Filebeat über Docker steuern, steigert sich der Schwierigkeitsgrad

Naja, ich hab mal getestet, einen Shared Folder mit reiner Leseberechtigung zu erstellen, und auf DSM Ebene einen
mount -o bind /var/log/ /volume1/hidden_folder
gemacht.

OK, so würde ich das nicht machen aber du suchst nach einer Lösung, da die Syno Docker GUI /var/log nicht anbietet.
Docker arbeitet mit Volumes bei Daten; das mounten einen Ordners wird dann über -v /var/log:/der/Ordner/meiner/Wahl durchgeführt
willst du das jetzt noch read only haben sieht es so aus -v /var/log:/der/Ordner/meiner/Wahl:ro
Um das anzuwenden musst du aber als root user auf die Konsole; beispielsweise so:

docker run -v /var/log:/var/log2:ro -v /volume1/docker/filebeat.yml:/filebeat.yml prima/filebeat

Es gibt’s dann noch die Möglichkeit die beiden Container zur „verlinken“ eine eigenes Netzwerk dafür einzurichten …
Du solltest evtl. nochmal über dem „Docker Test“ auf eine Linux VM nachdenken, da lernst du dann gefahrenlos die richtigen Kommandos & ein paar kleine Projekte dazu können ebenfalls nicht schaden auf der Konsole.

Bob

 

[4bob]

Hey rednag,

hast du dir den loganalyser mal angesehen?

Bob

 

[rednag]

Nein, noch nicht. Zumindest liegt die tar-gz aber schon in Version 4.5.1 auf der HD
Eventeull wage ich morgen mal einen Versuch das zu installieren.