Website Überwachen auf veränderung

elbro_dark · 29. Sep 2018

Hallo,
ich würde gerne wissen ob es ein Programm für die Diskstation gibt, mit welchen ich Änderung auf einer Website verfolgen kann.
Für den normalen Windows-Pc habe ich schon einige Programme gefunden, jedoch möchte ich diesen nicht 24/7 durchlaufen lassen.
Da meine DS 415+ eh dauerhaft läuft würde ich es gerne darüber machen.

Die Änderung auf der Website soll lediglich ein Wort erkennen das in Rot geschrieben ist und mich drauf hin Benachrichtigen.

vll. fällt ja jemanden was ein wie ich das realisieren könnte.

blurrrr · 29. Sep 2018

Curl bzw. vermutlich das Modul "php-curl" dürfte grundsätzlich Dein Freund sein, je nachdem wie Du es umsetzen möchtest

EDIT: https://curl.haxx.se/docs/manpage.html

4bob · 30. Sep 2018

Bin ebenfalls auf der Suche, welche Windows Programme hast du ausprobiert?

Es gibt kaum bis keine self hosted Anwendungen für ein gutes Content Monitoring von Webseiten, ein paar Browser Addons der Rest ist nur Cloud based.
Was dir helfen könnte wäre http://sitemonitoring.sourceforge.net/ schon älter basiert auf java und sollte auf der DS laufen;
Nicht wirklich ein reiner Content Tracker, aber um Werte über html auszulesen und dir ne Mail zu senden vollkommen ausreichend und sehr einfach&schnell umgesetzt.

@blurrrr
Kannst du bitte kurz erläutern wie nach deiner Vorstellung php-curl Webseiten auf Veränderungen überwachen könnte? Da fehlt doch wohl noch ein Hinweis

Und wolltest du nicht endlich auf Linux umsteigen damit so was nicht mehr vorkommt

Bob

blurrrr · 30. Sep 2018

Ich bin kein Programmierer, aber Monitoringsysteme wo man sich selbst Erweiterungen für schreiben kann, gibt es ja wohl mehr als genug... Sich da ein kleines Script zu basteln (sei es ein Shellscript, oder eben eine php-App, das muss man für sich selbst entscheiden) sollte da aber nicht das größte Problem sein... Das allereinfachste Beispiel (auf einer reinen HTML-Seite) um da was passendes zu suchen wäre vermutlich sowas in dieser Art:

"curl <url> | grep -i color=#FF0000"

Vermutlich würde man dann mit "awk" noch weiter filtern... Funktioniert natürlich nur, wenn ein Font-Tag mit entsprechender Color-Anweisung vorhanden ist. Alternativ macht man es halt an der gesamten Phrase davor fest. Spielt aber eigentlich auch keine große Rolle, es wird entsprechendes Ausgegeben (natürlich braucht man dann den Teil "nach" dem Suchbegriff) und kann entsprechend weiterverarbeitet werden. Via php-curl könnte man die gewünschten Werte in eine DB pumpen und darüber vergleichen lassen, oder halt mit diff oder so vergleichen. Entweder sind die Werte gleich (true) oder anders (false) und daraufhin kann man auch eine entsprechende Aktion auslösen. So würd ich das zumindestens angehen (wenn ich programmieren könnte

).

EDIT: Script sollte dann natürlich als Cronjob laufen, hatte ich als selbstverständlich vorausgesetzt, aber ich ergänze es lieber mal...

EDIT2: Kleiner Nachtrag an (vllt nützlichen) Links für den TO:

1) Das wäre eine (anpassbare) Bash-Script-Lösung:
http://bhfsteve.blogspot.com/2013/03/monitoring-web-page-for-changes-using.html
2) Hier nochmal eine Zusammenstellung von div. Systemen, evtl. ist ja was passendes für Dich dabei:
https://github.com/edgi-govdata-archiving/awesome-website-change-monitoring/blob/master/readme.md

4bob · 30. Sep 2018

Super danke für das Update

Hab das nicht mitbekommen das du hier nochmal was hinzugefügt hast.
Interessante Zusammenstellung, Klaxon

wenn das jetzt noch ohne online Account machbar ist ist das ein Treffer.

geimist · 01. Okt 2018

Ich habe mir vor einigen Wochen eine eigene Lösung gebaut, weil mir die Intervalle der öffentlichen Dienste zu lange waren. Sie basiert auf Links (Kommandozeilenbrowser) und diff (aus DSM) und funktioniert für mich wie gewünscht. Zuerst hatte ich es über den Quelltext gemacht, aber da ist die Fehlerrate zu hoch. Das Skript nutzt eine Datei, in die beliebig viele Websiten aufgenommen werden kann.

Die versendete E-Mail zeigt die Änderung.

Wenn jemand Bedarf hat: https://geimist.eu/link/dsmchangedetection

Das Programm 'Links' liegt für die Plattform x86_64 bei. Für andere Plattformen ist einfach das SPK separat zu installieren: https://synocommunity.com/package/links

4bob · 10. Okt 2018

Hallo Stephan,

ich würde das Paket von dir gerne installieren, der Link endet aber in einem Timeout.
Kannst du mir einen alternativen dl link bereitstellen?

Vielen Dank,
Bob

geimist · 10. Okt 2018

Gerade getestet - müsste eigentlich noch funktionieren. Alternativ probiere mal den nativen Link für diese Version: https://geimist.eu:65001/sharing/Q3kmFgSqB