jDownloader RSScrawler V2 neuste Version (JDownloader Add-on)

sweatcher · 09. Jan 2017

**RSScrawler v.2.3.1**

Projekt von https://github.com/rix1337

Enthält Code von:

https://github.com/dmitryint
https://github.com/zapp-brannigan
https://github.com/Gutz-Pilz
https://github.com/bharnett

DSM
unbekannt (getestet auf DSM 6.0.2-8451 Update 7)

Unterstützte DS und RS
unbekannt (getestete auf DS: DS214play und DS415+)

Paketstatus
Es wird vorerst kein Paket geben, falls Neutron wieder aktiv ist kann er dies gerne erledigen oder vieleicht finde ich Zeit eines zu erstellen.

Welche Voraussetzungen gibt es ?

Python 2.7
Java 8 offizielle Version oder die Version die Filebot empfiehlt
JDownloader 2

Funktionsweise
Der RSScrawler holt von 2 Seiten entsprechende Informationen und speichert diese im Folderwatch-Format für JDownloader. Einigen von euch dürfte diese Funktion von pyload bekannt sein.
Um das ganze zu konfigurieren stellt der Entwickler ein Webinterface bereit. Die Einstellungen von RSScrawler erfolgen über den integrierten Webserver.

Installation

SSH Verbindung als Admin

Rich (BBCode):

sudo su

für temporäre Rootrechte (ab DSM 6, bei DSM 5 könnt ihr direkt als Root SSH machen)

Zum JDownloader Ordner wechseln

Rich (BBCode):

cd /volume1/@appstore/JDownloader

Ordner folderwatch erstellen

Rich (BBCode):

mkdir folderwatch

Rechte des Ordners anpassen

Rich (BBCode):

chmod -R 777 /volume1/@appstore/JDownloader/folderwatch/

Die Ordnerüberwachung aktivieren und einstellen. Hinweise hierzu

Das Installationsskript herunterladen

Rich (BBCode):

wget https://raw.githubusercontent.com/rix1337/RSScrawler/master/setup.sh

Das Script per chmod

Rich (BBCode):

+x setup.sh

ausführbar machen.

Das Installationsskript ausführen (su muss weiterhin aktiv sein):

Rich (BBCode):

bash setup.sh

Option 2) für Synology wählen.

Nachdem das Script die notwendigen Pakete installiert hat, müssen der Pfad des JDownloaders (Version 2, mit folderwatch Unterverzeichnis), sowie der gewünschte Port des Webservers angegeben werden.
Standard Pfad des JDownloaders: /volume1/@appstore/JDownloader/
Standadart Port des Webinterfaces: 9090 Port muss nur geändert werden, wenn ihr bereits etwas anderes auf diesem Port am laufen habt.

Danach ist der RSScrawler einsatzbereit und startet direkt.

Zu erledigen nach der Installation

Nun muss noch dafür gesorgt werden das dieses Script immer läuft
Dazu gehen wir zum Aufgabenplaner und erfassen einen neuen Task

Geplante Aufgabe > Benutzerdefiniertes Script
Vorgang: RSScrawler
Benutzer: root
Zeitplan so belassen oder anpassen
Aufgabeneinestellung Befehl ausführen > python /volume1/@appstore/RSScrawler-master/RSScrawler.py

Viel Spass

FAQ

Wiki des Entwicklers: zum Wiki

Wird nach und nach erstellt

Updates in naher Zukunft?

rix1377
Updates gibt es vorerst keine mehr, da das Programm (endlich) für meine Zwecke Feature Complete ist, ich selbst möchte also kaum noch Funktionen umsetzten; auch aus Zeitmangel
Trotzdem kommt bestimmt irgendwann eine Form von API, damit man bspw. PlexRequests/Ombi anbinden kann.

Testet das Paket ausgiebig, Verbesserungswünsche nehme ich gerne entgegen.
Vorschläge bezüglich Autostart des Scripts und euere DSM Version + Model gerne als Kommentar hinterlassen.

Viel Spass mit der neuen Version

DrSniper · 10. Jan 2017

Muss ich vorher den alten RSSCRAWLER deinstallieren?

sweatcher · 10. Jan 2017

Ich denke ja, wie heisst dein alter RSSCrawler Ordner und wo befindet sich dieser?

DrSniper · 10. Jan 2017

/volume1/@appstore/rsscrawler

sweatcher · 10. Jan 2017

Dann definitiv deinstallieren oder den vorhandenen Ordner Umbenennen!!!

DrSniper · 10. Jan 2017

Habe jetzt alles so installiert wie du geschrieben hast.
Leider wird irgendwie nicht erkannt. Im Log steht auch nichts!

sweatcher · 10. Jan 2017

Was wird nicht erkannt?
Auf welchen Log beziehst du dich?
Du hast nun einen Folder Namens RSScrawler-master in /volume1/@appstore/RSScrawler-master ?

Welche DSM Version und welche DS hast du?

DrSniper · 10. Jan 2017

habe zwei Serien eingetragen
Das Log feld auf der Seite im Browser
Ja hab den Ordner in volume1/@appstore
Habe die aktuelle DSM 6
Nutze xpenology

sweatcher · 10. Jan 2017

achso, ok suchst du via suche oder rss feed und oder regex suche?
MB oder SJ, was bringt eine manuele Suche auf der Seite? Falls kein Eintrag erscheint dann gibt es aktuell nichts, somit gibts auch kein Log Eintrag

Evtl. musst du das direkt bei Feedback posten auf der Seite des Entwicklers, weiss nicht wie das Forum zu solchen Fragen hier steht.

DrSniper · 11. Jan 2017

Läuft jetzt super
Danke dir

Norax · 15. Jan 2017

Danke für die Anleitung, beim letzten Schritt "bash setup.sh" wird jedoch ne Fehlermeldung bei mir ausgespuckt.

Rich (BBCode):

ash-4.3# bash setup.sh

Hinweise im Wiki: https://github.com/rix1337/RSScrawler/wiki
Bitte Plattform wählen:
1) Ubuntu/Debian
2) Synology
3) Beenden
#? 2
Es müssen Python 2.7, JDownloader 2 und Java 8 installiert sein!
Durch Tastendruck bestätigen...
setup.sh: line 52: cd: /volume1/@appstore/PythonModule/usr/lib/python2.7/site-packages/: No such file or directory
python: can't open file 'easy_install.py': [Errno 2] No such file or directory
Requirement already up-to-date: pip in /usr/lib/python2.7/site-packages
Requirement already up-to-date: virtualenv in /usr/lib/python2.7/site-packages
Requirement already up-to-date: virtualenvwrapper in /usr/lib/python2.7/site-packages
Requirement already up-to-date: stevedore in /usr/lib/python2.7/site-packages (from virtualenvwrapper)
Requirement already up-to-date: virtualenv-clone in /usr/lib/python2.7/site-packages (from virtualenvwrapper)
Requirement already up-to-date: pbr>=1.8 in /usr/lib/python2.7/site-packages (from stevedore->virtualenvwrapper)
Requirement already up-to-date: six>=1.9.0 in /usr/lib/python2.7/site-packages (from stevedore->virtualenvwrapper)
Requirement already satisfied: docopt in /usr/lib/python2.7/site-packages
Requirement already satisfied: feedparser in /usr/lib/python2.7/site-packages
Collecting lxml
  Using cached lxml-3.7.2.tar.gz
Collecting requests
  Using cached requests-2.12.4-py2.py3-none-any.whl
Collecting cherrypy
  Using cached CherryPy-8.9.0-py2.py3-none-any.whl
Collecting BeautifulSoup
Requirement already satisfied: six in /usr/lib/python2.7/site-packages (from cherrypy)
Building wheels for collected packages: lxml
  Running setup.py bdist_wheel for lxml ... error
  Complete output from command /bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-iVUOH0/lxml/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" bdist_wheel -d /tmp/tmpe80_3Xpip-wheel- --python-tag cp27:
  Building lxml version 3.7.2.
  Building without Cython.
  ERROR: /bin/sh: xslt-config: command not found

  ** make sure the development packages of libxml2 and libxslt are installed **

  Using build configuration of libxslt
  running bdist_wheel
  running build
  running build_py
  creating build
  creating build/lib.linux-armv7l-2.7
  creating build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/doctestcompare.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/__init__.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/_elementpath.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/sax.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/ElementInclude.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/usedoctest.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/pyclasslookup.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/cssselect.py -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/builder.py -> build/lib.linux-armv7l-2.7/lxml
  creating build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/__init__.py -> build/lib.linux-armv7l-2.7/lxml/includes
  creating build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/diff.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/defs.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/__init__.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/ElementSoup.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/soupparser.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/_setmixin.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/usedoctest.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/formfill.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/clean.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/_diffcommand.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/html5parser.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/builder.py -> build/lib.linux-armv7l-2.7/lxml/html
  copying src/lxml/html/_html5builder.py -> build/lib.linux-armv7l-2.7/lxml/html
  creating build/lib.linux-armv7l-2.7/lxml/isoschematron
  copying src/lxml/isoschematron/__init__.py -> build/lib.linux-armv7l-2.7/lxml/isoschematron
  copying src/lxml/lxml.etree.h -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/lxml.etree_api.h -> build/lib.linux-armv7l-2.7/lxml
  copying src/lxml/includes/xinclude.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/uri.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/xmlschema.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/htmlparser.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/xslt.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/tree.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/xmlparser.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/xpath.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/schematron.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/config.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/dtdvalid.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/c14n.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/etreepublic.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/xmlerror.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/relaxng.pxd -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/etree_defs.h -> build/lib.linux-armv7l-2.7/lxml/includes
  copying src/lxml/includes/lxml-version.h -> build/lib.linux-armv7l-2.7/lxml/includes
  creating build/lib.linux-armv7l-2.7/lxml/isoschematron/resources
  creating build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/rng
  copying src/lxml/isoschematron/resources/rng/iso-schematron.rng -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/rng
  creating build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl
  copying src/lxml/isoschematron/resources/xsl/RNG2Schtrn.xsl -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl
  copying src/lxml/isoschematron/resources/xsl/XSD2Schtrn.xsl -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl
  creating build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl/iso-schematron-xslt1
  copying src/lxml/isoschematron/resources/xsl/iso-schematron-xslt1/iso_schematron_skeleton_for_xslt1.xsl -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl/iso-schematron-xslt1
  copying src/lxml/isoschematron/resources/xsl/iso-schematron-xslt1/iso_abstract_expand.xsl -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl/iso-schematron-xslt1
  copying src/lxml/isoschematron/resources/xsl/iso-schematron-xslt1/iso_svrl_for_xslt1.xsl -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl/iso-schematron-xslt1
  copying src/lxml/isoschematron/resources/xsl/iso-schematron-xslt1/iso_schematron_message.xsl -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl/iso-schematron-xslt1
  copying src/lxml/isoschematron/resources/xsl/iso-schematron-xslt1/iso_dsdl_include.xsl -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl/iso-schematron-xslt1
  copying src/lxml/isoschematron/resources/xsl/iso-schematron-xslt1/readme.txt -> build/lib.linux-armv7l-2.7/lxml/isoschematron/resources/xsl/iso-schematron-xslt1
  running build_ext
  building 'lxml.etree' extension
  creating build/temp.linux-armv7l-2.7
  creating build/temp.linux-armv7l-2.7/src
  creating build/temp.linux-armv7l-2.7/src/lxml
  /usr/local/arm-unknown-linux-gnueabi/bin/arm-unknown-linux-gnueabi-ccache-gcc -fno-strict-aliasing -DSYNO_MINDSPEED_COMCERTO2K -DSYNOPLAT_F_ARMV7 -O2 -mcpu=cortex-a9 -march=armv7-a -mtune=cortex-a9 -mfpu=neon -mfloat-abi=hard -mthumb -fno-diagnostics-show-caret -Wno-unused-local-typedefs -DBUILD_ARCH=32 -D_LARGEFILE64_SOURCE -D_FILE_OFFSET_BITS=64 -DSYNO_PLATFORM=MINDSPEED_COMCERTO2K -DSYNO_RUNNING_DSM_BUILD_SYSTEM -g -pipe -fstack-protector --param=ssp-buffer-size=4 -Wformat -Wformat-security -D_FORTIFY_SOURCE=2 -O2 -Wno-unused-result -DOPENSSL_NO_SSL3 -I/usr/local/arm-unknown-linux-gnueabi/arm-unknown-linux-gnueabi/sysroot/usr/lib/libffi-3.2.1/include -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -fPIC -Isrc/lxml/includes -I/usr/include/python2.7 -c src/lxml/lxml.etree.c -o build/temp.linux-armv7l-2.7/src/lxml/lxml.etree.o -w
  unable to execute '/usr/local/arm-unknown-linux-gnueabi/bin/arm-unknown-linux-gnueabi-ccache-gcc': No such file or directory
  Compile failed: command '/usr/local/arm-unknown-linux-gnueabi/bin/arm-unknown-linux-gnueabi-ccache-gcc' failed with exit status 1
  creating tmp
  cc -I/usr/include/libxml2 -c /tmp/xmlXPathInitgLxTWk.c -o tmp/xmlXPathInitgLxTWk.o
  unable to execute 'cc': No such file or directory
  *********************************************************************************
  Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed?
  *********************************************************************************
  error: command '/usr/local/arm-unknown-linux-gnueabi/bin/arm-unknown-linux-gnueabi-ccache-gcc' failed with exit status 1

  ----------------------------------------
  Failed building wheel for lxml

Eine noobfreundliche Erklärung wäre sehr nett, da sich meine Kentnisse diesbezüglich sehr in Grenzen halten, ich den RSSCrawler dennoch sehr gern nutzen würde

sweatcher · 15. Jan 2017

Hast du Python 2.7 und Python Module installiert?

Welche DSM Version und welche DS hast du?

Norax · 15. Jan 2017

Ok, hat sich geklärt. Hatte zwar Python 2.7 + Module installiert gehabt, aber bei letzterem gab es anscheinend irgendwie Probleme. Nach einer Neuinstallation läuft jetzt alles sauber!

Falls es noch interessiert: DSM Version ist DSM 6.0.2-8451 Update 8 und DS ist DS414J

DKeppi · 16. Jan 2017

Bei mir kommt beim Start folgendes:

Rich (BBCode):

Traceback (most recent call last):  File "/volume1/@appstore/RSScrawler-master/RSScrawler.py", line 38, in <module>
    from docopt import docopt
ImportError: No module named docopt

DKeppi · 16. Jan 2017

Habs hinbekommen:

Habe mir ein Script geladen

Rich (BBCode):

wget https://bootstrap.pypa.io/get-pip.py

Damit pip installiert

Rich (BBCode):

python get-pip.py

Und anschließend die Module nachinstalliert

Rich (BBCode):

pip install docopt
pip install cherrypy
pip install feedparser
pip install requests
pip install BeautifulSoup
pip install lxml

Evtl. gehts aber auch anders...

Danach noch in der

Rich (BBCode):

/volume1/@appstore/RSScrawler-master/Einstellungen/RSScrawler.ini

den JDownloader-Pfad eingetragen

Rich (BBCode):

/volume1/@appstore/JDownloader

Hat wohl per Setupscript nicht geklappt

Jetzt läufts...

DKeppi · 10. Feb 2017

Bevor ich versuche meine Syno neu zu starten.
Beendet sich der RSScrawler automatisch oder kann ich davon ausgehen dass die Syno hängenbleibt?

sweatcher · 13. Feb 2017

ich beende meine Syno ab und zu bzw, neustarte sie, hatte bisher keine Probleme.
Neueste Version 2.4.1 läuft bei mir, gerade geupdatet.

DKeppi · 14. Feb 2017

Danke für die Info, hat geklappt

Liegt wohl daran das python ein Paket ist und autom. beendet wird.

Wie hast du das Update gemacht ohne die Einstellungen zu verlieren?

sweatcher · 14. Feb 2017

die Einstellungen gingen verloren aber default mässig wird ja nur nach dem JD Pfad und der Port gefragt, alternativ könnte ja die Einstellungsdatei kopiert werden.

DKeppi · 15. Feb 2017

Ok danke für die Info!

Mir gings mehr um die Einstellungen bzgl. Scraper da das doch einiges an Arbeit war, besonders die Regex.txt
Und es gibt ja die Datenbanken wo drinnen steht was bereits geladen wurde und die Filtereinstellungen welche nicht gescrapt werden sollen.

Aber nachdem ich gesehen habe, dass das Update eh ur Youtube betrifft kann ich drauf verzichten