jDownloader RSScrawler 3.0 (noarch) / Paketzentrum (JDownloader Add-on)

neutron · 19. Jul 2017

**RSScrawler v.3.0**

Projekt von https://github.com/rix1337

Enthält Code von:

https://github.com/dmitryint
https://github.com/zapp-brannigan
https://github.com/Gutz-Pilz
https://github.com/bharnett

DSM
Jede Version.

Unterstützte DS und RS
Jede.

Paketstatus
Das Paket ist aktuell mit der Version 3.0 ausgestattet. Updates und Verbesserungen sind über das Paketzentrum als Update verfügbar.

Download
Das Paketzentrum auf euer DS oder RS öffnen und unter Einstellungen->Paketquellen folgende Quelle hinzufügen:

https://spk.netzbaer.de

Welche Voraussetzungen gibt es ?
Es muss Python, Java und JDownloader bereits installiert sein.

Konfiguration:
Während der Installation werdet Ihr nach dem Pfad eurer JDownloader Installation und des Ports für die Weboberfläche von RSSCrawler gefragt. Jegliche weitere Konfiguration vom Crawler geschieht dann über die eigene Weboberfläche. Anschließend müsst Ihr natürlich noch das Folderwatch Plugin in JDownloader aktivieren und den Pfad des Folderwatch Ordners im RSSCrawler hinterlegen, normalerweise:

- /var/packages/JDownloader//folderwatch

Funktionsweise:
Der RSScrawler holt von diversen Seiten entsprechende Informationen und speichert diese im Folderwatch-Format für JDownloader. Einigen von euch dürfte diese Funktion von pyload bekannt sein.

Testet das Paket ausgiebig, Verbesserungswünsche das Paket betreffend nehme ich gerne entgegen. Es wird sicherlich noch das eine oder andere Paket-Update folgen, auch eine FAQ bauen wir hier nach und nach auf.
Der Author des Skripts liest hier mit, sollte es also tatsächlich Probleme geben die das Skript betreffen, wird er sich evtl. hier dazu selbst äußern.

Viel Spaß.

CrimsonGlory · 19. Jul 2017

sooo, dann will ich mal der erste sein der sich für das Paket bedankt

Aber bekomms leider auch net sofort zum Laufen
Pfad: /var/packages/jDownloader/
Port in FB eingerichtet
Auch ein neustart gemacht

Leider startet das Paket einfach net

neutron · 20. Jul 2017

Weil du direkt 2 Sachen missachtet hast die während der Installation da stehen. Groß-/Kleinschreibung und falscher Pfad.

/var/packages/JDownloader/target

CrimsonGlory · 20. Jul 2017

hab es 1:1 kopiert
leider das gleiche Problem

neutron · 20. Jul 2017

Ohne meine Glaskugel und weitere Informationen von dir wird das schwierig. Geh mal auf die Shell in den Installationsordner und starte mal den Crawler von Hand, schau was die Ausgabe sagt. Oder Benutze das start-stop script und schau was dieses sagt.

neutron · 20. Jul 2017

UPDATE: Pfadeingabe von JDownloader nun nicht mehr nötig.

neutron · 20. Jul 2017

UPDATE: Schalter eingebaut um die Python Module nach einem Firmware-Update wieder zu installieren.

Wenn ein Firmware-Update die Python Module zerschossen hat, kann man nun auf der Shell via "/var/packages/RSScrawlerv3/scripts/start-stop-status python" die Python Module wieder installieren und RSSCrawler sollte danach wieder starten. Bitte mal die Leute testen, bei denen RSSCrawler nach einem Firmware-Update nicht mehr startet.

CrimsonGlory · 20. Jul 2017

Also ich bekomm das als Meldung
Kann man damit was anfangen?

Rich (BBCode):

Traceback (most recent call last):
  File "RSScrawler.py", line 30, in <module>
    from docopt import docopt
ImportError: No module named docopt

neutron · 21. Jul 2017

Ja, Python Module sind nicht installiert, was komisch ist. Du hast die gleiche DS wie ich und das Paket hab ich 100 Mal getestet. Führe mal den Befehl auf der Shell aus der oben in meinem letzten Update Post steht. Die Ausgabe wieder hier Posten.

CrimsonGlory · 21. Jul 2017

Ja python ist installiert.
Soll ich mal versuchen das Packet neu zu installieren?

Hab die Ausgabe bekommen

Rich (BBCode):

The following error occurred while trying to add or remove files in the
installation directory:

    [Errno 13] Permission denied: '/usr/lib/python2.7/site-packages/test-easy-in                                                      100% |ââââââââââââââââââââââââââââââââ| 1.8MB 344kB/s
Collecting virtualenvwrapperââââââââââââ
  Downloading virtualenvwrapper-4.7.2.tar.gz (90kB)
    100% |ââââââââââââââââââââââââââââââââ| 92kB 3.8MB/s
Collecting virtualenv-clone (from virtualenvwrapper)
  Downloading virtualenv-clone-0.2.6.tar.gz
Collecting stevedore (from virtualenvwrapper)
  Downloading stevedore-1.25.0-py2.py3-none-any.whl
Collecting pbr!=2.1.0,>=2.0.0 (from stevedore->virtualenvwrapper)
    100% |ââââââââââââââââââââââââââââââââ| 102kB 4.8MB/s
Collecting six>=1.9.0 (from stevedore->virtualenvwrapper)
  Downloading six-1.10.0-py2.py3-none-any.whl
Installing collected packages: pip, virtualenv, virtualenv-clone, pbr, six, stevedore, virtualenvwrapper
Exception:ââââââââââââ
Traceback (most recent call last):
  File "/usr/lib/python2.7/site-packages/pip-9.0.1-py2.7.egg/pip/basecommand.py", line 215, in main
    status = self.run(options, args)
  File "/usr/lib/python2.7/site-packages/pip-9.0.1-py2.7.egg/pip/commands/install.py", line 342, in run
    prefix=options.prefix_path,
  File "/usr/lib/python2.7/site-packages/pip-9.0.1-py2.7.egg/pip/req/req_set.py", line 784, in install
    **kwargs
  File "/usr/lib/python2.7/site-packages/pip-9.0.1-py2.7.egg/pip/req/req_install.py", line 851, in install
    self.move_wheel_files(self.source_dir, root=root, prefix=prefix)
  File "/usr/lib/python2.7/site-packages/pip-9.0.1-py2.7.egg/pip/req/req_install.py", line 1064, in move_wheel_files
    isolated=self.isolated,âââ
  File "/usr/lib/python2.7/site-packages/pip-9.0.1-py2.7.egg/pip/wheel.py", line 345, in move_wheel_files
    clobber(source, lib_dir, True)
  File "/usr/lib/python2.7/site-packages/pip-9.0.1-py2.7.egg/pip/wheel.py", line 316, in clobber
    ensure_dir(destdir)
  File "/usr/lib/python2.7/site-packages/pip-9.0.1-py2.7.egg/pip/utils/__init__.py", line 83, in ensure_dir
    os.makedirs(path)
  File "/usr/lib/python2.7/os.py", line 157, in makedirs
    mkdir(name, mode)
    100% |ââââââââââââââââââââââââââââââââ| 1.2MB 685kB/s
Collecting requestsââââââââââââââââââââââ
    100% |ââââââââââââââââââââââââââââââââ| 92kB 4.8MB/s
Collecting cheroot>=5.2.0 (from cherrypy)
  Downloading cheroot-5.7.0-py2.py3-none-any.whl (63kB)
    100% |ââââââââââââââââââââââââââââââââ| 71kB 5.3MB/s
Collecting six (from cherrypy)
  Downloading six-1.10.0-py2.py3-none-any.whl
    100% |ââââââââââââââââââââââââââââââââ| 133kB 3.9MB/s
Collecting idna<2.6,>=2.5 (from requests)
    100% |ââââââââââââââââââââââââââââââââ| 491kB 1.2MB/s
Installing collected packages: BeautifulSoup, six, cheroot, pytz, tempora, portend, cherrypy, docopt, feedparser, urllib3, idna, certifi, chardet, requestsâââââââââââââ
  Running setup.py install for BeautifulSoup ... error
    Complete output from command /bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-_qKVPr/BeautifulSoup/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-RreGiF-record/install-record.txt --single-version-externally-managed --compile:
    running install
    running build
    running build_py
    creating build
    creating build/lib
    copying BeautifulSoup.py -> build/lib
    copying BeautifulSoupTests.py -> build/lib
    running install_lib
    running install_egg_info
    running egg_info
    creating BeautifulSoup.egg-info
    writing BeautifulSoup.egg-info/PKG-INFO
    writing top-level names to BeautifulSoup.egg-info/top_level.txt
    writing dependency_links to BeautifulSoup.egg-info/dependency_links.txt
    writing manifest file 'BeautifulSoup.egg-info/SOURCES.txt'
    warning: manifest_maker: standard file '-c' not found

    reading manifest file 'BeautifulSoup.egg-info/SOURCES.txt'
    writing manifest file 'BeautifulSoup.egg-info/SOURCES.txt'
    removing '/usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info' (and everything under it)
    error removing /usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info: [Errno 13] Permission denied: '/usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info/SOURCES.txt'
    error removing /usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info: [Errno 13] Permission denied: '/usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info/dependency_links.txt'
    error removing /usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info: [Errno 13] Permission denied: '/usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info/top_level.txt'
    error removing /usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info: [Errno 13] Permission denied: '/usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info/PKG-INFO'
    error removing /usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info: [Errno 13] Permission denied: '/usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info/installed-files.txt'
    error removing /usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info: [Errno 13] Permission denied: '/usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info'
    Copying BeautifulSoup.egg-info to /usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info
    error: [Errno 13] Permission denied: '/usr/lib/python2.7/site-packages/BeautifulSoup-3.2.1-py2.7.egg-info/SOURCES.txt'

    ----------------------------------------
Command "/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-_qKVPr/BeautifulSoup/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-RreGiF-record/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /tmp/pip-build-_qKVPr/BeautifulSoup/

neutron · 21. Jul 2017

Du hast das aber schon als root ausgeführt? War Python vor dem Paket schon mal installiert? Hast du zwischen unseren Nachrichten hier ein Firmware update gemacht?

CrimsonGlory · 21. Jul 2017

Stimmt,
habs als admin ausgeführt.
Schande über mich

Die DSM Version hab ich die neueste drauf.

Habs mit root versucht und jetzt ist das Paket im Status läuft.

Ich konnte jetzt (nachdem https://) entfernt hab auch auf die Oberfläche zugreifen.
Jetzt muss ich ja noch hier den Pfad für den Folderwatch eintragen, richtig? Leider seh ich kein Eintrag dazu, nur den Pfad für den jDownloader selbst

neutron · 21. Jul 2017

Die Fragen waren, hast du das Firmware Update installiert während wie hier diskutiert haben die letzten 2 Tage ? Und war Python VOR diesem Paket schon drauf ? In der neuesten Paket Version musst du keinen Pfad mehr angeben, bitte auch meine Update Posts lesen.

CrimsonGlory · 21. Jul 2017

Ja Python war schon vorher drauf.
Ich hab die erste Paket Version entfernt und die Version 003 eingespielt.
Das Reparieren hat dann mit root funktioniert.
Das DSM Update hab ich auch vorher gemacht.

Jetzt läuft es und Findet im RSScrawler Log auch die Serien, die werden nur noch nicht hinzugefügt da ich ja den Pfad zum Folderwatch im RSScrawler angeben muss.
Im JDownloader ist Folderwatch bereits aktiv und zeigt auf "/volume1/Downloads/folderwatch"

neutron · 21. Jul 2017

Ja, dann hat dir das DSM Update die Python Module kaputt gemacht. Das wollte ich ja wissen, ist ja ein bekanntes Problem. Und nein, noch einmal, du musst keinen Pfad mehr angeben, das habe ich raus genommen und ermittele den Pfad selbst. Der folderwatch Ordner ist IMMER unter dem Jdownloader Ordner. Der Pfad den du im JDownloader eintragen musst siehst du ja ganz einfach im Webinterface von RSSCrawler, scroll runter zu Einstellungen, da sollte als Beispiel stehen "/volume1/@appstore/JDownloader". Also lautet dein Pfad für das Folderwatch Plugin von JDownloader "/volume1/@appstore/JDownloader/folderwatch". Wie du auf "/volume1/Downloads/Folderwatch" kommst, weiß ich nicht.

CrimsonGlory · 21. Jul 2017

Ah ok.
Ich bin gespannt ob ich den Befehl nach dem nächsten Upadte nochmal brauch
Der Pfad hab ich vorher in meiner alten Methode verwendet.
Jetzt muss ich schauen ob man 2 Verzeichnisse für folderwatch im jd eintragen kann, wenn nicht kommt halt der neue von RSScrawler rein.

Aber vielen dank für die unterstützung

CrimsonGlory · 22. Jul 2017

Brauch leider nochmals hilfe.

In RSSCrawler Log stehen Serien drin.
Im JDownloader Ordner unter Added stehen auch die Cronjobs drin.
Aber leider ist nichts im Downloadordner. Den Pfad ist angepasst /volume1/@appstore/JDownloader/folderwatch
Vor RSS Crawler hat ich auch folderwatch im einsatz und es hat funktioniert.
Eine Idee wo ich noch nachschauen könnte?

neutron · 22. Jul 2017

Also der Pfad ist ja nur für die Jobs und du sagst er added die auch, damit ist es ja eigentlich getan. Du meinst jetzt die Downloads als solches sind nicht da?

CrimsonGlory · 22. Jul 2017

Ja genau.
Im Download Ordner ist nichts drin.
Wenn ich es so hinzufüge lädt er ganz normal und die fertigen sind im Download Ordner drin

neutron · 22. Jul 2017

Seltsam, kann aber nicht mit meinen Paket zusammen hängen, macht nichts anderes wie das manuelle installieren.

jDownloader RSScrawler 3.0 (noarch) / Paketzentrum (JDownloader Add-on)

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Benutzer

Kaffeautomat