RSSCrawler 4.01

[DrSniper]

Ich meine ipkg

 

[Norax]

Ich habe den neusten rsscrawler installiert und bekomme den selben Fehler wie hier: https://github.com/rix1337/RSScrawler/issues/261. Daraufhin habe ich Python 3.5 aus dem Synology Paketzentrum installiert. Wenn ich jedoch das command "rsscrawler" ausführe, versucht er immer das Programm mit Python 2.7 auszuführen, was dann in oben genanntem Fehler:

Traceback (most recent call last):
File "/usr/lib/python2.7/site-packages/rsscrawler/RSScrawler.py", line 139, in crawler
total_time) + ")! Wartezeit bis zum nächsten Suchlauf: " + readable_time(wait))
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 22: ordinal not in range(128)

resultiert. Wie kann ich rsscrawler mit Python 3.5 starten lassen?

 

[Norax]

Ok, das oben genannte Problem existiert nicht länger und der Crawler läuft perfekt (Lösung siehe Github Link). Nun würde ich ihn gerne noch absichern, da mein NAS über selfhost (und bald über strato) im Internet erreichbar ist. Hat jemand die im Wiki zitierten Lösungen:

"Der Webserver sollte nie ohne adequate Absicherung im Internet freigegeben werden. Dazu empfiehlt sich ein Reverse-Proxy bspw. über nginx mit Letsencrypt (automatisches, kostenloses HTTPs-Zertifikat), HTTPauth (Passwortschutz - Nur sicher über HTTPs!) und fail2ban (limitiert falsche Logins pro IP)."

schon umgesetzt und kann mir sagen, wie er vorgegangen ist (Skript etc.)? Habe es über nginx versucht und die PW Abfrage kam, nur leider wurde ich nicht auf den Crawler weitergeleitet :/

 

[DKeppi]

Hats eigentlich schon mal jemand per Docker zum Laufen bekommen?
Jetzt wo die JD2 API genutzt wird, hätten wir das Problem mit dem folderwatch Ordner (und dem crawljob File das auf den lokal installierten JD2 verschoben werden muss) nicht mehr!

https://hub.docker.com/r/rix1337/docker-rsscrawler/

 

[postboy99]

Ja, ich benutze es in der Docker Variante. Läuft super.

 

[DKeppi]

Kannst du evtl. die Einstellungen deines Containers exportieren und hier hochladen...oder Screenshots posten?
Ich bekomms einfach nicht hin!

 

[postboy99]

Klar. Die frage ist eher, was genau das Problem bei dir ist. Ich vermute Python. Da musste ich auch etwas hantieren.

Konfig
https://drive.google.com/file/d/1M95xIzqmXjcN1SN6aBCP_5UaTQd7hA0q/view?usp=sharing

Also wenn du Probleme hast, am besten mal im Log des Dockers den Output hier rein kopieren.

PS: Bei mir liegt es hier: "host_volume_file" : "/docker/RSScrawler/",
Wenn du die konfig nimmst, änder das oder leg den Ordner an.

 

[DKeppi]

Ok, du verwendest noch den folderwatch Ordner nicht die API von myJD2.

Das Problem ist, das er beim Start des Containers einen Pfad für Einstellungen/Logs und die Daten für myJD2 erwartet.
Diese muss ich also als VARIABLEN mitgeben, nur wie?!

Anhang anzeigen RSScrawler.txt Ist eigentlich ein html File, Endung vorher ändern!

 

[postboy99]

Nein, er benutzt zuerst die API, auch wenn du fodlerwatch etc. dabei hast.

Gib einfach die mounts mit an.
In der Konfig Datei:
"volume_bindings" : [
{
"host_volume_file" : "/docker/RSScrawler/",
"mount_point" : "/config",
"type" : "rw"
},

"host_absolute_path" : "/volume1/@appstore/JDownloader/folderwatch/",
"mount_point" : "/jd2/folderwatch",
"type" : "rw"

Oder im Docker:

 

[DKeppi]

Den Config Ordner hab ich angegeben!

Startet auch nicht mit deinem json

 

[postboy99]

Kannst du denn auf die Webseite des RSScrawlers dann gehen?
Oder du gibst in der RSScrawler.ini die myJdownloader daten ein.

[RSScrawler]
jdownloader =
port = 9090
prefix =
interval = 50
english = False
surround = False
proxy =
fallback = False
myjd_user = abc@def.de
myjd_pass = XXXXX
myjd_device = JDownloader@root

 

[DKeppi]

Nein, die ist nicht erreichbar da er nicht startet!
Die ini ist nicht im angegebenen config Ordner, der ist leer.

 

[postboy99]

Ok, habe ich getestet. Erstellt er tatsächlich nicht.
Probier ma auf der Console: pip install rsscrawler

Oder gleich in docker:

docker run -d \
--name="RSScrawler" \
-p port:9090 \
-v /path/to/config/:/config:rw \
-e PARAMETER=[--jd-user=<NUTZERNAME> --jd-pass=<PASSWORT> --jd-device=<GERÄTENAME>] \
-e LOGLEVEL=[INFO/DEBUG/WARNING/ERROR/CRITICAL/NOTSET] \
-v /path/to/jdownloader2/:/jd2:rw \
rix1337/docker-rsscrawler

 

[DKeppi]

Nutze eh momentan die pip Variante, dachte nur die Docker ist besser falls Synology wieder mal was am pyton rumdoktert oder nur mehr 3.5 unterstützt wird.

Kann man den Docker Run Befehl denn auf der Synology noch wo einfügen?!

 

[postboy99]

Müsstest du im Aufgabenmanager als Task starten können.
Sonst per CLI auf die NAS gehen.

 

[DKeppi]

Seit Version 5.2.12 klappt der Docker Container bei mir auch

Hab nur einen Unterordner in /volume1/docker angelegt und mit /config verbunden (vor dem ersten Start hab ich dort meine vorhandene RSSCrawler.db, RSSCrawler.log und RSScrawler.ini reingelegt)
und den Port 9090 auf den internen 9090 des Containers gematcht.

Mehr musste ich nicht machen....


P.S.: Geht auch ohne vorhandene Files einwandfrei...die Daten kann man ja dann über die Weboberfläche eingeben!

 

[postboy99]

Super!

 

[DKeppi]

Trotzdem vielen Dank für deine Hilfe zuvor

 

[DrSniper]

@DKeppi
Woher bekommen ich diese Dateien?
Oder kann ich sie leer anlegen?

 

[DKeppi]

Du brauchst die Files gar nicht, die legen sich beim ersten Start des Containers selbst im definierten Ordner an...

Falls du den RSScrawler aber aktuell schon verwendest liegt das an der Variante die du verwendest:

Bei der manuellen Variante in /volume1/@appstore/RSScrawler-master/
Bei der pip Variante ohne extra Paket vermutlich in /usr/local/lib/python2.7/site-packages
Bei der pip Variante mit Python 3 Paket vermutlich in /volume1/@appstore/py3k/usr/local/lib/site-packages

Dann könntest du dir die Files per

cp RSScrawler.* /pfad/wo/sie/dann/liegen/sollen

wegkopieren.