RSSCrawler 4.01

[DKeppi]

git nun am laufen aber nächste Fehler

root@VR_DSM_JM:/volume1/Tausch# git clone https://github.com/rix1337/RSScrawler.git
Cloning into 'RSScrawler'...
fatal: Unable to find remote helper for 'https'

Sorry total vergessen, du brauchst auch noch git-https!
Gibts auch über ipkg

 

[HaraldB1966]

ich verzweifel langsam

Immer norch Fehler auf der Konsole.

Traceback (most recent call last):
File "/usr/lib/python2.7/multiprocessing/process.py", line 258, in _bootstrap
self.run()
File "/usr/lib/python2.7/multiprocessing/process.py", line 114, in run
self._target(*self._args, **self._kwargs)
File "RSScrawler.py", line 56, in web_server
start(port, docker)
File "/volume1/@appstore/RSScrawler/web.py", line 389, in start
app.run(host='0.0.0.0', port=port)
File "/usr/lib/python2.7/site-packages/flask/app.py", line 841, in run
run_simple(host, port, self, **options)
File "/usr/local/lib/python2.7/site-packages/werkzeug/serving.py", line 694, in run_simple
inner()
File "/usr/local/lib/python2.7/site-packages/werkzeug/serving.py", line 656, in inner
fd=fd)
File "/usr/local/lib/python2.7/site-packages/werkzeug/serving.py", line 550, in make_server
passthrough_errors, ssl_context, fd=fd)
File "/usr/local/lib/python2.7/site-packages/werkzeug/serving.py", line 464, in __init__
HTTPServer.__init__(self, (host, int(port)), handler)
File "/usr/lib/python2.7/SocketServer.py", line 417, in __init__
self.server_bind()
File "/usr/lib/python2.7/BaseHTTPServer.py", line 108, in server_bind
SocketServer.TCPServer.server_bind(self)
File "/usr/lib/python2.7/SocketServer.py", line 431, in server_bind
self.socket.bind(self.server_address)
File "/usr/lib/python2.7/socket.py", line 228, in meth
return getattr(self._sock,name)(*args)
error: [Errno 98] Address already in use
2018-03-09 17:13:09 - Alle Suchfunktion gestartet.

 

[HaraldB1966]

Noch mal alles gelöscht und Schritt für Schritt.


Ich denke er läuft aber webseite erreiche ich nicht. Aber auch einen Fehler von Python 2.7.
Keine Idee mehr was ich noch versuchen soll.

root@VR_DSM_JM:~# python RSScrawler.py/usr/local/lib/python2.7/site-packages/cffi/model.py:526: UserWarning: 'point_conversion_form_t' has no values explicitly defined; next version will refuse to guess which integer type it is meant to be (unsigned/signed, int/long)

% self._get_c_name())
??????????????????????????????????????????????????????????
Programminfo: RSScrawler v.4.0.5 von RiX
Projektseite: https://github.com/rix1337/RSScrawler
??????????????????????????????????????????????????????????
Der Ordner "Einstellungen" wurde erstellt.
Die Einstellungen und Listen sind jetzt im Webinterface anpassbar.
Nutze das "folderwatch" Unterverzeichnis von "/volume1/@appstore/JDownloader" für Crawljobs
Der Webserver ist erreichbar unter http://xxx.xx.252.74:9090
Drücke [Strg] + [C] zum Beenden
2018-03-10 15:38:33 - Alle Suchfunktion gestartet.
2018-03-10 15:39:30 - Alle Suchfunktion ausgeführt (Dauer: 57.4 Sekunden)!

 

[HaraldB1966]

liegt so weit ich das bis dato herausfinden konnte am Module cffi. Wenn ich das richtig gelesen habe Probleme mit VR Maschinen


xxCollecting cffi==1.7.0
Using cached cffi-1.7.0-cp27-cp27mu-manylinux1_x86_64.whl
Requirement already satisfied: pycparser in /usr/local/lib/python2.7/site-packages (from cffi==1.7.0)
Installing collected packages: cffi
Found existing installation: cffi 1.6.0
Uninstalling cffi-1.6.0:
Exception:
Traceback (most recent call last):
File "/usr/lib/python2.7/site-packages/pip/basecommand.py", line 215, in main
status = self.run(options, args)
File "/usr/lib/python2.7/site-packages/pip/commands/install.py", line 342, in run
prefix=options.prefix_path,
File "/usr/lib/python2.7/site-packages/pip/req/req_set.py", line 778, in install
requirement.uninstall(auto_confirm=True)
File "/usr/lib/python2.7/site-packages/pip/req/req_install.py", line 754, in uninstall
paths_to_remove.remove(auto_confirm)
File "/usr/lib/python2.7/site-packages/pip/req/req_uninstall.py", line 115, in remove
renames(path, new_path)
File "/usr/lib/python2.7/site-packages/pip/utils/__init__.py", line 267, in renames
shutil.move(old, new)
File "/usr/lib/python2.7/shutil.py", line 300, in move
rmtree(src)
File "/usr/lib/python2.7/shutil.py", line 232, in rmtree
onerror(os.path.islink, path, sys.exc_info())
File "/usr/lib/python2.7/shutil.py", line 230, in rmtree
raise OSError("Cannot call rmtree on a symbolic link")
OSError: Cannot call rmtree on a symbolic link

 

[DKeppi]

Wenn ich das richtig gelesen habe Probleme mit VR Maschinen

Du hast RSSCrawler auf einer virtuellen Maschine, oder was meinst du damit?

 

[HaraldB1966]

Ja läuft auf einer Virtuelle Maschine ( DSM )

 

[DKeppi]

Dann verhält sich da wohl wirklich was anders...wusste nicht dass du virtuell unterwegs bist

 

[DrSniper]

Moin an alle!
Bei mir läuft RSScrawler docker. Alles läuft wunderbar, außer das
ich das Problem habe das keine Dateien im Ordner Folderwatch gespeichert werden.
Er zeigt mir die auf der RSScrawler Seite an aber sie sind nicht im Folderwatch Ordner vom JDownloader.
Kann mir da jemand helfen. Vielleicht fehlt dem dicker die Berechtigung?

 

[DrSniper]

???

 

[HaraldB1966]

Kann dir leider nicht helfen.

Ich hab nicht verstanden wo ich was eintragen muß. Hab aber auch wenig Zeit grade mich damit zu beschäftigen. Wenn du es hin bekommst würde ich mich freuen mal paar Screen Shots zu senden wo du was eingetragen hast.

Viel Glück das du es hin bekommst

Harald

 

[Althir]

Hallo Community,

lange lief der Crawler problemlos auf meiner DS415play. Leider startete er nicht mehr und ich habe zur Sicherheit alle Verzeichnisse gelöscht und wollte von vorne Anfangen.
RSS Crawler per git clone gezogen, da ich kein Volume1 habe muss ich lediglich immer Volume1 gegen Volume2 in der setup.sh ersetzen.

Leider habe ich keine Idee mehr,

Die Installation der requirements bricht wie folgt ab: (Teile gekürzt... hoffe nichts wichtiges...)

ash-4.3# pip install -U -r requirements.txt
/usr/local/lib/python2.7/site-packages/cffi/model.py:526: UserWarning: 'point_conversion_form_t' has no values explicitly defined; next version will refuse to guess which integer type it is meant to be (unsigned/signed, int/long)
% self._get_c_name())
Requirement already up-to-date: bs4 in /usr/lib/python2.7/site-packages (from -r requirements.txt (line 5)) (0.0.1)
Requirement already up-to-date: cfscrape in /usr/lib/python2.7/site-packages (from -r requirements.txt (line 6)) (1.9.5)
Requirement already up-to-date: docopt in /usr/lib/python2.7/site-packages (from -r requirements.txt (line 7)) (0.6.2)
Collecting PySocks!=1.5.7,>=1.5.6; extra == "socks" (from requests[socks]->-r requirements.txt (line 13))
Using cached https://files.pythonhosted.org/pack...ea31650d0260969215bb8e7d/PySocks-1.6.8.tar.gz
Requirement not upgraded as not directly required: MarkupSafe>=0.23 in /usr/local/lib/python2.7/site-packages (from Jinja2>=2.10->flask->-r requirements.txt (line 9)) (0.23)
Building wheels for collected packages: gevent, itsdangerous, greenlet, PySocks
Running setup.py bdist_wheel for gevent ... error
Complete output from command /bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-install-Lv6mbs/gevent/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" bdist_wheel -d /tmp/pip-wheel-vairim --python-tag cp27:
/usr/lib/python2.7/distutils/dist.py:267: UserWarning: Unknown distribution option: 'project_urls'
warnings.warn(msg)
running bdist_wheel
running build
running build_py
creating build
creating build/lib.linux-i686-2.7
----------------------------------------
Failed building wheel for gevent
Running setup.py clean for gevent
Running setup.py bdist_wheel for itsdangerous ... done
Stored in directory: /root/.cache/pip/wheels/2c/4a/61/5599631c1554768c6290b08c02c72d7317910374ca602ff1e5
Running setup.py bdist_wheel for greenlet ... error
Complete output from command /bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-install-Lv6mbs/greenlet/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" bdist_wheel -d /tmp/pip-wheel-hZNZHc --python-tag cp27:
running bdist_wheel
running build
running build_ext
building 'greenlet' extension
creating build
creating build/temp.linux-i686-2.7
/usr/local/i686-pc-linux-gnu/bin/i686-pc-linux-gnu-ccache-gcc -fno-strict-aliasing -DSYNOPLAT_F_I686 -DSYNO_X86 -O2 -include /usr/syno/include/platformconfig.h -DSYNO_ENVIRONMENT -DBUILD_ARCH=32 -D_LARGEFILE64_SOURCE -D_FILE_OFFSET_BITS=64 -DSYNO_RUNNING_DSM_BUILD_SYSTEM -g -pipe -fstack-protector --param=ssp-buffer-size=4 -Wformat -Wformat-security -D_FORTIFY_SOURCE=2 -O2 -Wno-unused-result -DOPENSSL_NO_SSL3 -I/usr/local/i686-pc-linux-gnu/i686-pc-linux-gnu/sys-root/usr/lib/libffi-3.2.1/include -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -fPIC -I/usr/include/python2.7 -c greenlet.c -o build/temp.linux-i686-2.7/greenlet.o
unable to execute '/usr/local/i686-pc-linux-gnu/bin/i686-pc-linux-gnu-ccache-gcc': No such file or directory
error: command '/usr/local/i686-pc-linux-gnu/bin/i686-pc-linux-gnu-ccache-gcc' failed with exit status 1

----------------------------------------
Failed building wheel for greenlet
Running setup.py clean for greenlet
Running setup.py bdist_wheel for PySocks ... done
Stored in directory: /root/.cache/pip/wheels/22/5c/b5/12e0dfdfa85bea67b23628b6425fae715c687e947a45ee3df9
Successfully built itsdangerous PySocks
Failed to build gevent greenlet
zsi 2.0rc3 requires PyXML>=0.8.3, which is not installed.

pyopenssl 16.0.0 has requirement cryptography>=1.3, but you'll have cryptography 0.9.3 which is incompatible.
gevent 1.3.1 has requirement cffi>=1.11.5; sys_platform == "win32" and platform_python_implementation == "CPython", but you'll have cffi 1.6.0 which is incompatible.
caldav 0.1.10 has requirement lxml==2.1.5, but you'll have lxml 4.2.1 which is incompatible.
Installing collected packages: Werkzeug, click, itsdangerous, Jinja2, flask, greenlet, gevent, lxml, python-dateutil, urllib3, idna, chardet, certifi, PySocks, requests
Found existing installation: Werkzeug 0.11.10
Uninstalling Werkzeug-0.11.10:
Could not install packages due to an EnvironmentError: Cannot call rmtree on a symbolic link

Eine Installation über die setup.sh funktioniert ebenso nicht. Kann es sein das durch vorherige ältere Versionen vom Crawler ungenutzte Python module diese Fehler verursachen?

Danke & Gruß
Althir

 

[spunxs60]

Hallo Community,

lange lief der Crawler problemlos auf meiner DS415play. Leider startete er nicht mehr und ich habe zur Sicherheit alle Verzeichnisse gelöscht und wollte von vorne Anfangen.
RSS Crawler per git clone gezogen, da ich kein Volume1 habe muss ich lediglich immer Volume1 gegen Volume2 in der setup.sh ersetzen.

Leider habe ich keine Idee mehr,

Die Installation der requirements bricht wie folgt ab: (Teile gekürzt... hoffe nichts wichtiges...)


Eine Installation über die setup.sh funktioniert ebenso nicht. Kann es sein das durch vorherige ältere Versionen vom Crawler ungenutzte Python module diese Fehler verursachen?

Danke & Gruß
Althir

Hab das gleiche Problem aber mit der DS213+....
Immer wenn ein neues Update der DS installiert wird geht nix mehr.
Einfach nur noch nervig.

 

[Althir]

Jo, welche Ansätze hast du schon probiert?

pyopenssl 16.0.0 has requirement cryptography>=1.3, but you'll have cryptography 0.9.3 which is incompatible.
gevent 1.3.1 has requirement cffi>=1.11.5; sys_platform == "win32" and platform_python_implementation == "CPython", but you'll have cffi 1.6.0 which is incompatible.
caldav 0.1.10 has requirement lxml==2.1.5, but you'll have lxml 4.2.1 which is incompatible.

müsste halt gefixt werden, aber geht das so ohne Probleme?

sowie:

/usr/local/lib/python2.7/site-packages/cffi/model.py:526: UserWarning: 'point_conversion_form_t' has no values explicitly defined; next version will refuse to guess which integer type it is meant to be (unsigned/signed, int/long)
% self._get_c_name())

Wie hast du Python installiert? Oder wie einige auch nur "Python Moduls" ?!

Gruß

 

[spunxs60]

Genau diese Fehler bekomme ich auch.

Habe wie benötigt folgendes installiert:
python 2.7
python modules
und java usw....

Lief alles bestens bis die Diskstation heute das Update installiert hat.

 

[Althir]

Okay aber alles über das Package Center oder?

 

[spunxs60]

Ja Python und die Module über das Paketcenter.
Aber rss crawler manuell.
Ich glaube ja das liegt an der neuen pip 10 Version? Kann da jemand was dazu sagen?
Davor war es glaube ich 9.0.3 oder so.

 

[*deLuXe*]

Bei mir das gleiche leider
Seit Update auf 6.1.7.... NICHT auf 6.2.


Habe die setup.sh nochmal ausgeführt und UPDATE gewählt. dann kam der Fehler
setup.sh: line 59: pip: command not found
Könnte also am PIP liegen?!?

 

[spunxs60]

Wenn ich den command pip in putty eingebe kommt folgendes:

ash-4.3# pip
/usr/local/lib/python2.7/site-packages/cffi/model.py:526: UserWarning: 'point_conversion_form_t' has no values explicitly defined; next version will refuse to guess which integer type it is meant to be (unsigned/signed, int/long)
% self._get_c_name())

Was stimmt da nicht??

 

[Althir]

Wüsste ich auch gern

 

[DKeppi]

Installiert einfach pip nach, damit ihr die Module installieren könnt:

wget https://bootstrap.pypa.io/get-pip.py

python get-pip.py

Ich mache das immer so damit der RSSCrawler wieder läuft...