Paperless-ngx Paperless-NGX: Neue Dokumente werden in Endlosschleife eingelesen

[EDvonSchleck]

Ja, die werden nicht angefasst. Ansonsten dürftest du ja nie ein Update machen.

 

[FizzyMUC]

Gut, habe ich gemacht: In der Docker-GUI den paperless-Container gestoppt, dann zurück gesetzt, dann gestartet. Und nach wie vor sind noch 3453 Dateiaufgaben/Tasks in der Warteschleife bei Paperless. Die hat es scheinbar nicht zurück gesetzt.

EDIT: Habe es geschafft die Dateiaufgaben im Paperless-GUI zu löschen. Werde jetzt mal die drei Use Cases testen:
1) Scan via Brother Netzwerkscanner
2) Manuelles Einfügen von Dokumenten via Paperless-GUI
3) Manuelles Einfügen von Dokumenten via DiskStation Filesystem (also Ablegen von Dokumenten im Consume-Ordner in der DiskStation)

Ich berichte dann, falls es Probleme macht kopiere ich gerne auch die Logs rein.

 

[EDvonSchleck]

Und am besten nicht gleich 22000 Dokumente.

 

[FizzyMUC]

Und am besten nicht gleich 22000 Dokumente.

Wie vorher schon mehrfach geschrieben waren es nur 10 Dokumente - durch irgendwas wurde eine Art Dauer Schleife ausgelöst, weshalb es zu solch vielen Aufgaben, nicht Dokumenten, angewachsen ist. Ich gebe Bescheid.

 

[FizzyMUC]

Also trotz dessen, dass ich die Dateiaufgaben über die GUI stoppen konnte (Dateiaufgabe - In der Warteschlange - Alle - Verwerfen), sowie Neustart des Container, Zurücksetzen des Container, laufen weiterhin fröhlich die Aufgaben durch.
Es stehen 0 Dokumente in der Warteschlange, im Protokoll sieht man es aber weiterhin durchrattern:

[2023-04-17 14:28:08,536] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/220831_Zahlung Gewerbeabmeldung.pdf: File not found.

[2023-04-17 14:28:09,207] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/200307_Elektro-Rechnung-Lichtschalter.pdf: File not found.

[2023-04-17 14:28:09,884] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/89256892.pdf: File not found.

[2023-04-17 14:28:10,649] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/Betriebsanleitung.pdf: File not found.

[2023-04-17 14:28:11,406] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/220906_Gebuehrenbescheid.pdf: File not found.

[2023-04-17 14:28:12,222] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/200911_Rechnung.pdf: File not found.

[2023-04-17 14:28:17,297] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/Company_Offer_Letter.doc.dot: File not found.

[2023-04-17 14:28:17,981] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/200711_Bescheinigung.pdf: File not found.

[2023-04-17 14:28:18,781] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/210120_Bescheinigung.pdf: File not found.

[2023-04-17 14:28:19,452] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/210122_Bescheinigung.pdf: File not found.

[2023-04-17 14:28:20,278] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/220831_Zahlung Gewerbeabmeldung.pdf: File not found.

[2023-04-17 14:28:21,318] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/200307_Elektro-Rechnung-Lichtschalter.pdf: File not found.

[2023-04-17 14:28:22,270] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/89256892.pdf: File not found.

So geht es fröhlich weiter. Ich kann es offenbar mit keinem Mittel stoppen. Das kann doch nicht wahr sein...

 

[EDvonSchleck]

Setze doch alle Container einmal zurück.

 

[FizzyMUC]

Setze doch alle Container einmal zurück.

Heißt?
Paperless, Paperless-db, Paperless-gotenberg, Paperless-redis, Paperless-tika? Und auch dann bleiben alle Einstellungen erhalten?

 

[EDvonSchleck]

Ja, bleibt alles erthalten.

 

[Monacum]

Du solltest in deinem eigenen Interesse vorher die Daten gemäß der Anleitung von Paperless auf deiner Festplatte gespeichert haben, so dass sie nicht nur im Container vorliegen. Und dann speicherst du die Daten aus diesem Ordner noch mal per iPad Back-up woanders hin, dann kannst du im Zweifelsfalle da weitermachen, wo du jetzt aufgehört hast.

 

[FizzyMUC]

Nun geht gar nix mehr

Habe die Container alle gestoppt und zurück gesetzt. Beim erneuten Start starten alle außer paperless. Aus irgendeinem Grund kann er nicht mehr zu redis connecten, obwohl da in den Logs wiederum steht "Running in standalone mode, Port 6379". Bei paperless erhalte ich nun folgendes Log (ihr müsst es leider von unten nach oben lesen):

2023-04-17T12:54:09.626816808Z    stdout    Failed to connect to redis using environment variable PAPERLESS_REDIS.
2023-04-17T12:54:04.623389165Z    stdout    Waiting 5s
2023-04-17T12:54:04.623257598Z    stdout    Error: Error -5 connecting to broker:6379. No address associated with hostname..
2023-04-17T12:54:04.622662954Z    stdout    Redis ping #4 failed.
2023-04-17T12:53:59.615563078Z    stdout    Waiting 5s
2023-04-17T12:53:59.615461845Z    stdout    Error: Error -5 connecting to broker:6379. No address associated with hostname..
2023-04-17T12:53:59.614922242Z    stdout    Redis ping #3 failed.
2023-04-17T12:53:54.604861125Z    stdout    Waiting 5s
2023-04-17T12:53:54.604770468Z    stdout    Error: Error -5 connecting to broker:6379. No address associated with hostname..
2023-04-17T12:53:54.604151692Z    stdout    Redis ping #2 failed.
2023-04-17T12:53:49.590885011Z    stdout    Waiting 5s
2023-04-17T12:53:49.590796983Z    stdout    Error: Error -5 connecting to broker:6379. No address associated with hostname..
2023-04-17T12:53:49.590214200Z    stdout    Redis ping #1 failed.
2023-04-17T12:53:44.581068386Z    stdout    Waiting 5s
2023-04-17T12:53:44.581010645Z    stdout    Error: Error -5 connecting to broker:6379. No address associated with hostname..
2023-04-17T12:53:44.580853546Z    stdout    Redis ping #0 failed.
2023-04-17T12:53:44.314927400Z    stdout    Waiting for Redis...
2023-04-17T12:53:43.003249470Z    stdout    Waiting for PostgreSQL to start...
2023-04-17T12:53:42.860241011Z    stdout    Adjusting permissions of paperless files. This may take a while.
2023-04-17T12:53:42.834757718Z    stdout    Creating directory /tmp/paperless
2023-04-17T12:53:42.016857135Z    stdout    Mapping UID and GID for paperless:paperless to 1026:100
2023-04-17T12:53:41.997914536Z    stdout    Package tesseract-ocr-deu already installed!
2023-04-17T12:53:41.986713469Z    stdout    Package tesseract-ocr-eng already installed!
2023-04-17T12:53:41.933661070Z    stdout    Reading package lists... 0% Reading package lists... 0% Reading package lists... 0% Reading package lists... 67% Reading package lists... 95% Reading package lists... 95% Reading package lists... 99% Reading package lists... 99% Reading package lists... 99% Reading package lists... 99% Reading package lists... Done
2023-04-17T12:53:40.591912957Z    stdout    93% [4 Packages store 0 B] 93% [4 Packages store 0 B] 93% [4 Packages store 0 B] 93% [4 Packages store 0 B]                            96% [Working] 96% [5 Packages store 0 B]                            98% [Working] 98% [6 Packages store 0 B]                            100% [Working]                Fetched 8643 kB in 3s (2647 kB/s)
2023-04-17T12:53:38.908322629Z    stdout    91% [4 Packages store 0 B] [5 Packages 47.7 kB/237 kB 20%]                                                            93% [4 Packages store 0 B]                            Get:6 http://deb.debian.org/debian bullseye-updates/main amd64 Packages [14.6 kB]
2023-04-17T12:53:38.891489139Z    stdout    0% [4 Packages 4086 B/8183 kB 0%] 0% [4 Packages 4241 kB/8183 kB 52%] 81% [4 Packages 7145 kB/8183 kB 87%]                                      91% [Working] 91% [4 Packages store 0 B] [Waiting for headers]                                                  Get:5 http://deb.debian.org/debian-security bullseye-security/main amd64 Packages [237 kB]
2023-04-17T12:53:38.254491641Z    stdout    0% [Working] 0% [Working] 0% [Working]              Get:4 http://deb.debian.org/debian bullseye/main amd64 Packages [8183 kB]
2023-04-17T12:53:37.457709681Z    stdout                 Get:3 http://deb.debian.org/debian bullseye-updates InRelease [44.1 kB]
2023-04-17T12:53:37.454696852Z    stdout    0% [1 InRelease 0 B/116 kB 0%]                                0% [Working]              Get:2 http://deb.debian.org/debian-security bullseye-security InRelease [48.4 kB]
2023-04-17T12:53:37.407223148Z    stdout    0% [Working]              Get:1 http://deb.debian.org/debian bullseye InRelease [116 kB]
2023-04-17T12:53:36.642403729Z    stdout    Installing languages...
2023-04-17T12:53:36.557765190Z    stdout    Paperless-ngx docker container starting...

Ich starte jetzt außerdem mal die DiskStation neu.

 

[FizzyMUC]

Und in dem Zuge (da das ja nun vielleicht eine größere OP wird) frage ich mal, ob es recht easy ist, den Portainer an dieser Stelle loszuwerden (hatte das damals via Marius Anleitung installiert) und auf eine Portainer-lose Variante umzubauen. Aber natürlich so, dass wiederum alle Dokumente, Tags und Co erhalten bleiben... Vielleicht macht es nun Sinn, mal diesen Schritt zu gehen. Habe das Docker-compose aus Portainer mal lokal gespeichert - vielleicht könnt ihr mir sagen was ich machen muss, um die Container nur noch via Docker App auf DSM zu managen. Reicht es nun die oben genannten Container (die mit paperless in Verbindung stehen + Portainer) zu löschen, und dann die Anleitung von @Monacum zu befolgen, und nur das Docker-compose an meine Pfade anzupassen? Wie immer die Grundfrage: Alle Daten, die in meinen Verzeichnissen auf dem NAS liegen, bleiben erhalten und paperless liest die einfach wieder ein?

 

[FizzyMUC]

So, habe das nun folgendermaßen neu aufgesetzt:
1. Alle container gelöscht: paperless, paperless-db, paperless-gotenberg, paperless-redis, portainer
2. Neu-Installation via @Monacum Anleitung, allerdings ohne den Teil mit dem Admin (weil ich ihn nicht verstehe, bzw. ja bereits einen Admin habe).

Installation läuft erstmal durch, alle Container starten wieder sauber. Bekomme allerdings im log eine Fehlermeldung vom Container paperless:

ERRORS:

?: PAPERLESS_CONSUMPTION_DIR is not writeable

    HINT: Set the permissions of

d--------- paperless paperless /usr/src/paperless/consume

 to be writeable by the user running the Paperless services

Der User 1026 hat Lese-/Schreibrechte auf den consume-Folder. Wo kann der Fehler liegen? Zudem ist Paperless nicht erreichbar im Browser... ("Sorry, the page you are looking for is not found.")

 

[FizzyMUC]

So! Freunde! Es läuft wieder. Sorry übrigens für diesen Informations-Overflow, aber vielleicht hilft es ja mal jemandem, der ähnliche Probleme hat.
Also, @Monacums Anleitung hat gut funktioniert, einzig hat er wohl die Daten aus der docker-compose.env nicht nehmen wollen (EDIT: Weil ich ihn nicht via "enf_file: docker-compose.env" darauf hingewiesen haben). Habe daher die PAPERLESS_UID und PAPERLESS_GID in der docker-compose.yml gesetzt und es nochmal gemacht - nun scheint es zu klappen.
Ich mache nun den Test, ob das initiale Problem (Endlosschleife) wieder auftritt.

1) Scan via Brother ADS-1700W direkt in den consume-folder:
Die Datei landet im Consume, wird von Paperless gezogen und verarbeitet. ZACK! Nach Reload ein paar Sekunden später erscheint die Datei 6 Mal in der Warteschlange. Ich habe die Datei dann schnell in der DSM aus dem Consume-Folder gelöscht. Hier das log aus Paperless, in der Hoffnung das mich jemand in die richtige Richtung stupsen kann.... Es scheint ja so, dass Paperless die Datei nicht aus dem Consume-Folder nach erfolgter Bearbeitung löschen kann und sie deshalb immer wieder neu findet und einlesen will. Woran kann es also liegen? Schreibrechte sollten vorhanden sein.
Interessant finde ich, dass offenbar paperless erst die ganzen Analysen fahren würde (document type/correspondent und Co.) und die Datei versucht danach (!!!) zu löschen. Der inotify-watcher hat aber vor dem delete-Kommande bereits mehrfach die Datei neu hinzugefügt! Kann das so richtig sein?

[2023-04-17 17:22:54,919] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:22:55,273] [INFO] [paperless.consumer] Consuming 04172023_162209_Scan_000165.pdf

[2023-04-17 17:22:55,279] [DEBUG] [paperless.consumer] Detected mime type: application/pdf

[2023-04-17 17:22:55,309] [DEBUG] [paperless.consumer] Parser: RasterisedDocumentParser

[2023-04-17 17:22:55,317] [DEBUG] [paperless.consumer] Parsing 04172023_162209_Scan_000165.pdf...

[2023-04-17 17:22:56,001] [DEBUG] [paperless.parsing.tesseract] Calling OCRmyPDF with args: {'input_file': PosixPath('/tmp/paperless/paperless-ngx8612bnqk/04172023_162209_Scan_000165.pdf'), 'output_file': PosixPath('/tmp/paperless/paperless-il5oqcmb/archive.pdf'), 'use_threads': True, 'jobs': 2, 'language': 'deu+eng', 'output_type': 'pdfa', 'progress_bar': False, 'skip_text': True, 'clean': True, 'deskew': True, 'rotate_pages': True, 'rotate_pages_threshold': 12.0, 'sidecar': PosixPath('/tmp/paperless/paperless-il5oqcmb/sidecar.txt')}

[2023-04-17 17:23:00,704] [INFO] [paperless.management.consumer] Adding /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf to the task queue.

[2023-04-17 17:23:01,094] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:23:07,411] [INFO] [paperless.management.consumer] Adding /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf to the task queue.

[2023-04-17 17:23:07,765] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:23:14,326] [INFO] [paperless.management.consumer] Adding /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf to the task queue.

[2023-04-17 17:23:14,642] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:23:20,363] [INFO] [paperless.management.consumer] Adding /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf to the task queue.

[2023-04-17 17:23:20,693] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:23:26,001] [INFO] [paperless.management.consumer] Adding /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf to the task queue.

[2023-04-17 17:23:26,300] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:23:31,315] [INFO] [paperless.management.consumer] Adding /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf to the task queue.

[2023-04-17 17:23:31,724] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:23:36,888] [INFO] [paperless.management.consumer] Adding /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf to the task queue.

[2023-04-17 17:23:37,049] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:23:38,636] [DEBUG] [paperless.parsing.tesseract] Using text from sidecar file

[2023-04-17 17:23:38,638] [DEBUG] [paperless.consumer] Generating thumbnail for 04172023_162209_Scan_000165.pdf...

[2023-04-17 17:23:38,649] [DEBUG] [paperless.parsing] Execute: convert -density 300 -scale 500x5000> -alpha remove -strip -auto-orient /tmp/paperless/paperless-il5oqcmb/archive.pdf[0] /tmp/paperless/paperless-il5oqcmb/convert.webp

[2023-04-17 17:23:40,387] [INFO] [paperless.management.consumer] Adding /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf to the task queue.

[2023-04-17 17:23:40,607] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:23:43,909] [DEBUG] [paperless.consumer] Saving record to database

[2023-04-17 17:23:43,910] [DEBUG] [paperless.consumer] Creation date from parse_date: 2023-03-29 00:00:00+02:00

[2023-04-17 17:23:44,534] [INFO] [paperless.handlers] Assigning correspondent Infanterix to 2023-03-29 04172023_162209_Scan_000165

[2023-04-17 17:23:44,591] [INFO] [paperless.handlers] Assigning document type Information to 2023-03-29 Infanterix 04172023_162209_Scan_000165

[2023-04-17 17:23:44,643] [INFO] [paperless.handlers] Tagging "2023-03-29 Infanterix 04172023_162209_Scan_000165" with "Owner: Family"

[2023-04-17 17:23:44,682] [INFO] [paperless.handlers] Assigning storage path Family/11_Sonstiges to 2023-03-29 Infanterix 04172023_162209_Scan_000165

[2023-04-17 17:23:44,827] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:23:45,199] [DEBUG] [paperless.filehandling] Document has storage_path 30 (Family/11_Sonstiges/{created}_{correspondent}_{title}) set

[2023-04-17 17:23:45,268] [DEBUG] [paperless.filehandling] Document has storage_path 30 (Family/11_Sonstiges/{created}_{correspondent}_{title}) set

[2023-04-17 17:23:45,280] [DEBUG] [paperless.consumer] Deleting file /tmp/paperless/paperless-ngx8612bnqk/04172023_162209_Scan_000165.pdf

[2023-04-17 17:23:45,290] [ERROR] [paperless.consumer] The following error occurred while consuming 04172023_162209_Scan_000165.pdf: [Errno 2] No such file or directory: '/usr/src/paperless/consume/04172023_162209_Scan_000165.pdf'

Traceback (most recent call last):

  File "/usr/src/paperless/src/documents/consumer.py", line 478, in try_consume_file

    self.original_path.unlink()

  File "/usr/local/lib/python3.9/pathlib.py", line 1354, in unlink

    self._accessor.unlink(self)

FileNotFoundError: [Errno 2] No such file or directory: '/usr/src/paperless/consume/04172023_162209_Scan_000165.pdf'

[2023-04-17 17:23:45,330] [DEBUG] [paperless.parsing.tesseract] Deleting directory /tmp/paperless/paperless-il5oqcmb

[2023-04-17 17:23:47,927] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:23:50,179] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf: File not found.

[2023-04-17 17:23:50,904] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf: File not found.

[2023-04-17 17:23:51,733] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:23:51,752] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf: File not found.

[2023-04-17 17:23:55,244] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf: File not found.

[2023-04-17 17:23:55,970] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf: File not found.

[2023-04-17 17:23:56,571] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:23:56,668] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf: File not found.

[2023-04-17 17:24:00,391] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf: File not found.

[2023-04-17 17:24:01,149] [ERROR] [paperless.consumer] Cannot consume /usr/src/paperless/consume/04172023_162209_Scan_000165.pdf: File not found.

[2023-04-17 17:24:01,375] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:24:06,123] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:24:10,892] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:24:15,725] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

2) Upload einer PDF via GUI/Browser direkt in Paperless: Keine Probleme. Datei wird eingelesen und verarbeitet. Fertig.

[2023-04-17 17:34:20,478] [INFO] [paperless.consumer] Consuming Rechnung-GVR4831366.pdf

[2023-04-17 17:34:20,484] [DEBUG] [paperless.consumer] Detected mime type: application/pdf

[2023-04-17 17:34:20,486] [DEBUG] [paperless.consumer] Parser: RasterisedDocumentParser

[2023-04-17 17:34:20,493] [DEBUG] [paperless.consumer] Parsing Rechnung-GVR4831366.pdf...

[2023-04-17 17:34:20,747] [DEBUG] [paperless.parsing.tesseract] Calling OCRmyPDF with args: {'input_file': PosixPath('/tmp/paperless/paperless-ngx6jjbq4go/Rechnung-GVR4831366.pdf'), 'output_file': PosixPath('/tmp/paperless/paperless-iuwgms2b/archive.pdf'), 'use_threads': True, 'jobs': 2, 'language': 'deu+eng', 'output_type': 'pdfa', 'progress_bar': False, 'skip_text': True, 'clean': True, 'deskew': True, 'rotate_pages': True, 'rotate_pages_threshold': 12.0, 'sidecar': PosixPath('/tmp/paperless/paperless-iuwgms2b/sidecar.txt')}

[2023-04-17 17:34:22,722] [DEBUG] [paperless.parsing.tesseract] Incomplete sidecar file: discarding.

[2023-04-17 17:34:22,861] [DEBUG] [paperless.consumer] Generating thumbnail for Rechnung-GVR4831366.pdf...

[2023-04-17 17:34:22,878] [DEBUG] [paperless.parsing] Execute: convert -density 300 -scale 500x5000> -alpha remove -strip -auto-orient /tmp/paperless/paperless-iuwgms2b/archive.pdf[0] /tmp/paperless/paperless-iuwgms2b/convert.webp

[2023-04-17 17:34:23,798] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:34:27,137] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:34:28,211] [DEBUG] [paperless.consumer] Saving record to database

[2023-04-17 17:34:28,212] [DEBUG] [paperless.consumer] Creation date from parse_date: 2023-04-17 00:00:00+02:00

[2023-04-17 17:34:29,058] [INFO] [paperless.handlers] Assigning correspondent notebooksbilliger.de to 2023-04-17 Rechnung-GVR4831366

[2023-04-17 17:34:29,077] [INFO] [paperless.handlers] Assigning document type Rechnung to 2023-04-17 notebooksbilliger.de Rechnung-GVR4831366

[2023-04-17 17:34:29,103] [INFO] [paperless.handlers] Tagging "2023-04-17 notebooksbilliger.de Rechnung-GVR4831366" with "Garantie, Steuererklärung 2023, 07-Technik, Owner: Pascal"

[2023-04-17 17:34:29,130] [INFO] [paperless.handlers] Assigning storage path Belege to 2023-04-17 notebooksbilliger.de Rechnung-GVR4831366

[2023-04-17 17:34:29,274] [DEBUG] [paperless.filehandling] Document has storage_path 1 (Belege/{created_year}/{created}_{correspondent}_{title}) set

[2023-04-17 17:34:29,304] [DEBUG] [paperless.filehandling] Document has storage_path 1 (Belege/{created_year}/{created}_{correspondent}_{title}) set

[2023-04-17 17:34:29,557] [DEBUG] [paperless.consumer] Deleting file /tmp/paperless/paperless-ngx6jjbq4go/Rechnung-GVR4831366.pdf

[2023-04-17 17:34:29,791] [DEBUG] [paperless.parsing.tesseract] Deleting directory /tmp/paperless/paperless-iuwgms2b

[2023-04-17 17:34:29,802] [INFO] [paperless.consumer] Document 2023-04-17 notebooksbilliger.de Rechnung-GVR4831366 consumption finished

[2023-04-17 17:34:32,670] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:34:37,394] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:34:42,134] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:34:46,836] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

[2023-04-17 17:34:51,556] [INFO] [paperless.management.consumer] Using inotify to watch directory for changes: /usr/src/paperless/consume

3) Upload einer Datei direkt in der DiskStation in den Consume-Folder, eingeloggt als der User, der auch in Paperless hinterlegt ist (1026): Selbes Endlosschleifen-Problem wie bei 1. Er fügt das File ständig neu in die task queue ein, obwohl die Bearbeitung der ersten Datei nicht abgeschlossen ist, Es hat also definitiv mit dem Consume-Folder zu tun und da vermutlich mit den Berechtigungen. Was kann ich tun? HILFE!

 

[Monacum]

Der inotify-watcher hat aber vor dem delete-Kommande bereits mehrfach die Datei neu hinzugefügt! Kann das so richtig sein?

Hmm nein, habe das gleiche Setup und bei mir funktioniert das ohne Probleme.

 

[FizzyMUC]

Hmm nein, habe das gleiche Setup und bei mir funktioniert das ohne Probleme.

Hmm… der user 1026 hat volle Lese-/Schreibrechte auf den docker-Folder und auf den consume-Folder… ich teste gleich nochmal mit einem neuen User der nur für Paperless ist

 

[EDvonSchleck]

Zeig doch einfach einmal deine Compose. Als Code oder File.

 

[FizzyMUC]

version: '3.6'

networks:
  internal:
    external: false

services:
  broker:
    container_name: paperless-redis
    image: redis:latest
    networks:
      - internal
    volumes:
      - /volume1/docker/paperlessngx/redis:/redis
    restart: unless-stopped

  db:
    container_name: paperless-db
    image: postgres:14
    networks:
      - internal
    restart: unless-stopped
    volumes:
      - /volume1/docker/paperlessngx/db:/var/lib/postgresql/data
    environment:
      POSTGRES_DB: paperless
      POSTGRES_USER: paperless
      POSTGRES_PASSWORD: xzdN19DTd3CxWOuXP6eSyfhB19HRAx

  webserver:
    container_name: paperless
    image: ghcr.io/paperless-ngx/paperless-ngx:latest
    networks:
      - internal
    restart: unless-stopped
    depends_on:
      - db
      - broker
    ports:
      - 8777:8000
    healthcheck:
      test: ['CMD', 'curl', '-f', 'http://localhost:8000']
      interval: 30s
      timeout: 10s
      retries: 5
    volumes:
      - /volume1/docker/paperlessngx/data:/usr/src/paperless/data
      - /volume1/docker/paperlessngx/media:/usr/src/paperless/media
      - /volume1/docker/paperlessngx/export:/usr/src/paperless/export
      - /volume1/Paperless-Inbox:/usr/src/paperless/consume
    environment:
      PAPERLESS_REDIS: redis://broker:6379
      PAPERLESS_DBHOST: db
      PAPERLESS_DBPASS: xzdN19DTd3CxWOuXP6eSyfhB19HRAx # Das ist das Passwort von oben
      USERMAP_UID: 1026 # UserID für den docker Benutzer
      USERMAP_GID: 100 # GruppenID für den docker Benutzer
      PAPERLESS_OCR_LANGUAGES: eng deu
      PAPERLESS_SECRET_KEY: C3Q2dLkVPqZWDKTXgkHwWhJ6jk8XqAbeDmDZjCxvb3c2jXl6pTGQXqJFqEkS9umFmXrk4WmzT8rlwjqWan6A2G54Q5IgraBv96CS
      PAPERLESS_ALLOWED_HOSTS: '*'
      PAPERLESS_TIME_ZONE: Europe/Berlin
      PAPERLESS_OCR_LANGUAGE: deu+eng
      PAPERLESS_FILENAME_FORMAT: '{created_year}/{correspondent}/{created}_{correspondent}_{title}'
      PAPERLESS_TIKA_ENABLED: 1
      PAPERLESS_TIKA_GOTENBERG_ENDPOINT: http://gotenberg:3000
      PAPERLESS_TIKA_ENDPOINT: http://tika:9998
      PAPERLESS_URL: 'https://paperless.test.dynv6.net'

  db-backup:
    container_name: paperless-db-backup
    image: postgres:14
    restart: unless-stopped
    volumes:
      - /volume1/docker/paperlessngx/db-backup:/dump
      - /etc/localtime:/etc/localtime:ro
    environment:
      PGHOST: db
      PGDATABASE: paperless
      PGUSER: paperless
      PGPASSWORD: xzdN19DTd3CxWOuXP6eSyfhB19HRAx
      BACKUP_NUM_KEEP: 10
      BACKUP_FREQUENCY: 7d # Alle 7 Tage, kann man anpassen
    entrypoint: |
      bash -c 'bash -s <<EOF
      trap "break;exit" SIGHUP SIGINT SIGTERM
      sleep 2m
      while /bin/true; do
        pg_dump -Fc > /dump/dump_\`date +%d-%m-%Y"_"%H_%M_%S\`.psql
        (ls -t /dump/dump*.psql|head -n $$BACKUP_NUM_KEEP;ls /dump/dump*.psql)|sort|uniq -u|xargs rm -- {}
        sleep $$BACKUP_FREQUENCY
      done
      EOF'
    networks:
      - internal

  gotenberg:
    container_name: paperless-gotenberg
    image: gotenberg/gotenberg:latest
    restart: unless-stopped
    environment:
      CHROMIUM_DISABLE_ROUTES: 1
    command:
      - 'gotenberg'
      - '--chromium-disable-javascript=true'
      - '--chromium-allow-list=file:///tmp/.*'
    networks:
      - internal

  tika:
    container_name: paperless-tika
    image: ghcr.io/paperless-ngx/tika:latest
    restart: unless-stopped
    networks:
      - internal

 

[Benares]

Wo liegt denn dieser consume-Folder? Wohl unter /volume1/Paperless-Inbox, oder?
Läuft dieser Zweig im Windows-ACL-Mode mit Rechte-Vererbung oder im Linux-Mode? Könnte ja sein, dass da nur irgendwelche Rechte fehlen.
Poste bitte mal die Ausgabe von "synoacltool -get /volume1/Paperless-Inbox" auf der Konsole.

 

[EDvonSchleck]

Willst du wirklich für das Backup einen Container laufen lassen und nicht ein Script?

@Benares, /volume1/Paperless-Inbox ist der Consume-Ordner, wenn ich das richtig sehe.

 

[FizzyMUC]

Wo liegt denn dieser consume-Folder? Wohl unter /volume1/Paperless-Inbox, oder?

Richtig!

Läuft dieser Zweig im Windows-ACL-Mode mit Rechte-Vererbung oder im Linux-Mode? Könnte ja sein, dass da nur irgendwelche Rechte fehlen.
Poste bitte mal die Ausgabe von "synoacltool -get /volume1/Paperless-Inbox" auf der Konsole.

ACL version: 1
Archive: has_ACL,is_support_ACL
Owner: [Fizzy(user)]
---------------------
     [0] user:acme:deny:rwxpdDaARWcCo:fd-- (level:0)
     [1] user:drive:deny:rwxpdDaARWcCo:fd-- (level:0)
     [2] user:download:deny:rwxpdDaARWcCo:fd-- (level:0)
     [3] group:administrators:allow:rwxpdDaARWc--:fd-- (level:0)
     [4] group:docker:allow:rwxpdDaARWc--:fd-- (level:0)
     [5] user:admin:allow:rwxpdDaARWc--:fd-- (level:0)
     [6] user:Fizzy:allow:rwxpdDaARWc--:fd-- (level:0)
     [7] user:scanner:allow:rwxpdDaARWc--:fd-- (level:0)
     [8] user:paperless:allow:rwxpdDaARWc--:fd-- (level:0)