Paperless-ngx Frage zu Paperless-ngx

[ThomasKue]

Mit 1und1 telefoniert. Öffentliche IP4 gibt es für Privatkunden leider nicht mehr (haben zahlreiche Anfragen). Ausschliesslich in Business Tarifen.
Und nun...............

Jetzt hat es mit 1und1 doch geklappt !!!
Einfach im 1und1 Kundenforum angefragt und schwups (innerhalb von 10min) war umgestellt !

 

[EDvonSchleck]

Hab ich doch gesagt, nicht immer gleich alles glauben was einen so erzählt wird.

 

[Tuxnet]

Weiss zufällig jemand, wie ich die Datenbank bereinigen kann ?
Laut Paperless-ngx habe ich einige verwaiste Dateien, und kann daher keinen Daten export starten

[INFO] [paperless. sanity_checker] Detected following issue(s) with document #1074, xxxxxxxxxx
[2022-11-09 09:40:31,152] ERROR] [paperless.sanity checker] Original of document does not exist.
[2022-11-09 09:40:31,157] [INFO] Ipaperless.sanity_checker] Detected following issue(s) with document #1023, xxxxxxxx
[2022-11-09 09:40:31,158] [ERROR] [paperless.sanity checker] Original of document does not exist.
(2022-11-09 09:40:31, 166] [INFO] [paperless.sanity checker] Detected following issue(s) with document #1021, titled xxxxxxxx
[2022-11-09 09:40:31, 167] [ERROR] [paperless.sanity checker] Original of document does not exist.
[2022-11-09 09:40:31,171] [INFO] [paperless .sanity_ checker] Detected following issue(s) with document #520, titled xxxxxxx
[2022-11-09 09:40:31, 172] [INFO [paperless. sanity checker] Document contains no OCR data
[2022-11-09 09:40:31,174] [WARNING] [paperless sanity_checker] Orphaned file in media dir: /us/src/paperless/media/documents/originals/20
22/2022-06-21 xxxxxxx
12022-11-09 09:40:31,1761 WARNING [paperless.sanity checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals /20
22/2022-09-23 #xxxxxxxxx
[2022-11-09 09:40:31,1771 WARNING] [paperless.sanity checker] Orphaned file in media dir: /sr/src/paperless/media/documents/originals/20
22/2022-09-26 #xxxxxxx
12022-11-09 09:40:31,1791 WARNING] Ipaperless.sanity checker] Orphaned file in media dir: /us/src/paperless/media/documents/originals/.s tianore
[2022-11-09 09:40:31,1801 (WARNING] [paperless.sanity_checker] Orphaned file in media dir: /ur/src/paperless/media/documents/originals/20
xxxxxxxx
xxxxxxx
(2022-11-09 09:40:31,1821 (WARNING] Ipaperless.sanity_checker] Orphaned file in media dir: /us/ src/paperless/media/documents/originals/20
22/2022-09-26 xxxxxxx
(2022-11-09 09:40:31,1831 WARNING paperless.sanity checker Orphaned file in media dir: /usr/src/paperless/media/documents/originals /20
22/2022-09-23 #xxxxxx

 

[EDvonSchleck]

Um welche Datenbank handelt es sich denn Postgresql, Mariadb/Mysql oder Sqlite?
Deine XXXXXX- Dokumente findest du in der Vorschau? Wenn ja die kleine Anzahl kann man auch von Hand löschen.
Was hast du mit den Files gemacht? Manuell gelöscht?

 

[tozego]

Hallo zusammen,

ich habe zu paperless-ngx auch mal eine Frage .

Ich habe mir das soweit via Docker eingerichtet und habe als consume Ordner einen Team-Order auf der Synology NAS eingerichtet (bzw. hatte ich den schon vorher).

In diesem Ordner legt mein Scanner alle Dokumente ab. Nun ist es so, das die Dokumente welche da landen von Paperless verarbeitet werden aber nicht verschwinden bzw. nicht verschoben werden.

Kann man das Einstellen das diese bspw. nach der Verarbeitung direkt aus den consume Order verschoben werden?
Die Dokumente müssen nicht umbenannt werden, sondern in einen anderen beliebigen Ordner verschoben.

Hat da jemand eine Idee?

Gruß Tobias

 

[XOSS]

Standardmäßig werden sie das. Nutzt du Drive?

In den Kommentaren von diesem Blogpost hatte jemand ein ähnliches Problem und das war dann die Rückmeldung vom Support:

With Synology Drive's current design, the Server is not able to detect Filechanges that were made in a Folder that was mounted to a Docker Container. Synology Drive Server, Client and ShareSync are not able to Sync Files with Docker mounted Folders. The limitation is mentioned here: https://www.synology.com/en-global/dsm/7.1/software_spec/synology_drive And here: https://kb.synology.com/en-global/DSM/help/SynologyDrive/drive_admin_console?version=7 Currently there is no way to make it work properly. There is Unfortunately no binary that could be triggered for this use case either. The Files would need to be deleted directly by the Hostsystem instead of the Container.

 

[EDvonSchleck]

Bei mir werden die Files aus dem consume Ordner nach dem Importieren entfernt.

 

[Adama]

Jepp, bei mir auch...

Ich würde ja vom Gefühl her auf ein Berechtigungsproblem tippen.

@tozego Hast Du mal ins Protokoll von Paperless geschaut? Vielleicht gibt es da ja Meldungen, die einen Hinweis geben.

 

[tozego]

Berechtigung würde ich sagen könnte ich ausschließen.
Der Ordner gehört dem Nutzer wo auch Docker läuft.
Auch ist dieser User in der UID und GID eingetragen.

Das ist der Log Bereich:

Spoiler: LogFile

[2022-12-16 16:55:53,505] [INFO] [paperless.management.consumer] Adding /usr/src/paperless/consume/Informationsblatt-Warntag.pdf to the task queue.

[2022-12-16 16:55:54,606] [INFO] [paperless.consumer] Consuming Informationsblatt-Warntag.pdf

[2022-12-16 16:55:54,610] [DEBUG] [paperless.consumer] Detected mime type: application/pdf

[2022-12-16 16:55:54,614] [DEBUG] [paperless.consumer] Parser: RasterisedDocumentParser

[2022-12-16 16:55:54,624] [DEBUG] [paperless.consumer] Parsing Informationsblatt-Warntag.pdf...

[2022-12-16 16:55:55,072] [DEBUG] [paperless.parsing.tesseract] Extracted text from PDF file /usr/src/paperless/consume/Informationsblatt-Warntag.pdf

[2022-12-16 16:55:55,262] [DEBUG] [paperless.parsing.tesseract] Calling OCRmyPDF with args: {'input_file': PosixPath('/usr/src/paperless/consume/Informationsblatt-Warntag.pdf'), 'output_file': '/tmp/paperless/paperless-v9vyernc/archive.pdf', 'use_threads': True, 'jobs': 2, 'language': 'deu', 'output_type': 'pdfa', 'progress_bar': False, 'skip_text': True, 'clean': True, 'deskew': True, 'rotate_pages': True, 'rotate_pages_threshold': 12.0, 'sidecar': '/tmp/paperless/paperless-v9vyernc/sidecar.txt'}

[2022-12-16 16:55:56,620] [DEBUG] [paperless.parsing.tesseract] Incomplete sidecar file: discarding.

[2022-12-16 16:55:56,870] [DEBUG] [paperless.parsing.tesseract] Extracted text from PDF file /tmp/paperless/paperless-v9vyernc/archive.pdf

[2022-12-16 16:55:56,871] [DEBUG] [paperless.consumer] Generating thumbnail for Informationsblatt-Warntag.pdf...

[2022-12-16 16:55:56,884] [DEBUG] [paperless.parsing] Execute: convert -density 300 -scale 500x5000> -alpha remove -strip -auto-orient /tmp/paperless/paperless-v9vyernc/archive.pdf[0] /tmp/paperless/paperless-v9vyernc/convert.webp

[2022-12-16 16:56:01,811] [DEBUG] [paperless.consumer] Saving record to database

[2022-12-16 16:56:01,812] [DEBUG] [paperless.consumer] Creation date from parse_date: 2022-12-08 00:00:00+01:00

[2022-12-16 16:56:02,281] [INFO] [paperless.handlers] Assigning correspondent o_Sonstige to 2022-12-08 Informationsblatt-Warntag

[2022-12-16 16:56:02,296] [INFO] [paperless.handlers] Assigning document type Geschäftsbrief to 2022-12-08 o_Sonstige Informationsblatt-Warntag

[2022-12-16 16:56:02,444] [DEBUG] [paperless.consumer] Deleting file /usr/src/paperless/consume/Informationsblatt-Warntag.pdf

[2022-12-16 16:56:02,524] [DEBUG] [paperless.parsing.tesseract] Deleting directory /tmp/paperless/paperless-v9vyernc

[2022-12-16 16:56:02,526] [INFO] [paperless.consumer] Document 2022-12-08 o_Sonstige Informationsblatt-Warntag consumption finished

Die Speicherpfade habe ich wie folgt definiert:

Spoiler: Auszug Config

volumes:
# Hier die richtigen Pfade eintragen
- /volume1/Ordner von Tobias/B-Paperless/paperless/data:/usr/src/paperless/data
- /volume1/Ordner von Tobias/B-Paperless/paperless/media:/usr/src/paperless/media
- /volume1/Ordner von Tobias/B-Paperless/paperless/export:/usr/src/paperless/export
- /volume1/Ordner von Tobias/A-Büro/C-Daten archivierung:/usr/src/paperless/consume
environment:

 

[Adama]

[2022-12-16 16:56:02,444] [DEBUG] [paperless.consumer] Deleting file /usr/src/paperless/consume/Informationsblatt-Warntag.pdf

Ich geb dir recht, das sieht ok aus. Vor allen Dingen sagt er ja, dass er das File löscht.

Mit "Team-Ordner" meinst du einen normalen Share, oder?

 

[tozego]

Ich meine einen "gemeinsamen Ordner".

 

[Adama]

Ok, dann wird's immer mysteriöser... (Gemeinsamer Ordner = Share)

Nicht, dass da z.B. Drive o.ä. immer zwischengrätscht.

 

[tozego]

Mmm, drive könnte möglich sein.
Den Tipp probiere ich mal.

 

[tozego]

Es liegt/lag unter anderem an Drive.
Folgendes, ich habe im NAS einen Bereich angelegt wo einen Festplatte von meinen PC 1:1 gespiegelt wird.
Ich greife auf den Ordner "/volume1/Ordner von Tobias/A-Büro/C-Daten archivierung" nicht über einen Netzwerkfreigabe zu sondern direkt auf die Festplatte auf meinen PC.
Löscht jetzt Paperless die Datei bekommt das die Festplatte auf meinen PC diese Änderung nicht mit. Der gespiegelte Order auf dem NAS schon.

Entsprechend muss ich mir einfach einen neuen Ordner machen, welcher nicht auf meiner Lokalen Festplatte ist, sonder einfach per Netzwerkfreigabe eingebunden ist.

Danke für eure Tipps.
Ich hätte mir echt einen Wolf gesucht.

Schöne Adventszeit euch.

Gruß Tobias

 

[Adama]

Ich hab heute das Problem gehabt, dass Paperless-ngx keine Dokumente mehr importiert hat. Es gab keine wirkliche Fehlermeldung. Nicht mal eine, dass der Import gestartet wurde.

Das Einzige was sich nach dem letzten Import geändert hatte, war der Redis-Broker, der wurde auf 7.0.7 aktulisiert. Ich hab dann einfach mal den Container neu erstellt mit 7.0.6, was aber erstmal keinen Unterschied gemacht hat. Im Log gab's nur die Meldung, dass die dump.rdb mit Version 7.0.7 erstellt und geladen wurde.

Die Datei findet sich im Docker-Pfad von Redis. Ich hab die dann einfach mal umbenannt und den Container neugestartet. Danach klappte der Import wieder. Nach einer Aktualisierung auf latest ging auch der Import mit Redis 7.0.7 wieder/weiterhin.

Also wenn jemand ähnliche Probleme plötzlich hat, einfach mal testen.

 

[Monacum]

Ich habe anscheinend den gleichen Fehler gehabt und mir ist nichts anderes eingefallen, als den Container neu zu starten, was das Problem behoben hat.

 

[Adama]

Das reine Neustarten hatte bei mir nichts gebracht, erst das Löschen der dump.rdb...

 

[EDvonSchleck]

Bei mir lief das Paperless-Update und das Redis-Update ohne Probleme via WT durch.

 

[ThomasKue]

Standardmäßig werden sie das. Nutzt du Drive?

In den Kommentaren von diesem Blogpost hatte jemand ein ähnliches Problem und das war dann die Rückmeldung vom Support:

With Synology Drive's current design, the Server is not able to detect Filechanges that were made in a Folder that was mounted to a Docker Container. Synology Drive Server, Client and ShareSync are not able to Sync Files with Docker mounted Folders. The limitation is mentioned here: https://www.synology.com/en-global/dsm/7.1/software_spec/synology_drive And here: https://kb.synology.com/en-global/DSM/help/SynologyDrive/drive_admin_console?version=7 Currently there is no way to make it work properly. There is Unfortunately no binary that could be triggered for this use case either. The Files would need to be deleted directly by the Hostsystem instead of the Container.

Hallo !
d.h. also, kann den Drive Ordner nicht als „Consumer“ Ordner nutzen (abgelegte files werden im drive order nicht gelöscht bzw. verschoben….

 

[EDvonSchleck]

Würde doch keinen Sinn ergeben. Drive würde das File wieder und wieder synchronisieren.