Paperless-ngx Frage zu Paperless-ngx

[Monacum]

Doch, wenn das Dokument aus der Datenbank entfernt wurde, ist es weg. Die Weboberfläche ist auch „nur“ eine schöne grafische Bedienung der Datenbank; je nachdem kann es aber zu Inkonsistenzen beim Schreiben und/oder Lesen kommen und dann taucht beispielsweise ein 404 auf.

Ich meinte genau den Auszug, den du gepostet hast, damit müsstest du jetzt in den entsprechenden Ordnern nachschauen, ob die archive/orignal-Datei da noch liegt oder nicht und ob sie vielleicht umbenannt wurde. Andersherum könnte man auch den document_sanity_checker bemühen, der wirft dir dann im Terminal alle Dateien aus, bei denen es Probleme gibt. Wenn du dann die sogenannten „orphan files“ entfernt hast, sollte auch der neuerliche Import möglich sein.

Tatsächlich gehe ich nach größeren Updates mittlerweile hin und lasse den checker prüfen, ob es größere Probleme gibt.

 

[ArcusX]

Die Datei liegt da noch. Ist im Ordner unter originals und unter archive vorhanden. Hat aber den gleichen Dateinamen. Die ist aber umbenannt worden. Ich hätte jetzt irgendwie erwartet, dass die unterschiedliche Dateinamen haben müsste. Im Manifest wird sie auch unter 123456.pdf und ABCD.pdf geführt.

Kümmere mich gleich mal um diesen Verwaisungsprüfer.

Wäre sonst das

document_index {reindex,optimize}

mit dem Schalter reindex eine Option?

 

[ArcusX]

0%| | 0/783 [00:00<?, ?it/s] 7%|▋ | 56/783 [00:00<00:01, 559.38it/s] 14%|█▍ | 112/783 [00:00<00:01, 466.19it/s] 22%|██▏ | 169/783 [00:00<00:01, 506.41it/s] 30%|███ | 237/783 [00:00<00:00, 563.55it/s] 39%|███▊ | 303/783 [00:00<00:00, 595.27it/s] 47%|████▋ | 366/783 [00:00<00:00, 606.52it/s] 55%|█████▍ | 429/783 [00:00<00:00, 612.55it/s] 63%|██████▎ | 493/783 [00:00<00:00, 619.46it/s] 72%|███████▏ | 560/783 [00:00<00:00, 633.35it/s] 80%|███████▉ | 625/783 [00:01<00:00, 636.92it/s] 88%|████████▊ | 689/783 [00:01<00:00, 621.00it/s] 96%|█████████▋| 754/783 [00:01<00:00, 626.87it/s]100%|██████████| 783/783 [00:01<00:00, 559.57it/s]
[2024-02-21 12:28:23,449] [INFO] [paperless.sanity_checker] Sanity checker detected no issues.

Habe den "checker" über die Aufgabenplanung ausgeführt
"docker exec PaperlessNGX document_sanity_checker"
und mir das Ergebnis per email schicken lassen. Ich hoffe, dass das so aussagekräftig ist?

 

[Monacum]

Tatsächlich listet er darunter auf, wenn es Probleme gab und mit welcher Datei, das ist in dem Fall interessanter als der Fortschrittsbalken

 

[ArcusX]

Sanity checker detected no issues.

Müsste das doch sein, oder?

 

[ArcusX]

Hm also kein Fehler. Jemand eine Idee warum die Datei zwar da ist, in der Datenbank irgendwie auch, aber über die Weboberfläche nicht aufrufbar ist? Würde ein neuer Index helfen bzw. könnte das etwas kaputt machen?

 

[NASi_goreng]

Hallo zusammen,

seit Januar besitze ich eine Diskstation124 mit einer Red WD 4TB 3,5" und habe mir nur dieses System gekauft, damit ich Paperless-NGX drauf laufen lassen kann/will. Ich habe aktuell keine weiteren use-cases. Ich weiß, dass ich mit dem DS nicht die Premiumversion habe ABER laut einem Youtuber, soll dieses Gerät ausreichend sein.

Nach Durchforsten von Youtube Videos, reddit posts und andere Foren, habe ich mich für die Marius Hosting Variante (Portainer) entschieden. Und ich habe schnell festgestellt, dass Dokumente sehr, sehr langsam verarbeitet werden. Und damit auch das Arbeiten in der UI (Dokumente öffnen, speichern etc.) unmöglich wird.

Beispiel:
Über den Browser lade ich eine 300kb in paperless und der Ressourcen Monitor zeigt einen kurzen peak von ~100kbs und dann geht die Bearbeitung runter auf ~2kbs. Das Arbeiten mit paperless ist zeitgleich unmöglich, weil alles im Schneckentempo passiert.
Entsprechend dauert die Bearbeitung der Metadaten. Aktuell habe ich 30 Dateien, 6 Dok-Typen, 6 Korrespondents und 2 Tags.
Die CPU ist NIE über 30%, RAM ist ~50%.
Wenn ich über Windows auf den NAS zugreife und eine große Datei rüberschiebe, geht das problemlos. Der MTU-Wert ist automatisch gesetzt.

Ich fuchse mich gerne in solche Sachen rein, aber meine Recherche war bis jetzt erfolglos. Der NAS hängt direkt am Vodafone Router, 1GB speed. Ich bin kein Netzwerk-Experte und hoffe hier auf Feedback. Vielen Dank schonmal!

docker-compose.yml
version: "3.6"
services:
broker:
image: redis
container_name: Paperless-NGX-REDIS
restart: always
volumes:
- /volume1/docker/paperlessngx/redis:/data

db:
image: postgres
container_name: Paperless-NGX-DB
restart: always
volumes:
- /volume1/docker/paperlessngx/db:/var/lib/postgresql/data
environment:
POSTGRES_DB: paperless
POSTGRES_USER: paperless
POSTGRES_PASSWORD: paperless

webserver:
image: ghcr.io/paperless-ngx/paperless-ngx:latest
container_name: Paperless-NGX
restart: always
depends_on:
- db
- broker
ports:
- 8777:8000
volumes:
- /volume1/docker/paperlessngx/data:/usr/src/paperless/data
- /volume1/docker/paperlessngx/media:/usr/src/paperless/media
- /volume1/docker/paperlessngx/export:/usr/src/paperless/export
- /volume1/docker/paperlessngx/consume:/usr/src/paperless/consume
environment:
PAPERLESS_REDIS: redis://broker:6379
PAPERLESS_DBHOST: db
USERMAP_UID: xxxxxxxxx
USERMAP_GID: xxxxxxxxx
PAPERLESS_TIME_ZONE: Europe/Berlin
PAPERLESS_ADMIN_USER: xxxxxxxxxxxxxxxxxxxxx
PAPERLESS_ADMIN_PASSWORD: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
PAPERLESS_OCR_LANGUAGE: deu+eng


Jede Veränderung an Dokumenten dauert mehrere Minuten. Eine hohe Auslastung ist nicht zu erkennen, wenn ich Dokumente in Paperless verändere. Ich verstehe es einfach nicht.

Vielen Dank!

 

[plang.pl]

Was läuft sonst auf der Kiste? Die ist halt mit nur 1 HDD schon stark limitiert von der Performance her. Und CPU und RAM ist ja auch nicht gerade in Massen verfügbar. Wenn es nach mir ginge, ist diese Kiste nicht für Docker geeignet.
WD red oder red plus? Nenne mal die genaue Plattenbezeichnung

 

[NASi_goreng]

Was läuft sonst auf der Kiste? Die ist halt mit nur 1 HDD schon stark limitiert von der Performance her. Und CPU und RAM ist ja auch nicht gerade in Massen verfügbar. Wenn es nach mir ginge, ist diese Kiste nicht für Docker geeignet.
WD red oder red plus? Nenne mal die genaue Plattenbezeichnung

Ich habe all das installiert, was man für Paperless nach marius hosting benötigt.

edit: Also zB Portainer ist drauf. Es ist einfach seltsam, dass die Auslastung NIE hoch ist, und doch alles so langsam läuft. Sobald ich eine Datei über Windows rüberschiebe, passiert das sehr schnell. Aber Paperless arbeitet unter 10 kb/s.

 

[NASi_goreng]

Ich habe eine 4TB red und habe eben das in den reviews gelesen.

“““Vorsicht! Diese WD Red NAS ist eine SMR Festplatte und damit nicht für NAS geeignet! Nur CMR Festplatten sind für NAS geeignet. Die WD Red Plus oder Pro sind alle CMR Platten, die normalen Red leider nicht alle - diese z.B. nicht. (Erkennbar am Typ EFAX.)“““

 

[ArcusX]

Es tut mir leid, dass ich eure Kommunikation nochmal unterbreche, aber ich würde die Lösung für mein Problem eben beschreiben wollen. Ich finde es immer wichtig, dass nach einer Frage, wenn eine Antwort gefunden wird, diese auch festgehalten wird, damit andere davon vielleicht profitieren können.

Es ist mir schon ein wenig peinlich, aber es war ein reines Rechteproblem. Ich hatte mehrere Regeln für den Dokumentenabruf vom email Fach geschrieben und ich habe 3 Benutzer eingerichtet. 1 Admin und 2 user, Den admin nutze ich nur für nunja admin Dinge und die beiten nutzer greifen auf ihre jeweiligen dokumente zu. Eine der Regeln habt aber als Besitzer der Dokumente den admin eingetragen und schon haben die user die Dokumente nicht mehr gesehen. Bei 1000 Dokumenten trat dies bei genau 3 Stück auf.

Also wenn Dokumente "weg" sind, vielleicht doch nochmal mit den admin und den anderen nutzern einloggen und schauen, ob diese dann zu sehen sind.

Vielen Dank nochmal an alle, die mir unter die Arme geholfen haben. Gelernt habe ich auf jeden Fall etwas