Paperless-ngx Frage zu Paperless-ngx

[Tengo]

Guten Abend,

ich beschäftige mich ebenfalls gerade mit PaperlessNGX und bin nach der Anleitung von Marius vorgegangen. Also Portainer installiert usw. Lief auch alles problemlos durch und ich kann auch die Weboberfläche aufrufen. Allerdings komme ich an der Stelle nicht weiter, da er meinen vergebenen Adminnamen und das Passwort nicht anerkennt. Zwar hat Marius auch dazu geschrieben, man solle einfach warten, weil man dann vermutlich eine langsame Synology hat und der Superuser noch nicht eingerichtet ist, aber das leuchtet mir bei einer DS920+ nicht wirklich ein. Selbst nach 15-20min und auch nach einem Neustart wird mir immer wieder gesagt, dass Benutzername und Kennwort nicht übereinstimmen.

Bis dahin gab es wirklich NULL Probleme, alles lief sauber durch. Einziger Unterschied zu Marius' Anleitung ist die Tatsache, dass ich keine https-Adresse eingerichtet habe und deshalb PaperlessNGX über die IP-der Syno samt Port aufrufe. Im Ergebnis sehe ich den Login-Bildschirm und dann sollte doch auch der Rest klappen, oder?

Woran kann es also liegen, dass mein vergebener Admin-Account nicht akzeptiert wird. Was ich eingetragen habe, kann ich ja sogar im Stack-Editor in Portainer nochmal nachlesen. Also selbst mit einem "unbewusst installierten Tippfehler" kann ich das Ganze nochmal nachprüfen und korrgiert eingeben. Ich raffe das nicht. Weiss jemand Rat?

Könnte das an einem groß geschriebenen Accountnamen liegen? Und falls ja, wie korrigiere ich das? Einfach im Stack Editor ändern und "Update Stack" drücken?

 

[alexhell]

Guck doch mal in die Logs der Container was da drin steht. Ohne weitere Informationen kann man nicht helfen

 

[Tengo]

Hmm ... ich kann ja mal zitieren ... zuerst aus der PaperlessNGX_logs.txt:

...
Running Django checks
System check identified no issues (0 silenced).
Search index out of date. Updating...
Created superuser "paperadmin" with provided password.
Executing /usr/local/bin/paperless_cmd.sh
2023-12-07 19:57:44,472 INFO Set uid to user 0 succeeded
...
[2023-12-07 21:00:00,188] [INFO] [celery.app.trace] Task paperless_mail.tasks.process_mail_accounts[08ffee62-48f5-4726-9a6b-b783bdb1c4ee] succeeded in 0.12313418499979889s: 'No new documents were added.'
/usr/local/lib/python3.11/site-packages/django/http/response.py:517: Warning: StreamingHttpResponse must consume synchronous iterators in order to serve them asynchronously. Use an asynchronous iterator instead.
warnings.warn(
[2023-12-07 21:03:05,956] [INFO] [paperless.auth] Login failed for user `paperadmin` from private IP `172.19.0.1`.

Bis auf das Warning und das Login failed sieht das alles ok aus ...

In der PaperlessNGX-DB gibt es dagegen ein paar "Merkwürdigkeiten" ... bin leider auf dem Gebiet noch absoluter Neuling

...
initdb: warning: enabling "trust" authentication for local connections
...
2023-12-07 19:56:48.995 UTC [1] LOG: database system is ready to accept connections
2023-12-07 19:57:12.324 UTC [93] FATAL: password authentication failed for user "paperless"
2023-12-07 19:57:12.324 UTC [93] DETAIL: Role "paperless" does not exist.
Connection matched file "/var/lib/postgresql/data/pg_hba.conf" line 128: "host all all all scram-sha-256"
...

Da sind so Einträge, die ich seltsam finde ... nur kann ich sie nicht wirklich einordnen.

EDIT: OK, also darauf muss man erstmal kommen. In Marius' Anleitung soll man einen ConFig-Text in den Stack-Editor von Portainer kopieren und diverse Werte anpassen. Dabei soll man auch einen Adminnamen und ein Passwort vergeben. Habe ich alles gemacht. Das Problem ist nur, dass er nicht mein vergebenes Passwort dem Account zugewiesen hat, sondern die Zeichenkette "paperless". Hätte ich das jetzt nicht mal zufällig probiert, wäre ich nie im Leben darauf gekommen. Keine Ahnung, was das für ein Mechnismus ist, aber nun funktioniert es. Ich bin drin und kann loslegen.

 

[alexhell]

Poste doch mal deinen Stack

 

[Tengo]

Öhm ... was genau meinst Du damit? Den Text, den ich in den Stack-Editor eingegeben habe? Oder einen Screenshot, aus welchen Containern mein Stack besteht? Sorry, ich habe bisher noch nie mit Portainer gearbeitet. Das ist alles Neuland, leider.

 

[alexhell]

Ich meinte das was du in Portainer eingefügt hast. Hat sich ja aber inzwischen erledigt

 

[ArcusX]

Hallo liebe paperless ngx Entusiasten.

Ich habe leider folgendes Problem:
Ein Dokument wurde als Anhang einer email in Paperless aufgenommen. Dieses Dokument lässt sich weder in der Weboberfläche noch auf Dateiebene finden. "Document is a duplicate of...." Ich habe den email Accountabruf so eingerichtet, dass die verarbeiteten Emails automatisch in einen Unterordner verschoben werden,gucke aber regelmäßig nach, ob auch wirklich alle in Paperless drin sind.

Im Log steht auch dass das Dokument mit der ID #977 aufgenommen worden ist. Es ist nur nicht auffindbar.

Kann mir jemand einen tipp geben wie ich hier vorgehe?

Vielen Dank.

EDIT: Ich habe den Post jetzt 2x drin, da ich nicht weiss welcher Thread denn der richtige ist. Ich bitte um Nachsehen.

 

[Rotbart]

Sollte eigentlich unter /media/Trash liegen.

 

[Monacum]

Der Ordner existiert standardmäßig nicht, nur wenn man das ganze in der Konfiguration so eingestellt hat.

PAPERLESS_TRASH_DIR

Und im Zweifelsfall heißt das Verzeichnis /trash, nicht /Trash, Betriebssysteme können da sehr pingelig sein

 

[ArcusX]

So, jetzt wird es spannend. Es gibt noch mehr von davon. Ich bin nochmal auf Dateiebene heruntergegangen und habe die Dateien doch noch gefunden. Und zwar einmal unter archive und einmal unter originals. Die Datei wurde umbenannt. Das soll sie prinzipiell auch nach einem Schema Korrespondent - Dokumentenart - Datum. Das habe ich so vorgegeben.

Sie sind jedoch nicht in der Datenbank auffindbar. Auch wenn ich im Log das Dokument heraussuche und dann auf "Dokement öffnen" klicke kommt 404 not found.

Den Trash Ordner werde ich glaube ich aber auch mal sicherheitshalber anlegen.

 

[Monacum]

Ja, das kann ich nur empfehlen.

Hast du irgendwann mal etwas an dem Programm gemacht, was hier in irgendeiner Art und Weise die Datenbank zerschossen haben könnte?

 

[Rotbart]

Und im Zweifelsfall heißt das Verzeichnis /trash, nicht /Trash, Betriebssysteme können da sehr pingelig sein

Egal, ist eh alles Müll

 

[Monacum]

Aber du musst doch an die Mülltrennung denken

 

[ArcusX]

Mir wäre nicht klar was das gewesen sein sollte.
Die Container laufen nach Anleitung von marius hosting auf einer Synology in einem Docker.
Das einzige was zwischenzeitig gemacht wurde, war das update auf 2.21 drauf zu bringen. Dazu habe ich per Portainer den paperless Stack angehalten und neu "deployed". Dabei wurde nur der paperlesscontainer neu geladen und auf den neuesten Stand gebracht. PostgresDB nicht.
Ein paar Dutzend andere Dokumente funktionieren auch ohne probleme.

 

[Rotbart]

Da steht wahrscheinlich "PAPERLESS_CONSUMER_DELETE_DUPLICATES: true" bei dir.

 

[ArcusX]

Die Option habe ich zumindest nicht im Stack gesetzt. Und ja so ein Schalter ist ja auch sinnvoll. Schliesslich möchte ich nicht, dass versehentlich Dokumente gedoppelt werden. Ok, wenn ich das auf false setze, dann könnte ich die Dokumente einlesen, Aber das wäre nur ein kurzfristiger Workaround.
Hier liegt doch wahrscheinlich irgendwo ein Fehler in der Datenbank vor und den würde ich gerne finden und ausschliessen. Bitte ich bin kein Experte, würde das aber vermuten.
Das Dokument mit #977 lässt sich nämlich auch nicht aus dem Menü Dateiaufgaben -> abgeschlossen -> Dokument öffnen aufrufen. Da bekommt man einen 404 Fehler.

 

[Monacum]

Versuch mal das hier, um zu ermitteln, welches Dokument da die Probleme verursacht.

 

[ArcusX]

Das Dokument habe ich eindeutig identifiziert.
Aber ich versuche gerne das mal zu machen. Muss mich da nur ein wenig einlesen.
Gibt es da einen Schalter um nur bestimmte Dokumente zu esportieren?

 

[Monacum]

Nein.

 

[ArcusX]

Ok. Export der Daten habe ich durchgeführt.
Dazu habe ich in der Aufgabenplanung folgenden Befehl ausgeführt:
cd /volume2/docker/paperlessngx/export
docker exec paperlessngx document_exporter ../export -c -z --delete --no-progress-bar
Das hat mir ein ZIP Archiv erstellt in dem auch die Manifest Datei drinsteht. Auch das Dokument mit der Nummer #977 ist dort drin.
Ich habe Teile gekürzt, also Dokumenteninhalt und Dateinamen anonymisiert

Spoiler: Manifest

{
    "model": "documents.document",
    "pk": 977,
    "fields": {
      "owner": 3,
      "correspondent": 59,
      "storage_path": null,
      "title": "123456",
      "document_type": 1,
      "content": "loremipsum",
      "mime_type": "application/pdf",
      "checksum": "eab9f372ac3b382c94219a545987ea72",
      "archive_checksum": "81ff974c49f76a09e536fc0f24a629c7",
      "created": "2024-02-12T23:00:00Z",
      "modified": "2024-02-14T17:01:19.279Z",
      "storage_type": "unencrypted",
      "added": "2024-02-14T17:01:18.815Z",
      "filename": "2024/02/Rechnung/ABCD.pdf",
      "archive_filename": "2024/02/Rechnung/ABCD.pdf",
      "original_filename": "123456.pdf",
      "archive_serial_number": null,
      "tags": [
        7
      ]
    },

Ich hoffe dass das aufschlussreich ist, Wenn etwas fehlt, dann poste ich dsa gerne.

Jetzt würde mich mal aber interessieren: Was geschieht denn, wenn jemand ein Dokument in der Weboberfläche oder auf Dateiebene löscht. Kann man das danach nicht mehr in die Datenbank reinkriegen?