Problem mit Paperless-ngx: kein Abspeichern mehr möglich

[XXL1602]

Ich habe die ganze Nacht durch gescannt:

Ein Dokument nach dem nächsten: Klappte wunderbar: vom consume-Ordner in Paperless, dort getaggt, speichern-und-nächstes, alles ohne jedwedes Problem.

Und auf einmal: nix mehr, er nimmt keine Änderungen mehr an: Es sind noch 3 Dokumente übrig, zu bearbeiten: wenn man jetzt auf "speichern und nächstes" oder "speichern" drückt, macht er nicht

Und wie ich grade merke man kann auch den Papierkorb nicht leeren

Also irgendwas mit der Datenbank? Was kann man machen?

 

[crammaster]

Moin,

dann gib uns doch mal ein paar weitere Infos, vielleicht können wir dir dann helfen.

Zum Beispiel:

Ist dein Paperless eine bestehende Installation oder wurde es "gerade" neu aufgesetzt?

Wenn es gerade aufgesetzt worden ist, hast du eine Anleitung benutzt und hast du das genauso umgesetzt oder wurde Einstellungen verändert?

Wird ja wahrscheinlich ein Docker Container sein, laufen denn auch die anderen Container wie Datenbank, Redis, etc..? Was gibt der Log der Container her?

Hast du Zugriff auf die Dokumente im Filesystem?

Lg
Marc

 

[ArcusX]

Backup durchführen und dann den Stack stoppen und einmal neu starten.

 

[XXL1602]

@ArcusX

Jau, auf die Idee kam ich dann auch irgendwann, bei 100%iger Ahnungslosigkeit: allerdings ohne Backup -mangels Vermögen- gemacht zu haben. Jedenfalls gehts schon mal wieder.

Deswegen die Fragen:
1) HÄTTE ein Risiko für Datenverlust bestanden, selbst wenn man nur stoppt und wieder startet?
2) Wo/wie macht man ein derartiges Backup? Hatte etwas gefunden: sudo docker-compose exec webserver document_exporter [zielverzeichnis] Ist es das, oder gibts was anderes?

 

[crammaster]

zu 1. eher weniger, klar kommt immer auf die Einrichtung an. Wenn gerade ein Dokument importiert wurde, dann könnte es sein das er sich bei der Abarbeitung "verschluckt" oder das ein Eintrag in der Datenbank nicht mehr rechtzeitig geschrieben wird.

zu 2. Kommt drauf an was du sichern möchtest, nur die Dokumente oder die komplette Installation von Paperless. Im besten Fall hast du bei der Erstellung von dem Paperless Container einen Pfad für den Media Ordner angegeben (z.B.:
/volume1/docker/paperlessngx/media:/usr/src/paperless/media), dort liegen deine verarbeiteten Dokumente. Die könntest du einfach mit Hyper Backup sichern. Der von dir gepostete Befehl bewirkt, das alle Informationen exportiert werden. Wichtig dabei zu beachten ist, das es beim Zielverzeichnis um einen Container internen Pfad handelt, wofür bei der Erstellung der Export Ordner definiert werden sollte.

 

[XXL1602]

@crammaster
jau, perfekt, gefunden, hab den media ordner

Danke

 

[ArcusX]

Damit sicherst Du Dir erstmal nur die Dokumente weg. Du solltest zudem die Datenbank sichern und einen Datenbank"dump" machen.
Es gibt hier im Forum dazu auch einen Thread der sich damit beschäftigt.

https://www.synology-forum.de/threads/paperless-ngx-dms-via-docker-auf-dem-nas.124614/

Das ist der Einstiegsthread in viele Themen rund um Paperless NGX

 

[XXL1602]

@ArcusX @crammaster

***Bitte alles als von einem Keine-Ahnung-Haber, oder Rookie auf diesem Gebiet, verfasst, betrachten:***

Habs mir reingepfiffen: Schweres Brot, krieg ich nicht hin

1) Hatte ja wie oben schon erwähnt nachstehenden Befehl gefunden
sudo docker-compose exec webserver document_exporter [zielverzeichnis
War so schön easy anzusehen, und wenn ich das mache ==> no configuration file provided: not found
(Krieg ich bei allen Befehlen, die mit "Docker" zu tun haben: docker-compose -ps oder -d

Kommt da dies von @crammaster erwähnte zum Tragen?

das es beim Zielverzeichnis um einen Container internen Pfad handelt, wofür bei der Erstellung der Export Ordner definiert werden sollte.

Export-Verzeichnis habe ich doch, siehe Bild 3

Damit hätte ich also die DB gesichert (wg. "webserver") gehabt, WENN es funktioniert HÄTTE?

Hatte schon ChatGPT damit gequält, der war auch sehr hilfsbereit,....bis ich mein Kontingent an dummen Fragen wohl aufgebraucht hatte, hahahaha

2) Zu Antwort 2 von @crammaster
Es müsste doch theoretisch ausreichen, wie erwähnt, NUR die Dokumente zu sichern: und wenn man dann mal PL eben neu installieren müsste: auch gut, dann holt man sich anschliessend die Dokumente.

Also hab ich mich mal intuitiv durch HyperBackup gewühlt, auch noch mit ner Portion "Restunsicherheit": - weil: das war nachn paar Sekunden fertig
Bild 2 und 3 zeigen die Einstellungen die ich traf: Muss/sollte man bei "Einstellungen" auch was anhaken? Versteh den Screen nicht, die Programme sind doch "immer" da? warum also sichern

3) Wahrscheinlich etwas OT: Wo/wie hab ich denn wohl mal den Eintrag "NetBackup" gekriegt? Ausser an HyperBAckup hab ich in der Richtung doch nix unternommen...

Gruss

 

[crammaster]

@XXL1602

Im Aufgabenplaner ein Benutzerdefiniertes Script als root anlegen, Ausführungszeit kannst du dir aussuchen und den Befehl
docker exec Paperless-NGX document_exporter ../export bei Aufgabeneinstellung eintragen. Das Paperless-NGX ist der Name meines Paperless Containers, den müsstest du auf deinen Container bzw. Stack anpassen. Hat bei mir wurnderbar funktioniert.

Damit hätte ich also die DB gesichert (wg. "webserver") gehabt, WENN es funktioniert HÄTTE?

Richtig, inklusive aller Dokumente und Vorschaubilder die in Paperless enthalten sind.


Ein Backup dient dazu, Daten vor deren Verschlust zu schützen. Welche Daten du als schützenswert erachtest ist deine Sache. Bei Paperless haben wir grob gesagt zwei "Grundarten" von Daten -> 1. Dokumente und 2. Config-Daten.

1. Dokumente: Sichern? Ja!!!

2. Config-Daten: Da kommt es auf die Art der Nutzung von Paperless an und natürlich auf deine Bereitschaft, nach dem total Verlust des Containers, den Server und die Datenbank neu auf zubauen. Nutzt du Paperless alleine und hast in einer vertretbaren Zeit, den Server neu auf gebaut, dann nicht umbedingt. Nutzt du Paperless dagegen mit der ganzen Familie oder hast over 9000 Speicherpfade, Dokumententypen, Korrespondenten und es würde eine herhebliche Zeit deines Lebens kosten, dann Ja!!!

Beispiel bei mir: Ich nutze Paperless zum Beispiel als "Sortier-Sklave" und als WebAcces für meine Dokumente. Wenn ich im Heimnetz sitze, dann arbeite ich hauptsächlich über den Explorer und den PDF-Datein direkt. Deswegen habe ich den Archiv Ordner auch auf meine Dokumenten Freigabe gemappt. Diese Freigabe wird täglich über Hyper Backup mit zwei verschienen Cloud Diensten verschlüsselt gesichert. Die Config wird nicht sichert.

Ich sehe 3 mögliche Backup-Varianten.

1. Du hast Paperless inkl. Datenbank als Stack eingerichtet. Dann den paperless-ngx via Hyper Backup weg sichern und gleich die Stack Einrichtung via yaml-Datei in den Ordner rein. Vorteil: Stack ist schnell neu erstellt und alle Datein sind vorhanden. Die Passwörter der Datenbank und des Admin-Konto von Paperless sollten nicht umbedingt im Klartext in der Docker Compose Datei rumliegen, die solltest du anderweitig aufbewahren. --> Diese Methode funktioniert bei mir eher weniger, da ich Paperless nicht als Stack laufen lasse, DB ist ein seperater Container, da noch ander Dienste den mitnutzen und der Archiv Ordner liegt niicht in dem Verzeichniss.

2. Im Aufgabenplaner täglich den Export-Befehl ausführen lassen und dann den Export-Ordner via Hyper Backup sichern. Das Stack mit Datenbank muss dann neu erstellt werden, aber die Daten können dann einfach via Import-Befehl eingelesen werden.

3. Du sicherst nur die Dokumente, egal ob der Archiv Ordner noch im Papless Verzeichniss liegt oder so wie bei mir, wo anderes liegt.

Bei der Sicherung der Anwendungen steht ja immer Dabei, was gesichert wird. Zum Beispiel beim Hyper Backup werden die Sicherungsaufgaben, Zeitpläne und alle Einstellung gesichert.

Der Ordner (Freigegebener Ordner) NetBackup wird automatisch erstellt, wenn die Netzwerksicherung aktiviert ist. Das ist wenn du unter "Einstellungen -> Dateidienste -> rsync" aktivierst bzw. eine entsprechne Anwendung dafür installiert hast.

 

[XXL1602]

Erstmal erwiesensten Dank für diese Antwort: (es seien mir noch Nachfragen zum Lernen und Verstehen gestattet)

Also, nachdem ich docker exec paperless-ngx-webserver-1 document_exporter ../export machte, ging es tatsächlich auch: der export - ordner ist jetzt gefüllt.

Das lieferte mir zum Schluss in einer Bestätigungsmail, (kann keine Bilder mehr einfügen)
Der Aufgabenplaner hat eine geplante Aufgabe abgeschlossen.
Aufgabe: Sicherung Paperless V2
Start: Fri, 19 Jul 2024 05:32:30 +0200
Ende: Fri, 19 Jul 2024 05:32:49 +0200
Aktueller Status: 0 (Normal)
Standardausgabe/Fehler:
You have configured mail accounts, but no passphrase was given. Passwords will be in plaintext

Verständnisfragen:
1) docker-compose ist das Coding, dass ich unter "Editor" im Stack sehe? Ist das das *yml-File? Kann ich das nur unter portainer sehen, oder auch im Terminal der NAS?

2) Da gibts ja unter ENVIRONMENT user + password: Ist das die Stelle, wo Du sagst: Die Passwörter der Datenbank und des Admin-Konto von Paperless sollten nicht umbedingt im Klartext in der Docker Compose Datei rumliegen, die solltest du anderweitig aufbewahren.
3) Heisst das, stattdessen "Nichts" rein, hat das dann nicht an anderer Stelle Auswirkungen? Hab meine Zugangsdaten sowieso stets im PW-Manager..
4)

Dann den paperless-ngx via Hyper Backup weg sichern und gleich die Stack Einrichtung via yaml-Datei in den Ordner rein.

Wo/wie mache ich letzteres? Ralle ich grade absolut nicht

5)

Deswegen habe ich den Archiv Ordner auch auf meine Dokumenten Freigabe gemappt.

Auch so n Buch mit 7 Siegeln:
Hier hab ich mein Archiv: /volume1/docker/paperless-ngx/media/documents/archive

Und was bedeutet jetzt "auf Doku-Freigabe mappen"? (Mappen bedeutet ja sowas wie "zuordnen" erkenne aber den Zusammenhang grade nicht )Hat das jetzt was mit dem Erstellen eines freigegeben Ordners zu tun?
Sorry ob der doofen Nachfragen, ist eben Neuland für mich..

 

[crammaster]

Top, dann funktioniert der Export.

1. Docker Compose ist ein Tool, welches dir die Erstellung von einem oder meheren Containern via Text-Datei (yml;yaml) ermöglicht. Der "Editor" in Stack ist nur die grafische Umsetzung von Portainer davon. Du kannst über den Editor den Text für Docker Compose nochmal anpassen oder direkt eine yaml-Datei hochladen.

2./3./4. - Du testest dich ja gerade mit Paperless so durch. Wenn du damit fertig bist und du weißt was du wie haben willst bzw. welche Zusatzoptionen du dem Container noch mit geben willst. Entweder du benutzt den, ich nenn Ihn mal "Test-Stack" weiter und bastelst dir daraus deine Docker-Compose Datei oder du setzt den Stack neu auf. Speicherst die Compose Datei direkt bei "../docker/paperless-ngx" rein und sicherst den ganzen Ordner mit Hyper Backup. Wenn dann der Fall -> NAS tot, alle Daten weg <- passiert, dann einfach den Ordner via Hyper Backup wiederherstellen und mit Docker-Compose den Stack erstellen und Paperless sollte so wie vorher wieder funktionieren. Bei der Erstellung des Stacks über Compose sollten natürlich die Passwörter in der Textdatei stehen. Solange die Datei nur ungenutzt rum liegt, kannst du die Passwörter aus der Datei entfernen. Da kickt bei mir halt der Grundgedanke, keine Passwörter im Klartext rumliegen lassen. Die Passwörter stehen auch im Portainer dann auch im Klartext, deswegen ist die Aussage zum Teil Schwachsinn. Musst du entscheiden, wie Sinnvoll das für dich ist oder nicht.

5. Du hast ja wären der Einrichtung des Stacks mehrere Verzeichnisse nach außen ge-bind-et. Sagst dem Container also, dass der Pfad "/usr/src/paperless/media" (interner Pfad des Paperless-Containers) nach außerhalb des Containers nach "/volume1/docker/paperless-ngx/media" (Pfad auf dem Host) führen soll. Du kannst es dir wie eine Verknüpfung vorstellen. Der Ordner "Media" hat standartmäßig 3 Unterordern thumbnails, originals und archive.
Thumbnails -> Speicherort Vorschaubilder der Dokumente
Originals -> Paperless kopiert beim "konsumieren" eine unbearbeite Kopie hier rein
Archive -> Speicherort der von Paperless verarbeiteten Dokumente

Ich habe einen "Freigegeben Ordner", also eine Netzwerkfreigabe die nennt sich "Dokumente". Da lagen und liegen noch meine Dokumente als PDF-Datein. Den Ordner "Archive" habe zusätzlich auf diese Freigabe gemappt. Das heißt, wenn der Cotainer den Pfad "/usr/src/paperless/media/documents/archive" aufruft, kommt der nicht bei "/volume1/docker/paperless-ngx/media/documents/archive" raus sondern bei "/volume1/Dokumente". Dies habe ich so eingestellt, weil ich zwischendurch gern mal mit den PDF-Datein direkt arbeite, zum Beispiel beim zusammen Kopieren der Dokumente für den Steuerberater.


Hoffe das war jetzt etwas verständlicher.

 

[XXL1602]

Jau, sehr sehr schön.

Vorhandene Dokumente habe ich jetzt alle drin
Habe sogar mittels image: manuc66/node-hp-scan-to ein vollautomatisches Erfassen hingekriegt: Stapel Papier in den Scanner, auf den Menueintrag "Paperless" gedrückt, und schon landen die in PL. Herrlich

Ähnliches gilt für Kontoauszüge: Download von der Web-Seite direkt in den NW-Pfad: klappt

Was jetzt noch schön wäre, die automatische "Kanalisierung" von Mail-Rechnungen. Hab ich mich schon mal dran gewagt, auch Teilerfolge erzielt, aber leider nicht belastbar. Machst Du was auf diesem Gebiet?

 

[crammaster]

Freut mich, das dies soweit geklappt hat.

Ja, ich habe teilweise auch mit Mails. Worum geht es dir dabei?

 

[XXL1602]

Im Prinzip "nur" um die Regelerstellung.
Es steht ja auch schon da: Paperless-ngx wird nur E-Mails verarbeiten, die mit allen unten angegebenen Filtern übereinstimmen.
Nehmen wir mal das angehängte Bsp: Was muss in das Absender-Feld? Die kpl. Zeile oder wie ich vermute: nur die email?

Käme dann zu: siehe 02

Intuitiv kanns doch nur so gehen? Macht die Sortierreihenfolge was aus? Hab jetzt mehrere Regeln drin, alle auf 1 gesetzt, stört ihn so weiter nicht, oder müssen die eindeutig sein?

 

[crammaster]

Das sieht soweit schon richtig aus.

Wegen der Reihenfolge wurde ich auch erstmal behaupten das es nichts aus macht. Damit kannst du eine Reihenfolge erreichten, wie es dir angezeigt werden soll, wenn du zum Beispiel mehrere Konto damit abarbeiten lässt und wahrscheinlich arbeitet er diese auch in der Reihenfolge ab. Überprüf doch mal das Protokoll, was das sagt bzw. vergib bei einer Regel mal eine höhere Zahl und guck ob die an der entsprechnenden Stelle abgearbeitet wird.

 

[XXL1602]

Hab jetzt mal eine aufsteigende Reihenfolge verpasst.
Brat mir nen Storch: Ich bekam es ums Verrecken nicht hin, ein Gmail-Konto einzubinden. Ordentlich mit den üblichen Parametern versucht: ging nix.
Dann lernte ich durch dich, es gibt ein Protokoll. Dort nachgeschaut, wurde tatsächlich ein Eintrag mit ner Google-Seite geschmissen. Und da stand, man müsse ein App-PW nehmen. Hab ich auf Anhieb hingekriegt, hahaha.

So, dann kann ich mir jetzt ja alles mal schön einrichten.....

Hab mir jetzt mit Gmail 2 Regeln zum Testen angelegt: Eine mit PDF Anhang und Betreff"Test" und eine mit Anhang "leer".

Kann ich irgendwo/irgendwie Einfluss auf das Abrufintervall nehmen, vielleicht auch wieder mit ner Aufgabe?

 

[crammaster]

Prüfe mal im Protokoll, ob die Sortierreihenfolfe Einfluss hat

 

[XXL1602]

Hier die letzten Pryotokolleinträge:
1) Die rote Fehlermeldung, klar: Hat er erkannt, dass bereits vorhanden Das war die Testmail vom Google-Account mit PDF-Anhang,.
2) Davor hatte ich Mail OHNE Anhang nur mit Betreff "TEST" geschickt. Die ist offensichtlich nicht angekommen. Müsste das auch gehen?

 

[crammaster]

1. Das ist das Protokoll der Verarbeitung der PDF Datei, gibt es auch auszüge aus dem abrufen der Mails?

2. Wenn du die Filterobtion so einstellst, das er nur Mails bearbeiten sollen, die einen Anhang haben, wird er die ohne Anhang nicht bearbeiten.

 

[crammaster]

Unter dem Punkt Protokoll hast du zwei Reiter, einmal Paperless.log und einmal Mail.log, im Mail.log ist du welche Aktionen ausgeführt wurden sind.

Werden nach der Sortierreihenfolge abgearbeitet.