Paperless-ngx Paperless-ngx (Docker) mit Scanner: brother ADS-1700W

[Dennjo]

Moin!

Bin seit kurzem auch dabei und habe zur Einrichtung eine Frage....
NGX habe ich nach ein paar Fehlversuchen dann doch nach der Anleitung von mariushosting.com installiert.
Ich kann von meinem Rechner auf den Ordner zugreifen und auch die Dokumente die ich dort reinschiebe, werden von NGX bearbeitet.
Das funktioniert soweit alles!
Es läuft auf einer DS720+ mit zusätzlichen 8 GB, Docker ist installiert und die folgenden Container laufen:


Portainer habe ich deaktiviert, weil es sich mit meinem ioBroker beisst, sollte aber an diese Stelle eigentlich egal sein.

Der ADS-1700W greift über die funktion "Netzwerk", also SMB, auf den consume-Ordner zu, welchen ich hier:
/homes/Netzwerkscanner/Paperless-Inbox
hingebastelt habe. Zugriff usw. funktioniert auch...

Nun aber das Problem:
Scanne ich ein Dokument vom ADS-1700W direkt dorthin, bleibt es liegen und NGX rührt sich nicht.
Schiebe ich dann manuell noch weitere Dokumente von meinem Rechner nach, weden diese bearbeitet, aber der Scan bleibt immer noch liegen.
Ziehe ich den Scan jetzt aber aus dem Ordner raus, lege ihn in einem anderen Ordner ab und ziehe ihn nach keinen 5 Sekunden wieder rein, sagt NGX danke und verarbeitet es brav.

FTP habe ich versucht, aber habe die gleich Meldung bekommen wie mein Vorredner weiter oben (Bild ist von Ihm, Zielordner ist anders):


An dieser Stelle ist mein Latein am Ende und hoffe auf euch
Woran liegt das?

LG Dennis

 

[EDvonSchleck]

Ich sehe da als erstes Probleme in der Installation. Sofern du nur manuell updaten willst, mag es Ok sein. Wenn du aber alle Container aktualisierst oder noch besser Watchtower das machen lässt, wirst du Probleme bekommen.

Probleme sehe ich bei den Containern Gotenberg und Postgres. Sofern du Officedokumente nutzen willst, solltest du den Tag 7.4 nutzen. Aktuelle Images verursachen einen Fehler in Paperless. Das ist bekannt und gemeldet, aber noch nicht gefixt. Das 2. Problem ist Postgres. Da du neu anfängst, solltest du auch mit der aktuellen Version 15 anfangen. Somit müssen seine Images heißen: gotenberg/gotenberg:7.4 und postgres:15.

Was den Scanner angeht, kannst du auch ein anderen "Gemeinsamen Ordner" außerhalb von /homes probieren? Der in Paperless eingestellte User (UID) hat auch die benötigten Rechte auf den eingestellten Ordner zuzugreifen?

Was FTP angeht, hast die diesem Dienst auch in der DS aktiviert? Der User Paperless existiert auch auf der DS? Firewall aktiv? Auch würde ich den Zielordner außerhalb von /homes probieren. Der Zielordner paperless-consume ist richtig und mit einem FTP-Programm überprüft? Dieser Pfad unterscheidet sich schon im Ordnername zu SMB!

Scanmodus Autostart

 

[w00dcu11er]

Ergänzend zum guten Beitrag von @EDvonSchleck den "consumer"-Ordner außerhalb des Docker-Ordners legen und den Scanner via Netzwerkfreigabe darauf anlegen (also ergo als "Inputbox" für eingescannte Dokumente). Dann geht es direkt rein in NGX-DMS.

 

[Dennjo]

Guten Abend Zusammen!

Sorry, dass ich erst jetzt schreibe, aber der Tag war recht voll gepackt mit anderen Sachen ;-)

Ich sehe da als erstes Probleme in der Installation. Sofern du nur manuell updaten willst, mag es Ok sein. Wenn du aber alle Container aktualisierst oder noch besser Watchtower das machen lässt, wirst du Probleme bekommen.

Probleme sehe ich bei den Containern Gotenberg und Postgres. Sofern du Officedokumente nutzen willst, solltest du den Tag 7.4 nutzen. Aktuelle Images verursachen einen Fehler in Paperless. Das ist bekannt und gemeldet, aber noch nicht gefixt. Das 2. Problem ist Postgres. Da du neu anfängst, solltest du auch mit der aktuellen Version 15 anfangen. Somit müssen seine Images heißen: gotenberg/gotenberg:7.4 und postgres:15.

Das Problem werde ich morgen nochmal beleuchten und vielleicht dazu nochmal direkt Fragen stellen wenn ich es nicht kapiere

Ich hab mich nochmal eben mit frischem Kopf und neuen Gedanken an die Arbeit gemacht.
Gute Nachrichten, FTP läuft... hätt mir auch mal jemand sagen können, dass da ein Slash zwischen
die Ordner kommt und KEIN Backslash
Die Brother Config-Seite quittiert fast jeden Fehler mit dem hier:

Ich hatte vorher mal den Ordner gewechselt in den gescannt werden sollte, ausserhalb von "homes"... das war es nicht.
Dann hab ich mich überall mit meinem Admin angemeldet und die Ordner so vergeben, wie ich es auch wollte, klappte sofort
und NGX hat die Datei auch sofort wie erwartet abgearbeitet.
Also die Verbindung bzw. der Arbeitsvorgang passt.

Dann mit dem anderen User "Netzwerkscanner" auf dem ADS1700W ein Dokument eingescannt, kommt im Ordner auch an...
AAAAABER NGX will damit wohl nichts zu tun haben!!!

Kann es sein, dass der PDF-Datei die UID beim scannen angehägt wird und NGX deshalb nicht reagiert?
Aufs Adminkonto wieder umgebaut, funktionierts wieder wie gewollt?
Ich mach hier morgen früh mal weiter und meld mich mal mit der UID vom User "Netzwerkscanner" bei NGX an. vielleicht klappts dann ja.
Kann man im NGX mehrere UIDs angeben? Wie wird das im Regelfall gelöst?

...Der in Paperless eingestellte User (UID) hat auch die benötigten Rechte auf den eingestellten Ordner zuzugreifen?

Sonst würde er ja garnicht arbeiten, macht er aber, wenn ich händisch was rein schiebe

Was FTP angeht, hast die diesem Dienst auch in der DS aktiviert?

Jop

Der User Paperless existiert auch auf der DS?

Da könnte der Hase im Pfeffer liegen... Ich nutze NGX mit meinem "Dennjo" Konto, welches Adminrechte hat, der User "Netzwerkscanner ist in NGX nicht angelegt, bzw. habe ich die UID von "Dennjo" angegeben

Firewall aktiv?

Gibts bei mir intern nicht.

Auch würde ich den Zielordner außerhalb von /homes probieren. Der Zielordner paperless-consume ist richtig

Geschehen, wie oden beschreiben

und mit einem FTP-Programm überprüft?

Jop

Dieser Pfad unterscheidet sich schon im Ordnername zu SMB!

Hab ich gemerkt, und daran hat es MITgelegen

Scanmodus Autostart
Anhang anzeigen 77818

Danke, aber das hatte ich sofort nach der Meldung geprüft, kann man auch nicht EINschalten.

Ergänzend zum guten Beitrag von @EDvonSchleck den "consumer"-Ordner außerhalb des Docker-Ordners legen und den Scanner via Netzwerkfreigabe darauf anlegen (also ergo als "Inputbox" für eingescannte Dokumente). Dann geht es direkt rein in NGX-DMS.

Meinen Beitrag hast du schon genau gelesen oder?
Danke für deinen Hinweis, aber das war schon vor meiner "Problemfindung" richtig bzw. auf externen Ordner eingestellt.

Ich find euch klasse! Danke, dass man hier so freundlich aufgenommen wird und einem wirklich geholfen wird!

LG Dennis

PS: die Zitierenfuktion ist hier klasse gelöst!
PPS: Ich gehe jetz aufs Sofa und lass mein Hirn von irgend eine Serie berieseln. Soll heißen, ich schreib erst morgen wieder zurück, oder wenn ich nachher im Bett liege

 

[EDvonSchleck]

Das hat eher mit den Ordner-Rechten zu tun, welcher User in Paperless hinterlegt ist. Ich habe es eben noch einmal getestet. Solange der Consume-Ordner mit den Rechten betrieben wird, welcher in Paperless hinterlegt ist, funktioniert der Import. Auch wenn ein anderer User, Zugriffsrechte (nicht Eigentümer) auf den Ordner hat. Der User, welcher Paperless ausführt, muss kein Admin sein. Du kannst auch einfach auf Eigenschaften von deinem Consume-Ordner gehen – dort siehst du, welchen User der Ordner gehört (Sofern du den nicht bereits geändert hast nach Installation von Paperless). Solange der Scanner-User die rechte hat dort etwas abzulegen, wird es auch importiert. Also muss der Inhaber nicht der User sein, der den Scan dort ablegt.

Bitte beachte auch die besondere Konstellation von /home und /homes


Meine Aussagen und Test beziehen sich auf einen „gemeinsamen Ordner“ erstellt in der Systemsteuerung.

 

[Dennjo]

Moin!

So, ich habe gute Nachrichten... Es funktioniert so wie gewollt.
Ich habe jetzt be NGX die UID vom "Netzwerscanner"-Konto angegeben und jetzt funktionierts einwandfrei.
Danke Euch für die Hilfe!!!

Jetzt möchte ich noch die Installationsweise, wie von @EDvonSchleck empfohlen, ändern.
Kann ich dazu einfach die Container von Gotenberg und Postgres löschen und die entsprechenden Versionen installieren oder
muss das in einem Schwund mit den anderen drei Containern passieren? Also Alles neu?

Dazu habe ich im Moment noch zu wenig Verständnis, was sich aber hoffentlich noch ändern wird.

LG und schönen Sonntag noch!
Dennis

 

[EDvonSchleck]

Du hast 2 Möglichkeiten:

1. ändern der Tags im Stack und lässt diesem noch einmal zusammen bauen
2. löschen und installieren der Container einzeln in der Docker GUI.

Bei beiden Container musst du ansonsten nichts beachten, da du die aktuelle Datenbank verwendest und Gotenberg für sich alleine läuft. Beachte, aber wenn ein Datenbankupdate ansteht, muss man den Weg über Export/Import gehen. Den Rest macht Watchtower (siehe oben) alleine und automatisch. Deshalb sind die Tags wichtig, bevor etwas nicht mehr funktioniert. Aber selbst ein Update wäre kein Beinbruch und könnte rückgängig gemacht werden und die Daten gesichert oder ein Export erstellen.

Nach welcher Anleitung bist du vorgegangen? Wenn du gerade bei den Environments dabei bist, kannst du auch die gängige Speicherstruktur mit einarbeiten.

Stack:

PAPERLESS_FILENAME_FORMAT: "{correspondent}/{document_type}/{created_year}-{created_month}-{created_day} {title}"

Docker GUI:

PAPERLESS_FILENAME_FORMAT

{correspondent}/{document_type}/{created_year}-{created_month}-{created_day} {title}

 

[Dennjo]

Moin!

Nach welcher Anleitung bist du vorgegangen? Wenn du gerade bei den Environments dabei bist, kannst du auch die gängige Speicherstruktur mit einarbeiten.

Ich habe schlussendlich die Anleitung von mariushosting.com genommen.
Hatte vorher versucht aus ca. drei verschiedenen eine für mich passende zu basteln, aber scheinbar bin ich auf diesem Gebiet
noch zu unerfahren. Kurzum, hat nicht so funktioniert wie ich es mir vorgestellt hatte.

Stack:

PAPERLESS_FILENAME_FORMAT: "{correspondent}/{document_type}/{created_year}-{created_month}-{created_day} {title}"

Docker GUI:

PAPERLESS_FILENAME_FORMAT

{correspondent}/{document_type}/{created_year}-{created_month}-{created_day} {title}

Muss das denn nch diesem Format? Hab das so verstanden, dass ich mit diesem Tag (nennt man das so?) meien Ordnerstruktur der Ablage sowie den Dateinamen nach belieben anpassen kann, wohin die Dokumente gespeichert werden.
Ist das nicht das Gleiche als wenn ich in NGX unter Verwaltung den Speicherpfad ändere, mit der Regel "Irgendein Wort" mit der Bedingung "a b c d e 0 1 2 3 4"?

Deinen vorgeschlagenen Punkt zwei würde ich präferieren, da ich blauäugig schon so manche Tags und Regeln im NGX angelegt habe.
Wenn ich die allerdings vorher irgendwie exprotieren kann um die danach wieder importieren und weiter nutzen zu können, wärs natürlich auch top.

Beachte, aber wenn ein Datenbankupdate ansteht, muss man den Weg über Export/Import gehen

Das muss ich aber wahrscheinlich bei beiden Varianten beachten oder?

Deshalb sind die Tags wichtig, bevor etwas nicht mehr funktioniert.

Was meinst du damit?
Sorry wenn ich mich in deinen Augen recht blöd anstelle, aber damit kann ich NOCH nichts anfangen.

Danke nochmal für die Hilfe!

LG Dennis

 

[Stationary]

Die Brother Config-Seite quittiert fast jeden Fehler mit dem hier:

Kommt nicht vor den Zielordner auch noch ein Slash? Mein ADS1700W funktioniert mit FTP so:

 

[EDvonSchleck]

Moin!


Ich habe schlussendlich die Anleitung von mariushosting.com genommen.

Ich bin wie bereits geschrieben kein freund von einfach so übernehmen. Es kommt immer darauf an, was man noch auf seiner DS laufen lässt. Somit macht es für mich nicht viel Sinn eine Datenbank mehrfach zu installieren für jede Anwendung. Marius Anleitungen beziehen sich nur auf die jeweilige App. Kann man so machen, muss man aber nicht und wird aufgrund der Anzahl irgendwann die Übersicht verlieren. Besonders wenn man Container mehrfach für unterschiedliche Anwendungen nutzt, sollte man das entsprechend anpassen.

Muss das denn nch diesem Format?

Das Format kannst anpassen wie du willst. Dabei handelt es sich um die Ordnerstruktur für die Offlinefiles, um in Notfall die Dokumente leichter zu finden. Weitere Variablen findest du hier.

Deinen vorgeschlagenen Punkt zwei würde ich präferieren, da ich blauäugig schon so manche Tags und Regeln im NGX angelegt habe.
Wenn ich die allerdings vorher irgendwie exprotieren kann um die danach wieder importieren und weiter nutzen zu können, wärs natürlich auch top.

Mit dem Retagger kannst du auch nachträglich bereits angelegte Files zuordnen. Bisschen höher findest du noch weitere Informationen zum Exporter und Importer.

Was meinst du damit?

Die Tags sind die Labels eines Dockercontainer. "latest" ist immer die aktuellste Version, während eine Versionsnummer z. B. postgres:15 immer nur diese beschreibt. Einige Container können nicht mit einem Pull upgedatet werden, diese benötigen bei einem Versionssprung das Exportieren und Importieren für den neuen Container. Andere Container laufen nur in einer bestimmten Version wie Gotenberg 7.4 (siehe Beitrag #22.

Den Stack von Marius würde ich wenigstens so abändern:

Spoiler: Marius Paperlessngx incl. Office

version: "3.6"
services:
redis:
image: redis
container_name: paperless-redis
restart: always
volumes:
- /volume1/docker/paperedis:/data

db:
image: postgres:15
container_name: paperless-db
restart: always
volumes:
- /volume1/docker/paperdb:/var/lib/postgresql/data
environment:
POSTGRES_DB: paperless
POSTGRES_USER: paperless
POSTGRES_PASSWORD: paperless

webserver:
image: ghcr.io/paperless-ngx/paperless-ngx
container_name: paperlessngx
restart: always
depends_on:
- db
- redis
- gotenberg
- tika
ports:
- 8777:8000
volumes:
- /volume1/docker/paperlessngx/data:/usr/src/paperless/data
- /volume1/docker/paperlessngx/media:/usr/src/paperless/media
- /volume1/docker/paperlessngx/export:/usr/src/paperless/export
- /volume1/docker/paperlessngx/consume:/usr/src/paperless/consume
environment:
PAPERLESS_REDIS: redis://redis:6379
PAPERLESS_DBHOST: db
USERMAP_UID: 1026
USERMAP_GID: 100
PAPERLESS_TIME_ZONE: Europe/Berlin
PAPERLESS_ADMIN_USER: marius
PAPERLESS_ADMIN_PASSWORD: mariushosting
PAPERLESS_OCR_LANGUAGE: deu+eng
PAPERLESS_TIKA_ENABLED: 1
PAPERLESS_TIKA_GOTENBERG_ENDPOINT: http://gotenberg:3000
PAPERLESS_TIKA_ENDPOINT: http://tika:9998
PAPERLESS_FILENAME_FORMAT: "{correspondent}/{document_type}/{created_year}-{created_month}-{created_day} {title}"

gotenberg:
image: gotenberg/gotenberg:7.4
restart: always
container_name: gotenberg
ports:
- 3000:3000
command:
- "gotenberg"
- "--chromium-disable-routes=true"

tika:
image: ghcr.io/paperless-ngx/tika
container_name: tika
ports:
- 9998:9998
restart: always

Wenn man die Container alle zusammen in einem separaten Bridge-Netzwerk laufen lässt, kann man auch auf die Ports von Gotenberg und tika verzichten.

Wie geschrieben, es gibt viele Wege und hängt immer von der einzelnen Situation ab. Um nicht alles in einem Beitrag immer durcheinander zu bringen würde ich anraten die Probleme nacheinander zu besprechen. Wenn es einfach Fragen sind, steht aber nichts im Wege auch mehrere gleichzeitig zu stellen.

 

[Dennjo]

Moin!

Kurze Rückmeldung...
Ich weiß nicht was man noch so auf einer DS laufen lässt, ist meine Erste! .
Es läuft ioBroker und sonst erstmal nur noch Paperless plus Zubehör.

Als Anfänger kann man es nicht besser wissen, ohne dass man sich tagelang einliest und wenn man mit Linux nur nach Vorgaben arbeitet, schaut man
nicht unbedingt nach links und rechts, was es noch so an Möglichkeiten gibt.
Ich bin froh, wenn etwas läuft und ich es dann auch noch selber hinbekommen habe. Wie man was jetzt optimiert und besser machen kann, dazu fehlt mir leider noch der Background.

Sodenn, weiter gehts....

Dank @EDvonSchleck bin ich nun (für mich) am Ziel angekommen.

Ich kann nun endlich:

1. Von meinem Brother ADS-1700W Scanner in den "umgemounteten" Inbox-Ordner via FTP scannen und paperless-ngx verarbeitet dies.
2. Dateien manuell in den Inbox-Ordner schieben um sie dann verarbeiten zu lassen (das ging von Anfang an).
3. Office-Dokumente in den Inbox-Ordner schieben, sodass auch diese in NGX landen.

Dieses Setup wird mich sehr wahrscheinlich nun einige Jahre in meinem täglichen Wahnsinn begleiten und hoffentlich etwas Arbeitserleichterung in meine geclusterte Papiersortierung bringen.

Kurz zum nachlesen, was ich überhaupt noch gemacht habe:

• Die Versionsnummern von Gotenberg und Postgres sind nun festgelegt und auch am laufen.
• Da die fünf Container in einem BridgeNW laufen, habe ich die Ports wie empfohlen in den entsprechenden Zeilen erstmal auskommentiert.
• Den Speicherpfad habe ich auf {created_year}/{correspondent}/{document_type}/{created_year}-{created_month}-{correspondent}-{title}-{tag_list} festgelegt, gefällt mir so und ist ja auch beliebig wählbar. Wahrscheinlich werde ich noch die ASN dazubauen.
• Meine Befürchtung, dass NGX sämtliche bereits erstellte Tags, Korrespondenten, und Dokumenttypen beim "Updaten" des Stacks verwirft, hat sich Gott sei Dank nicht bewahrheitet. Ich habe es nicht hinbekommen, mit dem Document-Exporter was zu exporieren. Da werde ich mich nochmal belesen!

Wie eingangs erwähnt muss ich einen großen Dank an @EDvonSchleck aussprechen!
Du hast mit Geduld versucht einem Deppen wie mir was beizubiegen... DANKE!!!

Ich mach mich jetzt an die Backuplösung von dem NAS. Es wird kein 3-2-1
Externe SSD hinten am USB Port dauerhaft angesteckt und über den vorderen Port soll beim Einstecken vom USB Stick die automatische
"Notfallsicherung" erfolgen, welche nur Dokumente und ein paar andere wichtige Dateien enthält.
Mal gucken ob ich euch dann wieder nerven muss... ok, bis später

Danke auch nochmal an alle anderen, die sich die Zeit genommen haben mir zu antworten!

LG Dennis

PS: Da warten jetzt acht volle breite Ordner aufs einscannen

 

[Kachelkaiser]

Den Speicherpfad habe ich auf {created_year}/{correspondent}/{document_type}/{created_year}-{created_month}-{correspondent}-{title}-{tag_list} festgelegt, gefällt mir so und ist ja auch beliebig wählbar.

Erstmal Gratulation, dass jetz alles läuft.

Mir steht auch noch die Festlegung der richtigen und sinnvollen Speicherpfade bevor. Allerdings hast du in deinem den Korrespondent doppelt oder?

 

[Dennjo]

Moin!
Auf den ersten Blick ja...
Der erste "correspondent" ist ein Ordner u d der zweite eine Erweiterung für den Dateinamen.
Somit kann ich das Dokument in der Ordnerstruktur ausserhalb von NGX erkennen

LG Dennis

 

[Kachelkaiser]

Ok verstehe.

Aber dann ist es doch trotzdem doppelt oder nicht?

Z.B. im amazon Ordner liegt dann die amazon Rechnung...

Oder willst du den Korrespondent auch im Dateinamen haben falls du die datei mal extern brauchst?

 

[Dennjo]

Moin!

Ja genau das ist der Hintergrund!

Sorry, das ich mich unverständlich ausgedrückt habe.
So kann ich die Datei direkt rausziehen vom Windowsrechner aus und die verschicken, aufn Stick hauen oder sonstwas und ich weiß gleich
was das für eine Datei ist.

LG Dennis

 

[BadChaker]

Jetzt muss ich auch mal nachhaken, da ich gerade dabei bin mein Paperless und Brother ADS-1700W einzurichten. Ich bekomme bei SMB Fehler, leider weiß ich noch nicht so recht, wie weiter.

Daher die zwei Fragen:

1. Trage ich bei "Netzwerkordnerpfad" auch die IP ein?
2. Bei Benutzername einfach den Namen, den ich selbst nutze (also meine Benutzer ID ohne Domäne etc.), richtig?

 

[plang.pl]

Trage ich bei "Netzwerkordnerpfad" auch die IP ein?

\\IP_DES_NAS\Gemeinsamer_Ordner\Unterordner

Bei Benutzername einfach den Namen

Den User vom NAS

 

[EDvonSchleck]

\\IP_DES_NAS\Gemeinsamer_Ordner\Unterordner

Den User vom NAS

Alternativ auch den Name der DS. Dann muss man nichts ändern, wenn die DS eine neue IP (warum auch immer) bekommt.

\\NAME_DES_NAS\Zielordner oder \\NAME_DES_NAS\Gemeinsamer_Ordner\Zielordner

 

[BadChaker]

Faszinierend, wie schnell und unkompliziert man hier antworten bekommt (*verduzt*). DANKE! Das hat geklappt

 

[Chrined8486]

Hey ich bin nach Plan vorgegangen, wie es oben beschrien wurde ..Habe aber trotzdem den gleichen Fehler weiterhin..
Woran liegt es..
grüße Christian