synOCR synOCR - GUI für OCRmyPDF

[Karsten77]

funktioniert über den Aufgabenplaner, vielen Dank. Hatte davor über den blauen Button direkt in SynOCR manuell gestartet.

 

[geimist]

Kannst du mir bitte noch verraten:

1. hattest du vorher bereits einmal den Aufgabenplaner laufen lassen oder ausschließlich den blauen Butten genutzt?
2. funktioniert es jetzt auch über den blauen Button?

 

[Karsten77]

1. nach der Installation vorerst nur den blauen Button genutzt.
2. nach einmaligem Start über den Aufgabenplaner funktioniert es jetzt auch mit dem blauen Button.

 

[geimist]

Ja, dann funktioniert es wie erwartet. Vielen Dank für dein Feedback

 

[Karsten77]

evtl. diese Problematik in die FAQ mit aufnehmen???

 

[geimist]

Ich hatte das ja schon im Ankündigungspost geschrieben. In einer späteren Version wird auf der Startseite der GUI markant hingewiesen. Ich wollte aber zunächst eine lauffähige Version bereitstellen. Der Rest folgt …

 

[majordomus]

Hallo, leider wird die OCR bei Geimists Beta auf Version 7 bei mir aus unbekannten Gründen nicht durchgeführt.
Ich habe unten das Logfile angehängt. Die Aufgabe, das Script als root zu starten, habe ich ausgeführt und die Syno auch mehrmals neu gestartet. Leider erscheinen keine prozessierten Dateien im Zielordner.
Weiß jemand vor allem, was es mit den Fehlermeldungen auf sich hat und warum keine Umwandlung der Dateien stattfindet?
In der GUI steht unter "Dateien zu bearbeiten" die Anzahl an Dateien, aber sonst passiert nix...
Ebenfalls steht beim start des Programmlaufs:

! ! ! Quellverzeichnis in der Konfiguration prüfen ! ! !
Programmlauf wird beendet.

Das Quellverzeichnis ist korrekt angegeben, weiterhin befinden sich normal lesbare PDF Dateien drin...


Ziel- und Quellordner liegen unter "homes" quasi bei einem anderen user, aber das sollte bei agieren als "root" ja egal sein, oder?

Vielen Dank!

EDIT: Sehe gerade, die "Fehlermeldung" könnte durch den Neustart gekommen sein, den ich durchgeführt habe, als einfach nix passiert ist.

Trotzdem wird effektiv keine Zieldatei erstellt...wenn ich das System nicht neustarte, bleibt das Logfile an folgender "Fehlermeldung" hängen

PROCESSING: ? test.pdf (Wed Jun 30 19:37:05 CEST 2021)
temp. target file: /tmp/tmp.a6xz88u4t9/test.pdf

-----------------------------------
| ==> installation info <== |
-----------------------------------

synOCR-user: root
synOCR-version: 1.1.99
Architecture: x86_64
DSM-build: 41222
Device: 718plus (XX)
current Profil: XXXXX
DB-version: 4
used image (created): cmccambridge/ocrmypdf-auto:latest (2020-11-20T03:08:02)
used ocr-parameter: -srd -l deu
replace search prefix: yes
renaming syntax: §yocr-§mocr-§docr_§tag_§tit
Symbol for tag marking: #
Document split pattern:
source for filedate: ocr
ignored dates by search:
Docker Test: OK
Loglevel: normal
Application Directory: /usr/syno/synoman/webman/3rdparty/synOCR
Source directory: /volume1/homes/mail/Drive/scan/vorocrtest/
Target directory: /volume1/homes/mail/Drive/scan/nachocrtest/
Files are deleted immediately! / No valid directory [/]


----------------------------------
| ==> Funktionsaufrufe <== |
----------------------------------
? update image [cmccambridge/ocrmypdf-auto:latest] ? updated successfully

PROCESSING: ? test.pdf (Wed Jun 30 16:22:09 CEST 2021)
temp. target file: /tmp/tmp.HGLcTvH9h5/test.pdf

? OCRmyPDF-LOG:
2021-06-30 14:22:12 - Watching /input
2021-06-30 14:41:33 - Signal 15 (SIGTERM) Received. Shutting down...
read unix @->/var/run/docker.sock: read: connection reset by peer
? OCRmyPDF-LOG-END

?? failed! (target file is empty or not available)

PROCESSING: ? test - Kopie.pdf (Wed Jun 30 16:41:35 CEST 2021)
temp. target file: /tmp/tmp.aPki86fu8K/test - Kopie.pdf

? OCRmyPDF-LOG:
2021-06-30 14:41:37 - Watching /input
2021-06-30 14:41:43 - Signal 15 (SIGTERM) Received. Shutting down...
read unix @->/var/run/docker.sock: read: connection reset by peer
? OCRmyPDF-LOG-END

?? failed! (target file is empty or not available)

PROCESSING: ? brotherscan_001281.pdf (Wed Jun 30 16:41:44 CEST 2021)
temp. target file: /tmp/tmp.faeTzbjOnq/brotherscan_001281.pdf

? OCRmyPDF-LOG:
2021-06-30 14:41:47 - Watching /input
2021-06-30 14:45:14 - Signal 15 (SIGTERM) Received. Shutting down...
read unix @->/var/run/docker.sock: read: connection reset by peer
? OCRmyPDF-LOG-END

?? failed! (target file is empty or not available)

PROCESSING: ? tesjijijt.pdf (Wed Jun 30 16:45:19 CEST 2021)
temp. target file: /tmp/tmp.pYd82OVXoY/tesjijijt.pdf

? OCRmyPDF-LOG:
./synOCR.sh: line 229: docker: command not found
? OCRmyPDF-LOG-END

?? failed! (target file is empty or not available)


-----------------------------------
| ==> synOCR ENDE <== |
-----------------------------------

 

[geimist]

Also die größte Herausforderung für die Portierung ist ja die GUI. Das Arbeitsskript als solches sollte (theoretisch) problemlos laufen - aber dafür ist es ja 'ne BETA.

• Hat es einen bestimmten Grund, dass du das Image cmccambridge/ocrmypdf-auto:latest verwendest?
  • Könntest du mal ein anderes testen (z.B. jbarlow83/ocrmypdf:latest)?
• Kommt die Fehlermeldung mit dem Quellverzeichnis immer noch? Ich gehe davon aus, dass diese Meldung bei einem Aufruf über den blauen Button in der GUI kommt, aber nicht über den Aufgabenplaner
• Gibt es evtl. noch ein weiteres Profil, in dem ungültige Verzeichnisse angegeben sind?

 

[majordomus]

Hi, also erstmal vielen Dank für Deine Hilfe!

Das war es! Habe jbarlow's image eingestellt und es funktioniert jetzt wunderbar!
Die GUI hat mir dieses "komische" ccambridge image primär eingestellt vorgeschlagen und da habe ich mir gar keine Gedanken mehr drüber gemacht, dass es nicht das "klassische" Release von jbarlow ist. Eventuell macht es Sinn, im Programm drauf aufmerksam zu machen?

Viele Grüße und nochmal tausend Dank für Die Entwicklung und Hilfe !

 

[geimist]

Die GUI hat mir dieses "komische" ccambridge image primär eingestellt vorgeschlagen

Komisch. Ich kenne das nicht und habe das in der GUI auch nicht hinterlegt. War das Image möglicherweise bei dir heruntergeladen?

Schön, dass es geht.

 

[kkrell]

Hi ich kämpfe gerade mit RegExp, so wie ich das sehe wir die Gruppierung momentan noch nicht unterstützt?

@geomist
Wollte dich nur auf einen Bug aufmerksam machen. Du verwendest zum Prüfen der RegExp im ersten Schritt die Perl kompatible Variante mit grep -qP.
Im weiteren Verlaub aber egrep bzw grep -E.

Die Perl und die extended Regexp Variante verstehen aber nicht unbedingt die gleichen Möglichkeiten von Regexp.

In meine Fall: Lieferschein.+?([\d\s]{6,12}) kennt Perl die Kategorie für Zahlen(\d) und egrep nicht.
Führt dazu, dass die Expression gefunden, aber nicht für den Tag verwendet werden kann
Ach kann Egrep keine Lazy Variante. Ich würde alle auf Perl Interpretation ändern.

 

[geimist]

Das könnte mich sicherlich optimieren, aber dazu brauche ich Hilfe - da fehlt mir einfach das nötige Wissen.
Jetzt bin ich eh erst einmal an der DSM7-Portierung dran.

 

[kkrell]

Klar, ich werde mal bisschen am Script rumschrauben. Habe Respekt davor, dass du das mit Shellscripts gemacht hast, die Syntax ist ja nicht gerade die schöne.

Muss dich nach deiner Meinung fragen. Du tauscht mit sed schon kritische Zeichen aus.
Was hälst du davon, wenn man im YAML auch noch eine eigenen sed Zeile einbaut. Mit dieser hat man glaube ich fast unendliche Möglichkeiten.

 

[geimist]

Ich habe dir eine PN geschickt

 

[guidovg]

Als erstes einen riesen großen Dank an @geimist und @Tommes für Eure Arbeit. Damit rutscht das Update auf 7 in greifbare Nähe. Ich habe die spk von geimists-Server geladen und installiert (VirtualDSM auf einer DS920+).

Kurzfeedback: Läuft wie geschnitten Brot.

Ein paar Kleinigkeiten sind mir aufgefallen.

• Unter dem Docker erscheint unter Container kein Eintrag, trotzdem funktioniert alles. War ein Neustartproblem.
• Ich erhalte vom Docker keine Benachrichtigung.
• In der LOG-Datei tauchen zwei Fehlermeldungen auf (ganz unten), sind wahrscheinlich die, die Du auch im Startpost erwähnt hattest.

-----------------------------------
| ==> installation info <== |
-----------------------------------

synOCR-user: root
synOCR-version: 1.1.99
Architecture: x86_64
DSM-build: 41882
Device: virtualdsm (3160577906)
current Profil: default
DB-version: 4
used image (created): jbarlow83/ocrmypdf:latest (2021-06-16T07:55:05)
used ocr-parameter: -srd -l deu
replace search prefix: yes
renaming syntax: §y-§m-§d_§tag_§tit
Symbol for tag marking: #
Document split pattern:
source for filedate: ocr
ignored dates by search: 2021-02-29;2020-11-31
Docker Test: OK
Loglevel: normal
Application Directory: /usr/syno/synoman/webman/3rdparty/synOCR
Source directory: /volume1/scans/_input/
Target directory: /volume1/scans/_output/
BackUp directory: /volume1/scans/_backup/


----------------------------------
| ==> Funktionsaufrufe <== |
----------------------------------

PROCESSING: ? scan.pdf (Sat Jul 3 12:01:18 CEST 2021)
temp. target file: /tmp/tmp.3ETvQ9gUdN/scan.pdf

? OCRmyPDF-LOG:
reading file from standard input
1 page is facing ?, confidence 19.93 - rotation appears correct
Postprocessing...
Optimize ratio: 1.00 savings: 0.0%
Output sent to stdout
? OCRmyPDF-LOG-END

target file (OK):
? search tags and date:
no tags defined
Using date format: 1 (1 = dd mm [yy]yy; 2 = [yy]yy mm dd; 3 = mm dd [yy]yy)
Using date format: 2 (1 = dd mm [yy]yy; 2 = [yy]yy mm dd; 3 = mm dd [yy]yy)
Using date format: 3 (1 = dd mm [yy]yy; 2 = [yy]yy mm dd; 3 = mm dd [yy]yy)
Date not found in OCR text - use file date:
day: 03
month:07
year: 2021
? renaming:
apply renaming syntax ? 2021-07-03__scan
? edit metadata FAILED! - exiftool not found! Please install it over cphub.net if you need it
target file: 2021-07-03__scan.pdf
? Adapt file date (Source: Source file [OCR selected but not found])
? move source file to: /volume1/scans/_backup/scan.pdf
title: 'synOCR' is neither mail string key nor i18n format.
ERROR at line 1383: synodsmnotify $MessageTo "synOCR" "File [$(basename "${output}")] is processed"
./synOCR.sh: line 1389: echo: write error: Input/output error
ERROR at line 1389: echo 2 > /dev/ttyS1
INFO: (PushBullet-TOKEN not set)

Stats:
? runtime last file: 00:00:31
? pagecount last file: 1
? file count profile : (profile default) - 6 PDF's / 6 Pages processed up to now
? file count total: 6 PDF's / 6 Pages processed up to now

? delete tmp-files …


-----------------------------------
| ==> synOCR ENDE <== |
-----------------------------------

 

[geimist]

Ich erhalte vom Docker keine Benachrichtigung.

Das kann ich im Log nicht erkennen. Falls du einen manuellen Lauf über die GUI meinst, dass sollte funktionieren, nachdem wenigstens einmal synOCR über den Aufgabenplaner als root aufgerufen wurde.
EDIT: Du schriebst ja Benachrichtigung und nicht Berechtigung :
Das hat mit dem nachstehenden Punkt zu tun.

title: 'synOCR' is neither mail string key nor i18n format.
ERROR at line 1383: synodsmnotify $MessageTo "synOCR" "File [$(basename "${output}")] is processed"

Die DSM-Benachrichtigung wurde umgekrempelt. Das wird zunächst deaktiviert.

./synOCR.sh: line 1389: echo: write error: Input/output error
ERROR at line 1389: echo 2 > /dev/ttyS1

Das ist der Systempiep bei einem fertigen PDF. Den gibt es im vDSM natürlich nicht. Daher die Meldung.

 

[astrofrank]

Hallo,

ich glaube, ich bin zu dumm, das Beta-Paket ans Laufen zu bekommen. Ich wollte es zunächst unter vDSM 7 testen, aber es gelingt mir nicht. Das Script über den Aufgabenplaner meldet die Fehlermeldung:

synOCR wurde gestartet ...
Bitte warten, bis die Dateien fertig abgearbeitet wurden.
Error: no such table: config

Ich kann auch keine Konfiguration anlegen. Der Profilname bleibt leer, auch nachdem ich ein Neues angelegt habe. Die Drowdown-Box zeigt ebenfalls keine Profile an. Wahrscheinlich habe ich einfach nur etwas vergessen. Es wäre nett, wenn man mir einen Tipp geben könnte.

Wo finde ich denn das Installationslog?

Danke.

 

[Tommes]

ich glaube, ich bin zu dumm…

Hier ist niemand zu dumm. Vielleicht hast du einfach nur vergessen (oder überlesen) das du die Aufgabe im Aufgabenplaner als root ausführen sollst. Aber das ist nur eine Vermutung, da ich das Verhalten selber nicht getestet habe, wenn die Aufgabe nicht als root ausgeführt wird.

 

[geimist]

Sorry @astrofrank, ich konnte mich noch nicht um deine Anfrage kümmern.

Handelt es sich um ein synOCR-Upgrade oder eine Neuinstallation?
Wird ein Arbeitslog im definierten Ordner erstellt?

 

[astrofrank]

Hallo Stephan,
überhaupt kein Problem. Ich bin ja froh, dass Du die Anpassung des Paketes überhaupt vornimmst.
Es ist eine neue Installation zum Test. Auf dem Produktionsserver würde ich aber ein Upgrade machen wollen. Natürlich habe ich das Script als root laufen. Habe jetzt auch mal die virtuelle Maschine durchgestartet, aber keine Änderung.
Beim Ort des Logs müsstest Du mir mal helfen. Unter /var/packages/synOCR ist kein Log. Unter /var/log/packages gibt es synOCR.log. Da steht aber nicht viel drin:

2021/07/04 08:32:10 (system) trigger synOCR 1.1.99.1 Begin start-stop-status stop
Stopping...
2021/07/04 08:32:10 (system) trigger synOCR 1.1.99.1 End start-stop-status stop ret=[0]
2021/07/04 09:08:51 (system) trigger synOCR 1.1.99.1 Begin start-stop-status start
Starting...
2021/07/04 09:08:52 (system) trigger synOCR 1.1.99.1 End start-stop-status start ret=[0]