synOCR synOCR - GUI für OCRmyPDF

[guidovg]

Ich habe mal eben in meinem Download-Ordner nachgesehen und habe festgestellt, dass ich die BETA vom 13.03. installiert hatte. Nun habe ich die aktuelle BETA heruntergeladen, weil ich die Geschwindigkeit testen wollte. Das fühlt sich ja an, wie eine neue Anwendung. Ich hatte ja mal geschrieben, dass bei mir das Speichern von Profiländerungen ca. 14 Sekunden und mehr gedauert hat. Das geht jetzt quasi in Echtzeit. WAHNSINN!!! Besten Dank.

 

[Fsk]

Ich hätte da mal eine Anfängerfrage: Wie kann ich mehrere Profile in inotify anlegen? Derzeit funktioniert nur das Profil "default". Ein anderes Profil aus SynOCR wurde von inotify nicht erkannt und hat deshalb SynoCR nicht automatisch ausgelöst.
Nun würde ich gerne zwei Profile parallel nutzen, die unterschiedliche Ordner überwachen. Gibt es eine Möglichkeit inotify zu konfigurieren?

 

[geimist]

Wie kann ich mehrere Profile in inotify anlegen?

Das geht ganz automatisch. Allerdings ist dafür eine Neustart der Ordnerüberwachung nötig.

• Falls die Überwachung von root im Aufgabenplaner gestartet wurde, musst du auch darüber einen Neustart (gleicher Befehl wie beim einrichten mit den Berechtigungen und anschließendem [FONT=Monaco, Menlo, Consolas, Roboto Mono, Andale Mono, Ubuntu Mono, monospace]…sh start[/FONT]) auslösen. Läuft inotify über root, fehlt in der GUI der Neustart Button.
• Ist das Profil aktiviert?
• Unterscheiden sich die Quellordner oder der Präfix?
• Ist der Pfad des Quellordners korrekt (= grüner Haken dahinter)?

---

@Yippie

Bitte probiere mal hiermit: synOCR_DSM7_local_BETA.spk

Funktioniert das wie gewünscht

 

[Yippie]

Funktioniert das wie gewünscht

Sorry Stephan, bin leider noch nicht dazugekommen es zu testen. Ich habs aber selbstverständlich noch aufm Schirm

 

[Yippie]

Dein Wohl hat mir keine Ruhe gelassen

Ich hatte mich bei dieser Variable analog an tagname_regex orientiert. Aber ich finde es auch wie von dir gewünscht besser.
Bitte probiere mal hiermit: synOCR_DSM7_local_BETA.spk

Ok, nun getestet und funktioniert

Bei Verwendung bzw. Angabe des Schlüssels dirname_RegEx ohne weitere Verwendung, passiert jetzt mit der Beta-Version wie erwartet nichts.
Weder der finale Dateiname wird beeinflusst, noch wird unnötigerweise ein Verzeichnis erstellt:

RULE_001:
    tagname: §yocr4-§mocr-§docr Prämie §tagname_RegEx
    targetfolder: "Gehalt/"
    tagname_RegEx: (?i)(Jahr.*)\s*\K.*((19|20)\d{2})
    dirname_RegEx: (?i)(Jahr.*\d{4})
    multilineregex: false
    condition: all
    subrules:

Wird hingegen die Variable §dirname_RegEx im Schlüssel targetfolder eingesetzt, dann wird entsprechend dem RegEx ein (Unter-)Verzeichnis im Ausgabepfad erstellt, bspw. .\Gehalt\Jahr_2024 und dorthinein die PDF-Datei kopiert.

RULE_001:
    tagname: §yocr4-§mocr-§docr Prämie §tagname_RegEx
    targetfolder: "Gehalt/§dirname_RegEx"
    tagname_RegEx: (?i)(Jahr.*)\s*\K.*((19|20)\d{2})
    dirname_RegEx: (?i)(Jahr.*\d{4})
    multilineregex: false
    condition: all
    subrules:

Was mich ein wenig stutzig macht ist die Tatsache, dass mein RegEx eigentlich den Text "Jahr 2024" finden sollte, was vom Prinzip auch funktionierte, allerdings hat das dabei erstellte Unterverzeichnis auf einmal einen Unterstrich im Namen, der so nicht im Text existierte: Jahr_2024.

Im erkannten Text ist (Auszug aus dem Log bzw. der protokollierten .txt Datei): Kein Underscore zwischen Jahr und 2024 vorhanden:

ngen das Jahr 2024 für uns alle

Was kann hier der Grund dafür sein?

Aber zurück zum eigentlichen Test: Funktioniert wunderprächtig - Vielen Dank dafür Ich und die Gemeinde danken

 

[geimist]

Was kann hier der Grund dafür sein?

Ich vermute, dass es sich hier um eine Absicherung handelt, um die Pfadkompatibilität des RegEx-Ergebnisses zu garantieren.
Vielleicht findet er ja auch eine andere Stelle, da du für dirname_regex ja beliebige Trennzeichen (.*) aktzeptierst. Vielleicht hilft es bereits, wie in tagname_regex direkt nur Leerzeichen zu aktzeptieren: (?i)(Jahr\s*\d{4})

Der Fund wird im Log protokolliert: search RegEx for dir ➜

Ich werde nochmal auf die Pirsch gehen.

Freut mich, dass er erstmal geht. Vielen Dank fürs Feedback.

Edit: Ursache gefunden

 

[Yippie]

Edit: Ursache gefunden

Muss ich nochmals nachtesten?

 

[geimist]

ich glaube nicht

 

[Nils_]

Moin,

ich wollte gestern einige PDF-Dokumente texterkennen lassen, musste aber leider feststellen, dass diese durch die Texterkennung sehr starke Qualitätsverluste haben. Die Schrift ist nach dem OCR-Vorgang sehr pixelig. Dieses Verhalten hatte ich beim letzten Scannen nicht (ist auch schon etwas her). Ich habe nun mit den verschiedenen Dockerimages getestet und stelle überall eine gleichbleibend schlechte Textqualität fest. Gibt es eine Möglichkeit dies über die Einstellungen von synOCR zu verbessern?

synOCR: 1.4.99.10
Image: latest
Optionen: -srd -l deu

Gruß
Nils

 

[geimist]

Vielleicht hast du die Farbanpassung aktiviert? Die wurde in der ersten Beta damit fälschlicherweise standardmäßig aktiviert.

 

[Nils_]

Ach klasse, das wars. Ich hatte die Einstellung gesehen, hatte es aber so interpretiert, dass diese per Standard auf 40 steht und mir deswegen nichts weiter dabei gedacht. Vielen Dank!

 

[geimist]

SPK DOWNLOAD: DSM6 | DSM7​

bekannte Probleme / Einschränkungen / known issues / limitations:​

Geräte mit einer ARM64 / aarch64 CPU werden mit dieser Version aufgrund von Python-Inkompatibilität nicht unterstützt️​

Folgende Funktionen erwarten dich mit dem Update auf synOCR Version 1.5.0:​

(The complete changelog in english language can be found here.)

---

neue Funktionen​

Spoiler: entfernen von Leerseiten

synOCR kann nun auf Wunsch Leerseiten erkennen und entfernen.
Für eine granulare Steuerung gibt es einen neuen Bereich in der GUI:


In der Regel sollte der Hauptregler für die Empfindlichkeit ausreichen.

Dieser Wert bestimmt, wie stark der durchschnittliche Helligkeitswert des Bildes reduziert wird, um Leerseiten zu erkennen. Erhöhe den Wert (z. B. -40), um empfindlicher auf Inhalte zu reagieren (mehr Seiten als nicht leer erkennen). Verringere den Wert (z. B. -60), um strenger zu sein (mehr Seiten als leer erkennen).

In den Experteneinstellungen gibt es noch folgende Detaileinstellungen:

Funktion​	Beschreibung​
Text ignorieren	In den Standardeinstellungen wird jede Seite übersprungen, sobald mindestens ein Zeichen gefunden wird. Auf manchen Scans scheint aber Text auf einer leeren Seite von der Rückseite durch, was zu sinnlosem Text führen kann. Mit dieser Einstellung wird ausschließlich eine optische Prüfung durchgeführt.
Beschneiden (Breite) / Beschneiden (Höhe)	Beschneidet den Erkennungsbereich um angegebene Prozent in der Breite, um störende Elemente wie Heftklammern oder Lochränder zu ignorieren. Passe die Werte an, wenn deine Dokumente ungewöhnliche Randbereiche haben (0.1 entsprechen 10%). Der Standardwert für die Breite ist 0.1 und für die Höhe 0.05.
max. Filtergröße (Rauschreduzierung)	Entfernt kleine Störungen (wie Staub oder leichte Markierungen) durch Filteroperationen. Ein höherer Wert vergrößert den Radius des Filters (weiße Bereiche), um kleine schwarze Störpixel zu entfernen.
min. Filtergröße (Textverstärkung)	Ein höherer Wert vergrößert den Radius des Filters (schwarze Bereiche), um Text klarer hervorzuheben. Höhere Werte wirken stärker.
Schwellwert schwarze Pixel	Legt den Grenzwert für den Anteil an nicht weißen Pixeln fest, um eine Seite als leer zu klassifizieren. Verringere den Wert, um strengere Kriterien für Leerseiten anzuwenden und erhöhe den Wert, um toleranter gegenüber leeren Seiten zu sein. Standardwert: 0.005

Spoiler: anpassen der Bildqualität

Funktion​	Beschreibung
Schwellwert für schwarzweiß	Der Schwarzweiß-Modus erzeugt sehr kleine Dateien bei sehr gutem Kontrast und Schärfe. Für Textdokumente ohne wichtige Grafiken ist das ideal. Der Schwellenwert bestimmt, ab welcher Helligkeit (0-255) ein Pixel als weiß interpretiert wird. Du kannst diesen Wert anpassen: Niedrigerer Wert (z. B. 20): Mehr Pixel werden schwarz Höherer Wert (z. B. 160): Mehr Pixel werden weiß Empfohlener Wert: 40 deaktiviert ➜ Die Schwarzweiß-Konvertierung ist ausgeschaltet.
DPI Anpassung	Die DPI Zahl muss bei Farbanpassungen definiert werden. Wird kein Wert definiert, wird bei Farbanpassungen 300 DPI verwendet. Ist die DPI Anpassung definiert, werden alle Dokumente entsprechend angepasst. deaktiviert ➜ Die manuelle DPI Anpassung ist ausgeschaltet.
Kontrast Anpassung	Durch die Anpassung des Kontrasts können undeutliche Scans verbessert werden. deaktiviert ➜ Die Kontrast Anpassung ist ausgeschaltet.
Schärfe Anpassung	Durch die Anpassung der Schärfe können undeutliche Scans verbessert werden. deaktiviert ➜ Die Schärfe Anpassung ist ausgeschaltet.

Spoiler: Wartezeit für inotify-inkompatible Scanner

Besonders bei CANON und ScanSnap Scannern ist das Verhalten zu beobachten, dass jede Seite einzeln auf die Netzwerkfreigabe des NAS gespeichert wird und für jede weitere Seite die bestehende PDF-Datei erneut geöffnet und geschlossen wird. Das triggert die Ordnerüberwachung Inotify (event: close_write) oder kann mit einem automatischen Zeitplan kollidieren.

Für diesen Zweck bietet synOCR nun ein Offset, d.h. ein Zeitversatz in Sekunden, bis eine Datei verarbeitet wurde.
Einstellbar ist ein Bereich von 0-120 Sekunden.

Spoiler: Datei Log

Wenn die Protokollierung aktiviert ist, wird nun die Datei file_processing.log im Log-Ordner abgelegt, um einen schnellen Überblick über die Zieldateien zu erhalten.
Jede Quelldatei erhält einen Eintrag mit Zeitstempel und dem Vermerk unsuccessful. Wurde die Datei erfolgreich verarbeitet, wird unsuccessful durch den Pfad zur Zieldatei ersetzt. Damit lässt sich schnell nachvollziehen, ob alle Dateien wie gewünscht verarbeitet wurden und in welches Zielverzeichnis sie einsortiert wurden.

Spoiler: Originaldateien beibehalten

Mit dem neuen OCR-Parameter --keep_hash können nun die Quelldateien beibehalten werden.
Hierbei wird die Quelldatei für die Klassifizierung nur temporär verarbeitet und durchsucht, die Zieldatei ist aber letztendlich identisch mit der Quelldatei.

Spoiler: jede Seite trennen

Es gibt Szenarien, wo ein Quelldokument bei jeder Seite aufgetrennt werden soll, ohne das jedes Mal ein Trennblatt verwendet werden soll. Dafür gibt es jetzt eine eigene Option in der GUI:

Spoiler: dynamische Pfade per RegEx

Der Key dirname_RegEx dient als Äquivalent zu tagname_RegEx, aber für den Pfad. Wie in diesem Beispiel gezeigt, kann der User damit dynamische Zielordner aufgrund eines RegEx definieren:

rule_subdir:
    tagname:
    targetfolder: /myPath/§dirname_RegEx
    dirname_RegEx: W2[56]-[0-9]{4}
    subrules:
    - searchstring: W2[56]-[0-9]{4}
      isRegEx: true

---

Verbesserungen​

Spoiler: Details

- [GUI] deutlich verbesserte GUI-Geschwindigkeit
- [GUI] duplizierte oder neu erstellte Profile werden sofort geladen / ausgewählt
- [shell] alle nicht alphanumerischen Zeichen im Zieldateinamen werden auf eins reduziert (issue #58)
- [GUI] wo möglich, wurden Textfelder und Optionsfelder durch Schieberegler und Schalter ersetzt
- [GUI] es gibt nun einen optischen Indikator, der einen Profilwechsel anzeigt (der redundante Button wurde entfernt)
- [shell] die RegEx D-M-Y, D.M.Y und D/M/Y in `search_all_numeric_dates` wurden geändert, um die Suche nach 2- und 4-stelligen Jahreszahlen zu ermöglichen. (#56 thx @dklinger)
- [shell] Bump apprise library to 1.9.2
- [GUI] Bump Bootstrap framework to 5.3.3 (thx @Tommes)
- [GUI] Bump jQuery to 3.7.1 (thx @Tommes)
- [GUI] ungültige Quellverzeichnisse wurden in der GUI angezeigt
- [shell] update `find_dates.py` von Version v0.4 ➜ v0.6 (thx @Gthorsten)
search_alpha_numeric_dates()
-change regex after user hint
search_alpha_numeric_dates()
- Optimierung der Suche nach kurzen Daten (jun., Apr. …)
- Bugfix Regex mit Leerzeichen nach Monat
- Protokollierung verbessert
- [shell] die Erkennung / Zählung von Duplikaten in der Zieldatei ist jetzt zuverlässiger
- [shell] Verwendung der nativen DSM-Berechtigungsanpassung
- [shell] Verbesserter Schutz der Quelldatei im Falle eines Fehlers

---

Bugfixe​

Spoiler: Details

- [shell] Such-Präfix und Such-Suffix wurden aus dem gesamten Dateinamen entfernt
- [shell] Dateinamen, die doppelte Anführungszeichen enthalten, führten zu einem Fehler
- [shell] Bugfix für Dateinamen mit einer Tilde
- [shell] update find_dates.py
Fehlerbehebung für Daten wie 15.6.2023
add language = de to dateparser (thx @dklinger)
- [shell] Fehlermeldung behoben `warning: ./synOCR.sh: line 780: command substitution: ignored null byte in input`
- [shell] fixing some minor bugs
- [shell] das Zählen der Seiten wurde von PyPDF auf pymupdf geändert, um einen Fehler (PDF EOF) abzufangen