ecoDMS: Fehler bei der Erstellung des Backups? | Exorbitante Größe des Backups

[JosChi069]

Hallo liebe Community,

ich benutze das ecoDMS Archiv seit 14.08 (krusty) und bin im Großen und Ganzen auch sehr zufrieden mit ecoDMS.

Ich habe bislang 400 Dokumente im Archiv und bevor ich die Erstellung des Backups starte, wird mir das ecoDMS Verzeichneis mit einer Größe von ca. 30 GB angezeigt (wovon ca. 8GB von der letzten Backup-Wiederherstellung, die restore-processed.zip datei vom Mai 2018 beträgt 7.59GB sind).

Nun wollte ich das Upgrade von 16.09 (eleanor) auf die 18.09 (apu) Version vorbereiten und habe dazu eine komplette Sicherung meiner Datenbank gestartet.

Im Backup Verzeichnis werden dann zwei Dateien erstellt.
1. "dmsbackup_2019-05-05_03_03_50.part"
2. "dmsbackup_2019-05-05_03_03_50.txt"


Jetzt ist es allerdings so, dass das Backup "dmsbackup_2019-05-05_03_03_50.part" einfach nicht fertig werden will.
Ich habe es gestern Nacht um 03:30 gestartet und heute um 20:41 läuft das Backup immer noch und hat mittlerweile eine Größee von 968 GB erreicht...

Irgendwie wird die Erstellung des Backups nicht abgeschlossen.
Ich kann mir nicht vorstellen, dass meine Datenbank mittlerweile die Größe von ca. 1TB erreicht haben soll und, dass die Erstellung des Backups so lange dauert.

Hat jmd von euch eine Idee woran das liegen und wie ich das Problem beheben kann?

Was für weitere Informationen könnt ihr gbrauchen, um mir vielleicht weiterhelfen zu können?


Vielen Dank im Vorraus

 

[servilianus]

Also da stimmt irgendetwas nicht bei Dir. Das ist alles viel zu viel. Ich habe c.a. 600 Dokumente, aber nur eine Dateigröße von Gesamt-Ecodms von 8,7 GB (inkl. der dort liegenden Backups). Ich habe gerade mal per "create"-Datei ein Backup angestoßen, dies kommt auf c.a. 2 GB. Und zwar wird dann eine .zip.-Datei erzeugt (im Backup-Ordner).

Kann es sein, dass Du per Scanner schon "ver-ocr-te"-Dokumente auf ecodms ablegst, evtl. auch in Farbe mit sehr viel dpi, was die Dateigröße für die einzelnen Dokumente natürlich beträchtlich steigern würde? Das OCR würde ja ecodms selbst machen. Ich scanne alle meine Dokumente als ganz normale pdfs in den Ordner "scaninput" in s/w mit 300 dpi. Und da funktioniert ecodms wirklich ganz hervorragend mit toller Volltexterkennung.

Wenn ich mir aus ecodms mal eine pdf auf den Computer herunterlade, wird mir dafür 3 KB angezeigt. Wie ist es bei Dir?

 

[JosChi069]

Hallo servilianus,

vielen Dank für deine Antwort.


Also bei meinem Scanner habe ich OCR installiert.
Wenn ich dich richtig verstanden habe, wird dadurch dann OCR sozusagen doppelt angewendet?

Wenn ich ein Dokument ganz normal über meine Scannersoftware einscanne, kann ich in diesem Dokument allerdings danach nicht nach Text suchen.
Für diesen Fall habe ich zuletzt extra die Software Readiris für einige Dokumente benutzt. (Diese waren allerdings nicht für ecoDMS bestimmt)


Ich habe mal die letzten drei Dokumente aus ecoDMS herunterladen und habe folgende Dateigrößen
- 493 KB
- 244 KB
- 833 KB

Meine zuletzt verwendeten Einstellung in ecoDMS waren wie folgt
Bildtyp: True Coloer 24 Bit RGB
Auflösung: 200dpi
Größe 11.1 MB



Den Einscannvorgang starte ich in der Regel auch immer direkt über den ecoDMS Client....

 

[servilianus]

Das sind doch riesengroße Dateien, die Du erzeugst. Kein Wunder, dass Du da einen immensen Platzbedarf hast. Also: Dein Scanner braucht nichts zu verocren - und damit die Ursprungsdatei aufzublähen.. Wenn Du eine ganz normale pdf in ecodms schiebst, wird da ein ocr-Vorgang gestartet. Dort, in ecodms, kannst Du dann, wenn Du im Archiv bist, oben in der Leiste eine Volltextsuche machen, um ein Dokument aufzufinden. (Aus dem Handbuch: "Alle lesbaren Dokumente werden mit der Archivierung automatisch im Hintergrund volltextindiziert und stehen dem Benutzer im ecoDMS Archiv im Original-Scanformat und zusätzlich im
Langzeitarchivierungsformat PDF/A zur Verfügung."


Die Original-pdf sollte für ecodms folgende Spezifikationen haben, siehe Handbuch auf der ecodms-Seite:
"Als Scanformat sollte das Gerät TIFF und/oder PDF zur Auswahl haben. Scannen Sie die Dokumente am besten in schwarz-weiß
(schwarz-weiß = 1Bit Farbtiefe) oder in Graustufen und mit 200-300 DPI"

Dein Scanner schiebt dann die pdf entweder per ftp oder smb (kenne Deinen Scanner nicht) direkt auf/in den Ordner "scaninput" von ecodms, wo ecodms dann die pdf automatisch abholt. Oder Du nimmst die pdf und legst sie dann per Drag & Drop in die Inbox von ecodms (in der Seitenleiste links vom ecodms-Client), wo Du sie dann zunächst klassifizierst und dann in das Archiv ablegst.

Ich würde Dir empfehlen, nochmal genau in das Handbuch zu schauen: https://www.ecodms.de/index.php/de/download/handbuecher/ecodms-archiv/ecodms-version-18-09-apu

 

[JosChi069]

Außerdem bin ich mir auch nicht sicher, dass mein Scanner die optische Zeichenerkennung automatisch durchführt.
Wie gesagt, Dokumente die ich per Scannersoftware einscanne lassen sich nicht nach Text durchsuchen.

Wie kann ich das genau herausfinden?


Ich würde eine größere Dateigröße auch in Kauf nehmen und dafür die Dokumente lieber farbig einscannen.

Evtl. so



Nichtsdestotrotz dürfte das Archiv meiner Ansicht nach trotzdem längst keine 1TB groß sein.
Fällt dir irgendetwas dazu noch ein?


LG und vielen Dank schon Mal

 

[servilianus]

Der einzige Weg, um den Speicherbedarf in ecodms zu reduzieren, ist, die Original-pdf-Größe zu reduzieren. Eine pdf ist ja zunächst nicht mehr als ein Bild. Dies gilt es zu reduzieren. Ob das Dein Scanner kann (kompression), bzw. welche Einstellungsmöglichkeiten es da in Deinem Gerät gibt, weiss ich nicht. Jedenfalls ist mit Deiner neuen Einstellung von oben der Speicherbedarf ja bereits um fast ein Drittel gesunken (3,7 vs. 11)

HIer gibts noch eine ganz gute Übersicht zu den einzelnen pdf/Scan-Einstellungen:

https://www.netzbewerber.net/info_scanqualitaet.htm

 

[JosChi069]

Das hilft mir aber jetzt im Nachhinein leider auch nicht mehr.

Ich kann das in Zukunft berücksichtigen, aber für mein aktuelles Problem bringt mich das nicht weiter...

 

[servilianus]

Das stimmt. Ich kenne aber auch keine Möglichkeit, die pdfs, die ja jetzt in einem bestimmten Format im Datencontainer in ecodms liegen, dort irgendwie komprimieren zu können. Es ginge nur, die pdfs aus ecodms herauszuexportieren (man kann ja auch ganze Ordner herausexportieren), die pdfs in ecodms löschen, die herausexportierten mit einem geeigneten Programm auf dem Computer komprimieren und dann wieder erneut abzulegen. Wahrscheinlich unter Verlust der Klassifiierungsmerkmale, wobei ich mir da nicht hundertprozentig sicher bin. Meine gelesen zu haben, dass man pdfs auch mitsamt der Klassifizierungsmerkmale herausexportieren könnte.

 

[JosChi069]

1TB+ für das Backup erscheint mir, trotz alle dem immer noch viel zu groß.

Die restore-processed Zip-Datei vom 16.05.2018 (bei ca. 270-300 Dokumenten) lag bei insgesamt ca. 8GB ....

Also ich halt es für sehr wahrscheinlich, dass irgendein Fehler beim Backupvorgang vorliegt, der das Backup so exorbitant aufbläht.

Trotz der ungünstigen Scaneinstellungen sollte mein Archiv im Vergleich zum Vorjahr nicht von 8GB auf über 1TB angewachsen sein.

50GB-100GB wäre zwar immer noch recht groß, aber damit könnte ich Wohl oder Übel noch leben, zumal ich in meiner 8-Bay Nas aktuell noch 1.8 TB Speicherplatz + noch einige weitere Steckplätze frei habe....

 

[servilianus]

Ja, das ist tatsächlich absolut nicht ok. Wenn Dein Gesamt-ecodms-Ordner "nur" 30 GB umfasst - dass dann die neue backup.zip-Datei plötzlich dann 1 TB groß ist. Wo sollen die ganzen zusätzlichen Daten herkommen? Scheint ja fast so, als würde der Backup-Prozess deine komplette Synology backupen...Oder es wird ein Backup vom Backup gemacht... Wie hast Du denn den Backup-Prozess angestoßen? eine leere Datei "create" (ohne Dateiendungen) erzeugt und im Ordner Backup abgelegt? Stimmen die Pfade noch?

Hast Du mal im Client nachgeschaut, was Du da als Backup-Art angegeben hast? Wenn da keine inkrementelle Sicherung angegeben worden ist, sondern immer eine Vollsicherung, dann wird mittels der "Create" Datei, die man in den Backup-Ordner schiebt, um dort ein Backup anzustoßen, möglicherweise ein Backup von allen früheren Backups gemacht, was dann natürlich sehr groß wird.

Die Pfade stimmen soweit noch?

 

[JosChi069]

Das Backup starte ich über den Client unter "Einstellungen" --> "Sicherung" --> "Komplettsicherung" --> "Sicherung jetzt erstellen"




Die Pfade sind bei mir wie folgt:





Auf Webseite https://hub.docker.com/r/ecodms/allinone-16.09 steht folgendes:
"Die Backup und Restore Verzeichnisse sollten getrennt von den eigentlichen ecoDMS Daten liegen und entsprechend gesichert werden."


Das habe ich dann wohl leider nicht befolgt....

 

[servilianus]

Dann wird die Sache klar. Du machst gerade ein Backup von Backups von Backups.... Zudem hätte ich bei der Einstellung "inkrementell" gewählt, und täglich eine Uhrzeit. Dann würden täglich zu einer bestimmten Uhrzeit automatisch nur die jeweils neu hinzugekommenen Dokumente gesichert (im Ordner: Backup) In Deiner Einstellung wird immer wieder ein komplett neues Backup mit allen Daten erzeugt. Was Du jetzt nochmal backupst.... und was so exponentiell wächst, weil es innerhalb liegt und eben nicht auf einem getrennten Ordner.

Also, würde es nicht gehen, 1. per File-Station den Ordner dokumente/ecoDMS-Daten-Archiv ohne den Unter-Ordner "Backup" zu sichern/ mir zu kopieren 2. den Unterordner ...Daten-Archiv-Backup zu löschen 3. ecodms neu aufzusetzen mit einem korrekt getrennten Backup-Ordner, 4. das per File-Station gesicherte Daten-Archiv wieder zurückzuspielen?

 

[JosChi069]

Ich würde wahrscheinlich auf die backup.zip-Datei verzichten, und mir nur die Daten im Ordner "data" "log" und "ocr" sichern und dann in die neue Version wieder zurückspielen. Weil: Dies sind die Ordner, in denen Deine pdfs in den Containern liegen.

Okay das verstehe ich nicht ganz. Ich bin davon ausgegangen, dass ich um von 16.09 auf 18.02 upzugraden ein komplettes Backup erstellen muss.



Ich schildere dir mal meine komplettes Vorhaben/Überlegungen:

1. Ich will auf die neuste ecoDMS Version upgraden
2. Ich will regelmäßige inkrementelle Backups einstellen
3. Ich will das die Backups in meiner OneDrive Cloud gespiegelt werden


Außerdem ist mir noch aufgefallen, dass ich einen Ordner "docker" habe dort befindet sich anscheinend die ältere ecoDMS krusty Version aus dem Jahr 2016.



Hast du auch so einen Ordner? Weißt du ob dieser notwendig ist, um Docker zu benutzen? Ansonten würde ich diesen Ordner gerne löschen ^^


Offensichtlich hast du ein wesentlich besseres Verständnis von der ganzen Materie als ich.
Kannst du mir sagen, wie ich jetzt am Besten vorgehen soll und kannst du mir auch deine Backup-Einstellungen mitteilen.


Sorry für das Durcheinander.

 

[servilianus]

"Okay das verstehe ich nicht ganz. Ich bin davon ausgegangen, dass ich um von 16.09 auf 18.02 upzugraden ein komplettes Backup erstellen muss."

Das kannst Du machen, bist aber nicht dazu gezwungen. Eigentlich wäre das ja so richtig. Aber: Dein Backup-Ordner, in dem die Backups abgelegt werden, ist leider "innerhalb" von ecodms. Und nicht als getrennter (gemeinsamer) Ordner irgendwo auf der Synology. Wenn Du jetzt ein Backup anstößt, wird eine riesige Backup--zip-Datei erzeugt, weil eben nicht nur die pdfs (genauer: Die Datencontainer,in denen die pfs liegen) gebackupt werden, sondern auch ein Backup vom Backup - und möglicherweise von noch älteren dort noch liegende Backups...
Das ist jetzt leider alles bei Dir etwas verzwickt.

Meine vorgehensweise wäre daher folgende:

1. Deine eigentlichen pdf-Daten liegen in Datencontainern in Deinem Ordner: "dokumente/ecodms-Daten-Archiv". OHNE den Unterordner "Backup". Da liegen ja "nur" die ganzen großen Backups drin, die wir für die neue apu-Version nicht benötigen.

2. Ich würde zunächst eine Sicherungskopie des Ordners: dokumente/ecodms-Daten-Archiv OHNE den Unterordner Backup irgendwo auf der Syno ablegen (per Filestation). Dann hat man auf jeden Fall die ursprünglichen pdfs in den Datencontainern gesichert.

3. Dann würde ich den Unterordner "Backup" / "restore" / "scaninput" dort löschen. (Denn diese Ordner liegen dort ja falsch, sondern sollen in einem getrennten gemeinsamen Ordner auf der Syno liegen. Und: Du hattest Dir ja schon die ursprünglichen Daten per File Station - Schritt 2 - bereits gesichert/kopiert/gebackupt) --> jetzt müsste wieder viel Speicherplatz auf der Syno freigeworden sein.

4. dann würde ich einen neuen gemeinsamen Ordner auf der Syno erstellen, bsp: edocms_18 (so heisst der bei mir), mit drei Unterornder: backup restore scaninput -->so wie im Handbuch beschrieben

5. dann würde ich den Upgrade-Vorgang auf apu starten, so wie im Handbuch beschrieben

6. Im Docker bitte dann, die Pfade entsprechend auf die Unterordner des ordners ecodms_18 einstellen (so wie in meinem Bild)

Sollte es irgendeine Störung geben, hast Du ja noch die pdfs in den Datencontainern, die du Dir in Schritt 2 gesichert hast, und die Du Dir wieder zurückspielen kannst.

Das, was im Ordner "Docker" liegt würde ich erstmal so belassen. Löschen würde ich nur alte ecodms-Versionen/images im Docker-Paket, nichts im Docker-Ordner in der File-Station.

Aber, um ehrlich zu sein: Wenn der Upgrade-Prozess nicht klappt, weil alles so durcheinander ist bei Dir , würde ich die radikale Methode wählen: den Schritt 2 durchführen (dann habe ich die Datencontainer mit den pdfs ja gesichert), und dann alles komplett löschen, ecodms apu im docker komplett neu einrichten, die alten Versionen dort löschen, zur Not halt eine neue Lizenz kaufen. Und mir dann, wenn alles neu + und frisch eingerichtet ist, die Ordner, die Du im Schritt 2 gesichert hat - einfach dann per File Station zurückspielen.

Wenn Du jetzt alles neu eingerichtet hast, stellst Du im Client eine incremenelle Sicherung zu bestimmten Tagen ein. Dann wird in den neuen - getrennten - Ordner edcodms_18 im Unterordner "Backup" jeweils ein Backup durchgeführt. Und diesen Ordner sicherst Du dann per Hyperbackup in die Cloud. Zusätzlich kannst du immer mal wieder eine noch eine leere Datei "create" im computer erzeugen (mit irgendeinem Textprogramm), ohne Dateiendung, diese dann in den (neuen) Ordner Backup schieben. Dann wird dort eine .zip-Datei erzeugt. Die dann ja auch in die Cloud gesichert wird. Und die Du dann im Falle eines Datenverlustes in den Ornder "restore" schiebst, und die Dir dann dort alles wiederherstellt. Das wäre dann noch ein zusätzlicher (manueller) Sicherungsschritt.

Hier die Pfade für meinen getrennt liegenden Ordner ecodms_18: ecodms_18 ist mein eigener getrennter Ordner für Backups und den scaninput.

docker/ecodms_data1809 ist der Basis-Ordner, in dem dann die eigentlichen Urpsrungs-pdfs in den Datencontainern liegen (und dieser Ordner wird dann mittels Backup - incrementell - dann auf ecodms_18/backup gesichert).


Viel Erfolg!

 

[JosChi069]

Hallo servillianus,

vielen Dank für deine ausführliche Beschreibung.

Ich hatte diese Woche noch sehr viele familiäre Verpflichtungen, sodass ich noch nicht dazu gekommen bin, deine Empfehlungen umzusetzen.

Sobald ich mir die Zeit dafür nehmen kann und ich Ergebnisse habe, werde sie hier im Forum mitteilen.

LG

 

[JosChi069]

Also ich habe bisher folgendes ausprobiert.

1. Die Verzeichnisstruktur meiner bestehenden ecoDMS 16.09 eleanor Version korrigiert und die Erstellung eines Backups gestartet.
Der Fehler mit der exorbitanten Backupgröße besteht weiterhin.


2. ecoDMS eleanor Version Container mit korrektem Verzeichnis neu installiert die Dateien aus meiner Sicherungskopie reinkopiert und dann die Erstellung eines Backups gestartet.
Der Fehler mit der exorbitanten Backupgröße besteht weiterhin.


3. ecoDMS eleanor deinstalliert, ecoDMS apu installiert und die Ordner meiner ecoDMS eleanor Version "data" "log" und "ocr" in das neue ecoDMS apu Verzeichniss kopiert.
Die Apu-Version lässt sich dann zwar starten, allerdings wird mein Archiv nicht angezeigt.


Ich habe außerdem alle meine archivierten PDFs (insgesamt 384) exportiert. Der Ordner mit den exportierten PDFs hat eine Größe von insgesamt 573 MB.
Eine Möglichkeit, die ich habe ,wäre das Backup vom Mai 2018 in meine neue ecoDMS apu Version einzuspielen und die restlichen PDFs in dieses Archiv neu zu importieren.


servillianus fällt dir noch etwas ein, was ich probieren könnte?

 

[servilianus]

Also ich denke, jetzt, wo Du eh apu installiert hast, würde ich das so machen, wie Du beschrieben hast - das Backup vom Mai 2018 einspielen und die restlichen pdfs neu importieren. Ich bin etwas überrascht, weil ich dachte, dass man die alten Dateien aus data log ocr von eleanor einfach in apu reinkopieren könnte. Aber offensichtlich klappt das doch nicht. Daher fällt mir jetzt keine andere Lösung ein, als die, die Du schon vorgeschlagen hast. Ich würde vermutlich auch nicht weiter rumexperimentieren, aus Sorge vor Datenverlust. Ich denke jedoch, mit Deiner neuen, richtigen Struktur und den verbesserten Scan-Einstellungen dürftest Du auf einem guten Weg sein.

 

[JosChi069]

Okay so werde ich es dann machen.


Vielen Dank für deine Mühe und Hilfe.