Datenverlust (Datenbanken in Docker) nach Update?

[Spielbubi]

Hallo zusammen,

ich habe nun mein erstes kleineres Update der DS 720+ durchgeführt. Das ging ca. 10 Minuten, waren kleinere Patches wohl.

Mir ist nun aufgefallen, dass wohl einige Daten fehlen und zwar:
- in Docker: InfluxDB, fehlen alle bisherigen Datensätze
- In Docker, Paperless ngx haben einige Dokumente gefehlt, die ich bereits eingescannt hatte.

Ich meine, dass Docker ebenfalls geupdatet wurde.

Woran kann das liegen und besteht die Chance, die Daten wiederherzustellen? Bzw. wie gehe ich nun am besten vor?

Der Verlust ist nun nicht dramatisch, ich möchte es allerdings verstehen

PS: Backup läuft gerade auch zum ersten mal.

Danke und viele Grüße

 

[EDvonSchleck]

Es kommt immer darauf an wie du deine Container eingerichtet hast. Besonders wie die Ordner heraus gemappt sind - für die lokale Speicherung.
Das Thema InfluxDB hatte ich vor ein paar Tagen schon einmal. Bei Paperless kommt es auch darauf an welche Datenbank du nutzt und wie es eingerichtet ist.

Wenn dir geholfen werden soll musst du deine Containereinstellungen zeigen. Auch deine Softwareversion kann nicht schaden.

Mit Update meinst du DSM, Docker-App oder Container/Images?

 

[Spielbubi]

Dann starten wir mal:
Ich habe heute morgen geupdatet auf DSM 7.1-42261 Update 2. Docker wurde aktualisiert auf 20.10.3-1306.
Container/Images habe ich nicht aktualisiert, meine ich. Außer dies ist auch möglich über die Systemsteuerung - DSM-Aktualisierung?!

Das Mapping geht raus auf Volume1/docker/..., also z.B. docker/influxdb/...

Die Config von InfluxDB sieht so aus:

Spoiler: Config InfluxDB

version: "3.5"

services:
influxdb2:
image: influxdb:latest
network_mode: "bridge"
container_name: influxdb2
ports:
- "8086:8086"
volumes:
- type: bind
source: /volume1/docker/influxdb/data
target: /var/lib/influxdb2
- type: bind
source: /volume1/docker/influxdb/config
target: /etc/influxdb2
environment:
- DOCKER_INFLUXDB_INIT_MODE=setup
- DOCKER_INFLUXDB_INIT_USERNAME=username
- DOCKER_INFLUXDB_INIT_PASSWORD=password
- DOCKER_INFLUXDB_INIT_ORG=orga
- DOCKER_INFLUXDB_INIT_BUCKET=bucket
- DOCKER_INFLUXDB_INIT_RETENTION=1w
- DOCKER_INFLUXDB_INIT_ADMIN_TOKEN=randomTokenValue
restart: always

Paperless läuft auf einer PostgreSQL und habe ich mit Portainer erstmals eingerichtet. Hier die Config:

Spoiler: Config Paperless

version: "3.6"
services:
broker:
image: redis:6.2
restart: always
volumes:
- /volume1/docker/paperedis:/data

db:
image: postgres:14
restart: always
volumes:
- /volume1/docker/paperdb:/var/lib/postgresql/data
environment:
POSTGRES_DB: paperless
POSTGRES_USER: paperless
POSTGRES_PASSWORD: paperless

webserver:
image: ghcr.io/paperless-ngx/paperless-ngx:latest
restart: always
depends_on:
- db
- broker
ports:
- 8777:8000
volumes:
- /volume1/docker/paperlessngx/data:/usr/src/paperless/data
- /volume1/docker/paperlessngx/media:/usr/src/paperless/media
- /volume1/docker/paperlessngx/export:/usr/src/paperless/export
- /volume1/docker/paperlessngx/consume:/usr/src/paperless/consume
environment:
PAPERLESS_REDIS: redis://broker:6379
PAPERLESS_DBHOST: db
USERMAP_UID: 1026
USERMAP_GID: 100
PAPERLESS_TIME_ZONE: Europe/Berlin
PAPERLESS_ADMIN_USER: username
PAPERLESS_ADMIN_PASSWORD: password
PAPERLESS_OCR_LANGUAGE: deu+eng
PAPERLESS_TASK_WORKERS: 2
PAPERLESS_THREADS_PER_WORKER: 2
PAPERLESS_CONSUMER_POLLING: 60

volumes:
data:
media:
pgdata:
redisdata:

Hilft das weiter?

 

[EDvonSchleck]

Das sieht alles richtig auch, auf dem ersten Blick.
Das update habe ich auch auf meine DS durchgeführt vor ein paar Tagen. aber ich habe nichts vom Dockerupdate mitbekommen. Wir verweden aber die gleiche Version. Meine Container sind schon lange eingebunden. Bis jetzt habe ich noch nichts bemerkt.

Bei Postgress kannst du aber ein komplettes Backup aller deiner Datenbanken anlegen. Das geht über SSH oder sie Aufgabensteuerung. Somit ist es auch möglich in regelmäßigen Abständen das automatisiert zu erledigen.

 

[EDvonSchleck]

Wie sieht es denn in den Ordnern aus sind dort die Datenbanken vorhanden?
Gibt es Einträge unter /volume1/docker/influxdb/config?
Bei Postgres könntest du mit pdAmin4 dir die Datenbank anzeigen lassen, natürlich auch eskortieren/importieren

 

[EDvonSchleck]

Bei Influxdb unterscheidet sich das Volume von Paperless.
Ich kenne die Schreibweise wie sie in Paperless getätigt wird: Zielpfad:InternerPfad.
Das muss aber nichts heißen, sofern in den gemappten Ordner von Infuxdb Dateien liegen!

 

[Spielbubi]

Unter docker/influxdb/config sowie .../data liegen jeweils Daten drin, ja.
In Docker habe ich gesehen, dass in InfluxDB unter "Volumes" keine Verknüpfungen bestanden. Dies habe ich mal nachgetragen und den Container neu gestartet. Hat aber auch nichts gebracht. Vielleicht lag es daran, dass ich Influxdb unter ssh mit einer *.yaml-Date installiert habe?

pgadmin4 installiere ich mal eben

 

[EDvonSchleck]

Wenn du pgAdmin4 von extern (z.B. Rechner) verbinden willst, musst du noch einen externen Port zuweisen. Diesen kannst du anschließend connecten. Das geht einfach über die GUI oder über Portainer. Der DSM Port 5432 sollte schon belegt sein. Du kannst aber auf jeden anderen Port z.B. 5532 oder einen automatisch zugewiesen ausweichen. Für einen automatischen Port brauchst du nur den internen Port 5432 eintragen den externen frei lassen. Nach Start des Containers wird unter Details (DSM Docker) der Port angezeigt.

 

[Spielbubi]

Ich scheitere aktuell daran, dass ich nicht auf die Oberfläche von pgadmin komme (über Port 5050)...

Spoiler: Config

version: "3.8"
services:
db:
image: postgres
container_name: local_pgdb
restart: always
ports:
- "54320:5432"
environment:
POSTGRES_USER: user
POSTGRES_PASSWORD: admin
volumes:
- /volume1/docker/pgadmin4/local_pgdata:/var/lib/postgresql/data
pgadmin:
image: dpage/pgadmin4
container_name: pgadmin4_container
restart: always
ports:
- "5050:80"
environment:
PGADMIN_DEFAULT_EMAIL: mailadresse
PGADMIN_DEFAULT_PASSWORD: admin
volumes:
- /volume1/docker/pgadmin4/pgadmin-data:/var/lib/pgadmin

volumes:
local_pgdata:
pgadmin-data:

 

[EDvonSchleck]

Bei mir läuft nur eine sehr alte Version, deshalb nutze ich pgAdmin am PC - nicht im Docker.

 

[Spielbubi]

Ich habe nun pgAdmin auf Windows heruntergeladen und mich mit der paperless-DB verknüpft. Aber so richtg schlau werde ich daraus nun auch nicht

 

[EDvonSchleck]

Den Server siehst du?
Dort sollte auch eine Paperless Datenbank erhalten sein. Dort findest du alle Tabellen. Auf der Datenbank (Rechtsklick) kannst du ein Backup machen.
Wird dir jetzt aber nicht viel weiter bringen.. Ein Backup muss man ja vorher machen!

Alternativ kannst auch das Backup über ein Script über eine Aufgabe steuern.
Auch das löst dein Problem aktuell nicht. Um wie viele Dateien geht es denn? Sind sie auch unter .../export weg?

 

[Spielbubi]

Ok, dann teste ich das mal... Danke.
Ne, in Paperless sprechen wir von ca. 10 Dokumenten.
In Influxdb sind seit Beginn der Aufzeichnungen die Daten futsch, also der letzten 2-3 Wochen.

Also alles in allem kein wirklicher Verlust, da ich ja noch ganz am Anfang bin, das System zu verstehen.

Ich würde eben gerne wissen, woran es lag. Sonst stehe ich beim nächsten Mal da und habe dann deutlich mehr Daten verloren. Und jedes Mal ein Backup nach dem Update einspielen ist ja eigentlich auch nicht Sinn der Sache

 

[EDvonSchleck]

Sind diese Dokument komplett weg? Auch nicht im Exportordner?

Aus meiner Sicht hast du alles richtig gemacht, Wenn die gemounteten Ordner (Anleitung Dockerhub/Github) auch noch Daten enthält ist alles so wie es sein soll. Das soll natürlich nicht so sein und ist natürlich sehr ärgerlich. Ich nutze mehrere Container und hatte dies bezüglich noch keine Probleme.

Ich würde es noch einmal testen: kopiere influxdb in influxdb2 und erstelle einen weiteren Container influxdb2 welcher auf den entsprechenden Ordner zeigt. Dann wirst du sehen ob die Daten vorhanden sind oder nicht.