Btrfs volume am PC auslesen

[tproko]

Ganz schön viel Text... hier
Möchte meine 3cents noch kurz niederschreiben, hoffentlich kürzer.

@blurrrr ich schätze deine Meinung meistens und gebe dir bei dem meisten deines Posts Recht. Aber da bist du wohl gefühlt 1 Stunde gesessen, oder ? Das einzige was ich so nicht ganz sehe, wir haben teilweise in Systemen sehr wohl btrfs, ist natürlich neuer als ext4, bietet aber Vorteile und ist mittlerweile auch schon PROD-Ready. Andererseits zieht RedHat zB. jetzt den Support auf lange Sicht wieder zurück.

Mittlerweile sind wir hier an einem Punkt, wo wohl @ottosykora seine btrfs Raids auslesen kann, und andere Leute würden hier wohl in den letzten 8 Seiten auch genug Hilfestellung bekommen, um es selbst hinzubekommen.
Auf eine fundierte Anleitung - da es einfach einige Varianten und Variablen gibt - würde ich sowieso verzichten.

Warum mayo diesen "sinnlosen" Thread noch immer mitliest, er hät sich doch schon in Post #137 verabschiedet, aber gut, kann er es dann doch auch einfach nicht lassen

 

[gizmo21]

Moinsen,
entgegen anderer Stimmen bewundere ich euer Unterfangen sehr, denn das Thema ist ja für alle hier wichtig, die btrfs nutzen und SHR / RAID. Daher zunächst erst einmal ein dickes Danke, dass ihr da so unerschrocken seid.
Frage: wenn alles soweit reproduzierbar funktioniert, wäre das nicht mal n Grund das einmal strukturiert aufzunehmen, als Tutorial oder so??
Ich würde da jedenfalls ein paar Karma-Punkte für verteilen, wenn ihr das machen würdet!!!
Ansonsten bookmarke ich den Thread, dann find ich das Thema wenigstens bis dahin...

Also ich hatte ja schon eine Original Anleitung angereichert mit Hinweisen zu NAS/DSM/Distro/Imagetools und weiteren Zwischenbefehlen um Zwischenergebnisse oder ggf. Fehler schneller zu finden #91 :
https://www.synology-forum.de/threads/btrfs-volume-am-pc-auslesen.109614/post-911622
Es scheint ja auch bei anderen so zu sein, dass sobald md127 erscheint die Kombination aus NAS/DSM/Distro nicht passt.

Wenn also @ottosykora und andere mit der Anleitung so weit konform gehen, kann ich gerne noch die bisher funktionierenden NAS/DSM/Imagetools/Distro Kombinationen neben meiner (DS220+/DSM6.2.3/Ubuntu 18.04.5/Rufus ) mit in den Post Vorspann mit aufnehmen (aktuell kann ich den nicht mehr editieren aber das wird sich lösen lassen).

Oder einfach dieser Art:

Anleitung: https://www.synology-forum.de/threads/btrfs-volume-am-pc-auslesen.109614/post-911622
Für verschiedene NAS und DSM sind aktuell folgende Kombinationen der Linux Distro, Imagetool, USB-Adapter, Laufwerksanzahl als funktionierend bekannt:

NAS	DSM	Distribution	Imagetool	USB-Adapter	Einzellaufwerk ( Schacht)	Alle RAID-Laufwerke	Nutzer Post
DS220+ - SHR RAID1 mit BTRFS	6.2.3-25426 Update 3	Ubuntu 18.04.5	Rufus ohne Persisent Volume	Inateck FD2002 USB Dual Bay Hard Drive Docking Station	1 JA oder 2 JA	JA	@gizmo21 #81
DS218+		Linux Mint 18.3 Sylvia	Universal USB Installer		?	?	#107 @ottosykora
DS216+		Linux Mint 18 -Sarah	Universal USB Installer		NEIN	JA	@ottosykora #146
DS416play		Linux Mint 18 (Sarah)	Universal USB Installer bzw. etcher		?	?	@tproko #143​

 

[ottosykora]

supper Arbeit!!

Viiiiielen Dank.

ich war in den letzten Tagen nicht dran, aber wenigstens ist es nun hier, dafür besten Dank von der Community!


Missmatch zwischen Distro und DS zeigt sich vor allem dass man nicht mounten kann, statt dessen Fehlermeldung.

md127 gibt es eigentlich immer, auch dann wenn es geht, aber wenn es nur md127 gibt und kein vg1000, dann wird es komplizierter.

 

[gizmo21]

Wenn es noch Rückmeldungen zu den leeren und ? Feldern gibt dann trage ich die nach.

 

[THDev]

supper Arbeit!!

Viiiiielen Dank.

ich war in den letzten Tagen nicht dran, aber wenigstens ist es nun hier, dafür besten Dank von der Community!


Missmatch zwischen Distro und DS zeigt sich vor allem dass man nicht mounten kann, statt dessen Fehlermeldung.

md127 gibt es eigentlich immer, auch dann wenn es geht, aber wenn es nur md127 gibt und kein vg1000, dann wird es komplizierter.

Also. Wenn es nur das md gibt musst du das pv/lvm createn mithilfe der Backup files in der system partition.

1. System partition mounten: mdadm -AfR /dev/md100 /dev/sda1 && mount /dev/md100 /mnt/syspartition && cd /mnt/syspartition
2. Dann einmal per PVS checken ob ein pv da ist. Falls ja dann den PV Teil skippen.

Wie erstelle ich das PV?
LVM Backup files sind in /mnt/syspartition/etc/lvm/archive. Dort dann einmal die entsprechende Datei caten und man sollte z.b sowas finden:

vg1 {
    id = "2967d8-E6VM-ei4A-w7qK-yn4j-jYAc-Dh1cP9"
    seqno = 12
    format = "lvm2"            # informational
    status = ["RESIZEABLE", "READ", "WRITE"]
    flags = []
    extent_size = 8192        # 4 Megabytes
    max_lv = 0
    max_pv = 0
    metadata_copies = 0

    physical_volumes {

        pv0 {
            id = "JrcnjK-dVVM-iL5x-DhMt-du8Y-JK67-VtdYtR"
            device = "/dev/md2"    # Hint only

            status = ["ALLOCATABLE"]
            flags = []
            dev_size = 7804373760    # 3.63419 Terabytes
            pe_start = 1152
            pe_count = 952682    # 3.63419 Terabytes
        }
    }

    logical_volumes {

        syno_vg_reserved_area {
            id = "KNkc4b-YmPi-hcRH-iZar-1mg5-VR2z-E0lMmm"
            status = ["READ", "WRITE", "VISIBLE"]
            flags = []
            segment_count = 1

            segment1 {
                start_extent = 0
                extent_count = 3    # 12 Megabytes

                type = "striped"
                stripe_count = 1    # linear

                stripes = [
                    "pv0", 0
                ]
            }
        }

        volume_1 {
            id = "pQLs2N-lRbI-iBEd-t42F-Rh2x-B41A-J2801U"
            status = ["READ", "WRITE", "VISIBLE"]
            flags = []
            segment_count = 2

            segment1 {
                start_extent = 0
                extent_count = 25600    # 100 Gigabytes

                type = "striped"
                stripe_count = 1    # linear

                stripes = [
                    "pv0", 3
                ]
            }
            segment2 {
                start_extent = 25600
                extent_count = 25600    # 100 Gigabytes

                type = "striped"
                stripe_count = 1    # linear

                stripes = [
                    "pv0", 926979
                ]
            }
        }
    }
}

Wichtig hier ist die ID unter pv0.
Dann einmal zum erstellen des PV folgendes machen:
pvcreate --norestorefile /dev/md127 -u <die id aus der config>

3. Nun wenn das PV dann da ist einmal vgchange -ay machen und per lvdisplay schauen ob das LV nun da ist.

4. LV ist nicht da? Kein Problem.
Einmal dann folgendes machen.
Aus der vorherigen Konfig sieht man ja die ID von meinem Volume 1 (pQLs2N-lRbI-iBEd-t42F-Rh2x-B41A-J2801U).
Nun dann einfach: vgcfgrestore vg1 (namen evtl anpassen jenachdem was in der config steht) -f /etc/lvm/archive/<dateiname der konfig>.

dann einmal nochmal vgchange -ay und das lv sollte unter lvdisplay gelistet sein.

 

[gizmo21]

Da ich alte Postings nicht korrigieren kann, hier aktualisiert:

Anleitung: https://www.synology-forum.de/threads/btrfs-volume-am-pc-auslesen.109614/post-911622
Für verschiedene NAS und DSM sind aktuell folgende Kombinationen der Linux Distro, Imagetool, USB-Adapter, Laufwerksanzahl als funktionierend bekannt:

NAS	DSM	Distribution	Imagetool	USB-Adapter	Einzellaufwerk ( Schacht)	Alle RAID-Laufwerke	Nutzer Post
DS220+ - SHR RAID1 mit BTRFS	6.2.3-25426 Update 3	Ubuntu 18.04.5	Rufus ohne Persisent Volume	Inateck FD2002 USB Dual Bay Hard Drive Docking Station	1 JA oder 2 JA	JA	@gizmo21 #81
DS218+		Linux Mint 18.3 Sylvia	Universal USB Installer		?	?	#107 @ottosykora
DS216+		Linux Mint 18 -Sarah	Universal USB Installer		NEIN	JA	@ottosykora #146
DS416play		Linux Mint 18 (Sarah)	Universal USB Installer bzw. etcher		JA	JA	@tproko #143​

 

[gizmo21]

Kann es sein, dass durch unsere Issues und Kommentare direkt im Syno-Artikel (ich hatte da direkt auf diesen Thread verwiesen), Synology tatsächlich die Anleitung angepasst hat:

https://www.synology.com/en-us/know...I_recover_data_from_my_DiskStation_using_a_PC

Den ganzen Abschnitt 12 gab es doch vorher nicht, oder?

12. Enter the following command to get the information of ${device_path}.
cat /proc/mdstat
lvs

According to the output of pvs/vgs/lvs, the device paths are as follows:

 

[tproko]

Liest sich schon besser ja. Nur mit btrfs und älteren Modellen muss es was anderes als Ubuntu 18 sein ?

 

[b8wnf9v]

Hi zusammen,

weiß nicht ob das noch jemanden interessiert, aber evtl. hat mal jemand eine ähnliche Herausforderung oder kann daraus etwas ableiten.
Dient nur als Info, bitte insbesondere Ausgangsbasis nicht bewerten bzw. wie es zu dieser kam...war dann einfach so.

Ausgangsbasis
Umgebung

• 4Bay NAS 918+
• es sind 2+2+2 Platten und 2 Volumes
  das bedeutet 2 Platten für je ein Volume (Raid1) und 2 Platten (eine Platte je Volume) liegt in einem offsite-backup

Problem (lange-Geschichte)
nach einem missglückten Upgrade auf DSM 7 wollt ich zurück auf DSM 6...denk wie evtl. viele insbesondere, da manches nicht mehr so tut als ich wollte
(ich depp hab natürlich davor kein Full-Backup zur Seite gestellt, da ich dachte es passt alles...und worst case halt einfach das offsite backup nehmen, was ein paar Monate älter ist...)

Somit also aktuelle NAS auf DSM 7 upgegradet, festgestellt es passt nicht und dann halt wieder wunderbar downgegradet auf DSM 6...dumme nur, dass natürlich während des Upgrade-Procedure Synology/DSM Daten verändert.
Dh ich hatte dann eine wunderbare DSM 6, jedoch gingen einige Applikationen nicht mehr, da die Applikationen selbst ja nicht downgegradet wurden...
(Applikationen = Pakete)

irgendwie scheiße, somit worst-case szenario angestartet und folgendes gemacht:
Offsite-Platten geholt, die waren ja noch voll auf DSM 6, diese eingesetzt, gestartet und wunderbar alles auf DSM 6 Basis wieder da und funktioniert...aber natürlich mit dem Stand vor ein paar Monaten...
Und hier beginnt meine Geschichte

Problem (kurze Geschichte)
- ich hatte 2 Platten in der NAS welche auf DSM 6 liefen mit je einem Volume (Raid-Verbund zu dieser Zeit ja gebrochen) aber halt mit einem Stand vor ein paar Monaten
- ich wollte jetzt von den DSM 7 Platten aber noch die Daten bekommen, da diese ja aktuell waren
(das alle "Ordner" auf den Volumes natürlich verschlüsselt sind brauche ich denke ich keinem sagen...machts dann ja noch spannender)

Herausforderung
1. Versuch - über NAS selbst
Zuerst hätte ich mal versucht, beide Platten in der DSM selbst abzugleichen - wäre ja am schnellsten da selbe Maschine.
Startet man die NAS mit nur den DSM 6 Platten kann man später wunderbar die anderen Platten einschieben.
Diese werden zwar vom Raid-Verbund nicht anerkannt, aber auf OS-Ebene wären sie mountbar.
Leider habe ich mit den Boardmitteln das aber nicht hinbekommen...bin irgendwie jämmerlich an der virtuellen Schicht gescheitert.
Man hätte jetzt neue VGs etc. anlegen müssen und da wurds mir dann mal etwas zu heiß...

2. Versuch - über PI und PC (Ubuntu)
Naja, dachte hilft nix, somit auf einem PI oder PC die Platten mounten und über Netzwerk bereitstellen...bin hier aber leider wieder jämmerlich gescheitert, da ich gemäß Synology Guide auch den Mount absolut nicht schaffte.

AN DIESER STELLE MÖCHTE ICH MICH BEI ALLEN VON DIESEM THREAD BEDANKEN, DIE HIER SO INTENSIV AN DER MINT/UBUNTU DISKUSSION teilnahmen
(Personen die die Energie-Investition mancher hier im Forum nicht verstehen können ausgenommen; hier viel glaub ich schon mal das Statement...wenn die dann was brauchen, brauchen sie aber auch nicht kommen !!!)

Jedenfalls habt ihr mir mit diesem Forum stark weitergeholfen, was mich schließlich zu Versuch 3 brachte, was ich dann lösen konnte

3. Versuch - LÖSUNG
somit also Mint...und wie bei den anderen auch bei mir nur Mint 18.3
Ich bin dann aber auch nicht so der Freund davon, zB meinen PC laufen zu lassen, insbesondere bei evtl. mehreren TBs an Daten die abgeglichen werden müssen.
Somit halt einfach eine VM auf der NAS selbst gebaut und über diese abgebildet - kann ich nur jedem empfehlen.
Ich selbst habe mir diese VM natürlich so markiert, dass ich sie nie wieder lösche, weil sie genau für dieses Szenario zukünftig perfekt ist...wobei ich hoffe, zukünftig nie wieder in so ein Szenario zu kommen...

Los gehts also...

Mounten der DSM 7 platten:
1. Ich habe mir eine MINT 18.3 auf der DSM 6 gebaut und diese gestartet
2. per USB habe ich dann an meine NAS mit so einem USB HW-Reader (2bay) die DSM 7 Platten angestöpselt
3. in der VM muss man dann ja nur die USB-Platten durchschleifen und schon werden sie auf MINT präsentiert
4. da jetzt Mint, funktioniert das einhängen/mounten der DSM 7 Platten wunderbar gemäß Synology Guide
(diese jetzt also gemäß Guide gemountet, also apt-get update, apt-get install -y mdadm....)
fertig: jetzt habe ich also 2 DSM 7 Platten (jedes Volume einmal also) auf MINT eingehängt und lesbar

DSM 7 Platten DSM 6 bereitstellen:
Nun dies ist dann nicht all zu schwer, in Linux also einfach per exportfs/mount auf Mint die 2 DSM 7 volumes exportiert und auf DSM 6 diese zB nach /rest_v1 und /rest_v2 gemountet.

-------
sehr gut, jetzt sind also alle Daten von der DSM 7 auf DSM 6 präsentiert und man könnte abgleichen...nur...naja...DSM 7 ist nach wie vor verschlüsselt...da hab ich jetzt nochmals etwas gekämpft, und das hilft vl dem ein oder anderen.
ich hätte zuerst mit den boardmitteln (zB synoshare und ecryptfs) zu mounten probiert und nichts hat geklappt, final wollt ich fast aufgeben habe dann aber doch einen Versuch gemacht
Dachte mal schaun, ob die bei Synology in irgendeiner Form autark verschlüsseln oder nicht
kurz: muss die Restore-Umgebung (zB Ordnername) beim Entschlüsseln gleich sein???...und hier kommt das Glück, nein muss es nicht
also...
-------

DSM 7 Mount (Ordner) entschlüsseln:
Eigentlich keine Raketenwissenschaft
1. einen Dummy-Ordner Unter DSM 6 anlegen, welcher verschlüsselt wird UND, WICHTIG, genau die gleiche Passphrase bekommt wie der Ordner auf DSM 7 den man jetzt einhängen will
2. den Ordner trennen
3. nun auf OS Ebene den Verschlüsselten Ordner (also den @@) irgendwo hin verschieben oder umbenennen
4. dann von der DSM 7 per Symlink den Ordner den man lesen will nach @@ präsentieren (@@ ist jetzt der Ordnername, denn man gerade gelöscht hat...)
5. nun in der DSM 6. den Ordner wieder einhängen (jetzt greift er ja schön auf die DSM 7 zu...)
6. man bekommt einen Fehler in der DSM 6...aber, und jetzt das schöne, der Ordner ist auf OS-Ebene eingehängt und alle Daten sind nun via
DSM 6->Mint->USB->DSM 7 voll zugreifbar
jetzt muss man ja eigentlich nicht mehr viel machen, einfach abgleichen (zB rsync) oder sonst was


-------------

viel Input und für viele wenig Sinn, aber evtl. brauchts ja doch mal wer.
Ich war am Ende jedenfalls sehr froh, die Daten wiederherstellen zu können, und das auch rein auf Serverebene

muss ich jetzt zB mal vom offsite-backup was zurückholen, so einfach mint starten, USB angeschlossen, eingehängt und fertig...also auf 5 Minuten habe ich die Platten bereitgestellt

LG u thx nochmals an alle

 

[ctrlaltdelete]

Super Problemlösung, aber wieso machst du kein vernünftiges Backup? DSM Versionsunabhängig und aktuell?

 

[b8wnf9v]

Hi,
bezüglich "Super Problemlösung, aber wieso machst du kein vernünftiges Backup? DSM Versionsunabhängig und aktuell?"...also das geht?
Wie genau...weil dann check ichs vl.einfach nicht?
aktuell geht meines Wissens nur im Raid...alles andere ist nicht aktuell

Oder meinst du ZB einfach alles auf USB-Platten jeden Tag raussichern???

BTW: Daten in meinem Zusammenhang sind jetzt natürlich nicht nur "Dateien" sondern genau so bin-logs der DBs, Applikations-Files, Dockers, ...da fand ich das schon ganz gut, die gesamte NAS offsite zu spiegeln

LG

 

[geheim5000]

Ich hatte vor einiger Zeit den Desaster Fall, Backup vorhanden, wollte aber Daten der letzten 3 Tage sichern (Nix Zeitkritisches, daher hatte ich probiert)

Leider kannte ich den Thread nicht, und hatte mir alles händisch selbst zusammengesucht.

BTRFS Volume, alle 4 Platten an interne SATA Anschlüsse gestöpselt und mit Linux Mint 20.3 gemountet.

Leider hat mir das im Endeffekt zwar nicht geholfen weil das Dateisystem kaputt war, aber ansonsten ging es bei mir auch mit 20.3

 

[Benie]

Vorneweg muß ich zugestehen, ich habe nicht den ganzen Tweet gelesen, nur 3-4 Seiten zurück.

Aber ich dachte mir, daß das hier dazu passen würde.

Ich bin letztens auf eine Software von Paragon gestoßen:

Linux File Systems für Windows von Paragon

Mit dieser Software, kann man Btrfs Laufwerke unter Windows mounten und zumindest schreibgeschützt auslesen.

Ich selbst habe das Tool bisher nur mit einer externen Festplatte über USB mit ext4 Dateisystem benutzt um ein altes TimeMachine BackUp unter Windows auszulesen. Die Festplatte wird von diesem Tool gemountet und kann unter Windows im Explorer ganz normal angesprochen werden. Bei ext4 kann zb. auch unter Windows geschrieben und gespeichert werden.

Wen das vielleicht interesiert, es gibt auch eine 10 Tages Trial Version zum ausprobieren, die Kaufversion kostet knapp 20,00 Euro

Unterstützte Dateisysteme:

Lese-/Schreibzugriff: Ext2, Ext3, Ext4

Nur Lesezugriff: Btrfs, XFS

Funktionen​

Schreibgeschützter Zugriff auf Linux Btrfs vom PC aus

• Direktstart nach der Installation
• Automatisches Mounten der Linux-Partitionen beim Systemstart
• Verwaltung über die Eingabeaufforderung bzw. den Infobereich der Taskleiste von Windows
• Unterstützung für Linux-LVM-Datenträger

 

[tproko]

Die spannende Frage dazu wäre dann wohl, ob das Tool auch mdadm kann.

Sonst klappt das nur mit Basic/jbod und nicht mit SHR.

 

[Benie]

Kann ich aktuell leider nichts dazu sagen, müßte man mal ausprobieren. Ich selbst habe zwar auf einer DS Btrfs aber kein SHR eingerichtet und auch hiermit das Tool noch nicht ausprobiert, da ich hier auf mein Livesystem zugreifen müßte. Meine BackUp und Test DS haben leider auch nur ext4 als Dateisystem.

 

[ottosykora]

so einen Treiber für btrfs in meinem Windows habe ich auch schon, das kann schön normale Partition mit btrfs mounten.
Die Story hier betrifft aber Raid und damit kann der einfach Treiber nicht umgehen

 

[Laserstrahl]

Hallo Leute,

mit meiner NAS 920+ habe ich folgende Linux Distros versucht, leider ohne erfolg:

Mint 18.3
Mint 20.3
Ubuntu 22.04

immer der selbe Fehler:
"wrong fs type, bad option, bad superblock on /dev/mapper/vg2-volume_2, missing codepage or helper program, or other error".

Die NAS 920+ verwendet BTRFS 4.0 (btrfs --version)

Kernel log zeigt fehler im BTRFS Tree...

Wenn ich Mint 18 nehmen, steht im Kernerl Log:
"BTRFS: Couldn't mount because of unsupported optional features (10)."

Hat da noch jemand eine Idee? :|

 

[tproko]

Mit dsm7 haben sich möglicherweise auch nochmal die Dependencies aktualisiert.

Evt. musst du jetzt neuere Distributionen testen. Probiert habe ich es seit damals nicht mehr.

 

[Laserstrahl]

Habe es mal mit Suse 15.4 versucht, scheint einer der aktuellsten BTRFS Implementierungen zu haben, auch ohne erfolg. Verwendet Synology hier eine Custom Version von BTRFS? Scheint ja fast so...

 

[ottosykora]

wir mussten damals eher eine ältere Versionen von Mint nehmen, weil in Syno eher ältere Versionen verbaut sind. Das neuste ging damals auch nicht