AutoPilot AutoPilot für externe Datenträger

[Tommes]

Alles gut. Du hast nichts falsch gemacht. Ich überarbeite zur Zeit den Texten, die auf GitHub und hier im Forums-Thread zu lesen sind. Wenn ich fertig bin, sollten einige Unklarheiten beseitigt sein. Auch wird es eine kurze Einrichtungs- und Funktionsbeschreibung geben um ein besseres Verständnis zu erhalten, was AutoPilot so tut.

@luddi und feilen grade an den letzten Codezeilen, da ich heute eigentlich ein weiteres Release herausbringen möchte. Ich hoffe, das ich das heute noch hinbekomme.

Basic Backup kannst du derweilen gerne mal ausprobieren. Vielleicht entspricht es ja deinen Vorstellungen. Falls Fragen oder Probleme auftauchen, dann immer raus damit.

Tommes

 

[Frank_BLN]

Ich noch 'mal: das Zusammenspiel von Autopilot und BasicBackup ist beeindruckend! Nach der Einrichtung beider Pakete dauert die Anlage eines Backup-Auftrags nur wenige Minuten. Nach meiner ersten Einschätzung: idiotensicher (und ich weiß, wovon ich spreche... ).
Aktuell wird schon das erste Backup auf meine externe SSD geschaufelt.
Klasse und vielen Dank!

 

[Tommes]

idiotensicher (und ich weiß, wovon ich spreche... )

… herrlich! Den muss ich merken

Freut mich, das du mit meinen Apps zufrieden bist und du damit gut zurecht kommst. Dann viel Spaß damit.

 

[Tommes]

AutoPilot für externe Datenträger Version 1.1-600 vom 17.03.2024​

Release Notes​

• Update Bootstrap Framework auf 5.3.3
• Hyper Backup 4 sowie DSM 7.2 wurde als Mindestanforderungen für die Anzeige und Weiterverarbeitung von Hyper Backup Aufgaben festgelegt.
• Es wird geprüft, ob der korrekte Konfigurationspfad zum auslesen der Hyper Backup Aufgaben existiert.
• Es wird vermieden, dass die Hyper Backup Aufgabe hängen bleibt nachdem der Bereinigungsprozess gestartet hat.
• Die Hyper Backup sowie Basic Backup Skriptdatei verwendet jetzt die AutoPilot-Protokolldatei für zusätzliche Informationen.
• Die Hyper Backup sowie Basic Backup Scriptdatei wird jetzt aus einer Templatedatei erstellt.
• Es werden weitere, zusätzliche Informationen in dem AutoPilot Log während der Abarbeitung zur Verfügung gestellt.
• Es werden in der GUI an den betreffenden Stellen temporäre Updateinformationen angezeigt, die nach einer Lesebestätigung ausgeblendet werden.
• Es wurde (mal wieder) ein Leerzeichen Problem behoben, welches in Zusammenhang mit der Pfadangabe und der Shellscript Ausführung bestand.
• Allgemeine Detailverbesserungen, Codeoptimierungen und Fehlerbereinigungen vorgenommen.
• Ein ganz besonderer Dank geht an luddi bzw. luddinho, der mich bei diesem Projekt mit sehr viel Engagement und Herzblut unterstützt.

AutoPilot GitHub Repository​

AutoPilot Download Link​

Weiterhin viel Spaß mit AutoPilot

Tommes

 

[wegomyway]

@Tommes , erstmal Autopilot über deine Signa über GitHub geladen.
Die Install-Hinweise bevor es dann in dem DSM ging, 2fach gelesen. Selbst im Paket werden all die Hilfestellungen/Install-Hinweise usw. erneut dargestellt. Man kann sozusagen GitHub schließen und ruhigem Gewissens über die App abarbeiten.
Paket drauf, Berechtigungen erteilt und Treiber aktiviert.
Nach Neustart von Autopilot angezeigte rote Hinweis-Meldungen wech. Die Benachrichtigungen in dem DSM sind dazu jeweils auch drin gewesen.
Respekt dafür, das es sowas von einfach zu lesen ist und selbst für mich als "Dummy" verständlich daherkommt (auch für die "Mitentwickler" zolle ich den RESPEKT).
Aktuell "fehlt" mir noch die externe HDD (ich schau das ich eine zum WE herbekomme). Mal gucken was das beste Preis/Leistung so hergibt.

 

[Tommes]

Zunächst einmal vielen Dank für dein positives Feedback, was den Installations- und Einrichtungsprozess von AutoPilot angeht. Sowas hört man natürlich gerne.

Testen kannst bzw. solltest du aber bereits mit einem einfachen USB-Stick und einer Hand voll Testdaten. Leg dir also einfach einen Hyper Backup Testauftrag an und verknüpfe diesen mit dem über AutoPilot modifizierten USB-Stick. So erlangst du ein besseres Verständnis darüber, wie AutoPilot funktioniert und gibt dir hoffentlich das Gefühl, das alles am Ende so läuft, wie du es dir vorstellst.

 

[wegomyway]

@Tommes , dein "Wunsch" war/ist mir Befehl nebenbei läuft gerade Darts auf Sport1HD.
Auch hier wieder Rückmeldung für Dich und die anderen.

Habe hier einen 100GB NVMe aus meinem AUS ROG im Gehäuse zu liegen gehabt (der war mal ab Werk für das WiN drin und ne 2te HDD dazu. Als NVMe werkelt nen fetter Samsung-NVMe).
DEN 100er erstmal in der NAS formatiert (exfat).

Zum Testen einen Ordner erstellt, diesen wahllos mit Fotos, MP3s und Dokus bestückt (nur kopiert).
Hyperbackup als "Einzelne Version" eingerichtet,
Dann die Schritte in Autopilot abgearbeitet.
Ja, zuerst etwas "frickelig", aber nach zweitem Lesen der Hinweise (für mich auch hier, gerne 2mal lesen !!!) innerhalb des Prozesses für die USB ... LÄUFT .
Habe aber nochmals von vorne begonnen (ich Dummy hatte zuerst ext4 formatiert obwohl ich wollte/wusste exfat), dann mit anderem Test-Ordner, und schon ging es das Einrichten flotter von der Hand. LÄUFT .

Nachdem ich der Meinung war, ich haben fertig, hab ich den USB-Stick über DSM ausgeworfen. Ein Glas geholt, den Stick dann wieder eingesteckt und schon erfolgten u. a. die Benachrichtigungen :

Auf dem ext. Datenträger /volumeUSB1/usbshare wurde ein AutoPilot Script gefunden. Script wird ausgeführt...
und danach
Local backup - Local Copy 1 erfolgreich auf DS-224plus. Details

Das Autopilot-Script lieber auf der NAS oder den Stick bzw, später die HDD belassen ?

Ich habe in Autopilot eingestellt das die/der USB automatisch ausgeworfen werden soll (da wo mit "0") und die wurde ausgeworfen.
Das Log inner App ist gewaltig detaillierter. Man wird fast erschlagen (also wenn hier von dir mal was "gefordert" wird, ich bin mir 100%tig sicher anhand dessen wird jedes Übel gefunden).
Fazit: Test war erfolgreich weil das gemacht wurde was sollte und am WiN11-Book waren alle Dateien ohne weiteren Firlefanz zu sehen wie es sein sollte und wie die Originale es hergeben.
Der Root-Ordner wo alles drin bei mir "DS-224plus_1", dann "Dokumente" und dann "Test Autopilot".

Hey Leute, RESPEKT für DAS was ihr hier geschaffen habt

Darts ist zu Ende, der kleine 17jährige hat erneut gewonnen (der mischt die betagten Herren aber gewaltig auf. Ein weinig übergewichtig isser aber egal).
Ich bin jetzt auch erstmal fertig.
Sollten noch Ungereimtheiten bei mir vorliegen, ich weiß wohin mit den "?"
Feierabend für heute

 

[Tommes]

Moin!

Abermals möchte ich mich für dein Feedback bedanken. Sowas ist (bei all dem Lob) wichtig, um AutoPilot noch besser und verständlicher zu machen.

Ja, zuerst etwas "frickelig", aber nach zweitem Lesen der Hinweise (für mich auch hier, gerne 2mal lesen !!!)

Du hast keine Vorstellung davon, wie viele Stunden ich damit verbringe, Texte so zu formulieren, dass diese leicht und verständlich sind. Klappt manchmal nur bedingt.

Das Log inner App ist gewaltig detaillierter.

Mir ist vor allem wichtig das der Benutzer versteht, was im Hintergrund so passiert und er darüber Informationen erhält. Das fängt mit Benachrichtigungen beim Erweitern der App-Berechtigungen, oder dem Installieren des UDEV-Gerätetreibers an und hört in einem Protokoll wie diesem auf. Ich kann es selbst nicht leiden, wenn etwas im Hintergrund passiert und ich nicht darüber informiert werde. Außerdem erleichtert es das Debugging ungemein und Fehler können so besser und schneller gefunden werden. In meinen Apps Basic Backup und LogAnalysis habe ich sogar einen Debug-Modus eingebaut, den der Benutzer selbst aktivieren bzw. deaktivieren kann. Dort werden dann noch mehr Informationen ausgespuckt, die den unbedarften Benutzer sicherlich überfordern, mir bzw. uns das Debugging aber sehr erleichtern. Für AutoPilot sehe ich den Bedarf eines solchen Debug-Modus bisher aber noch nicht. Es ist halt einfach zu perfekt

(da wo mit "0")

Dabei handelt es sich um einen sogenannten Exit-Code. Wenn du in AutoPilot oben rechts auf die Schaltfläche Hilfe und dort auf einen der beiden Beschreibungen klickst, kannst du ungefähr in der Mitte des Textes etwas mehr über Exit-Codes erfahren.

Hey Leute, RESPEKT für DAS was ihr hier geschaffen habt

Das macht dann 2649,99 Euro, bar und in kleinen, nicht fortlaufend nummerierten Scheinen. Hey @luddi, wir haben wieder jemanden abgezockt

Darts ist zu Ende, der kleine 17jährige hat erneut gewonnen...

Luke "The Nuke" ist wirklich eine Ausnahmeerscheinung und ja... ich guck’ den Scheiß auch oft und gerne. Keine Ahnung warum.

Tommes

 

[wegomyway]

Ick bin wieda wach und erstmal nen
deinen Ausführungen ist nix, aber nix, hinzuzufügen

... ich guck’ den Scheiß auch oft und gerne. Keine Ahnung warum

Damit Du stundenlang dich mit den Hilfetexten auseinandersetzen kannst, die dann auch ich als "Dummy" lesen/verstehen kann
Wenn man weiß das Phil "The Power" Taylor, seines Zeichen der Beste, "The Nuke" berät... ohne weiteren Kommentar.

Zum Thema:
Ich werde jetzt bei mir den angelegten Hyperbackup-Auftrag korrigieren, also was die Ordner betrifft die ich mittels Autopilot sichern möchte. Da gucke ich genau hin, was bringt Sinn und was ist wirklich wichtig auf diese Art zu sichern.
Es geht, wiederhole mich, vorrangig darum nicht alles von der 224+ zu sichern, sondern wenn es "soweit" ist das die wichtigsten Sachen ohne "wennundaber" nutzbar sind.
Nach ner externen HDD sind die Fühler bereits auf der Pirsch. Frau Tochter hat einiges an 2,5er zu liegen, seltene Nutzung, eben als Sicherungen von Bildern (Sie hat da beispielsweise eine für den "laufenden Meter", eine ihrer Urlaube und immer so weiter). Da angefragt ob da eine Zusammenlegung möglich wäre und ich eine derer bekommen kann (es reicht ja eine 1 oder max. 2TB). Natürlich sichert Sie auf die NAS rauf, aber aktuell ist es zeitlich etwas schwierig, dieses wird aber demnächst wieder forciert. Hab ihr gesagt "alles auch unsortiert in jeweilige Ordner auf der NAS rauf und später "bearbeiten" sodass die HDDs sozusagen nicht mehr benötigt werden.
Sollte auf meinen 2mal 2TB es eng werden, na dann wird vergrößert.

Das macht dann 2649,99 Euro, bar und in kleinen, nicht fortlaufend nummerierten Scheinen. Hey @luddi, wir haben wieder jemanden abgezockt

Ich guck mal ob ein Bruchstück meiner Kryptos verkaufen kann @luddi, auch wenn ich Dich nicht so erwähne, meinen Respekt hast Du ebenfalls (man muss ja nur mal auf GitHub weiterlesen und dann sieht man "wer" da alles mitgewirkt hat

Aber zum Thema zurück.
Es läuft, Feedback sollte doch normal sein, auch wenn was nicht so geht wie es soll (ich denke da bei mir nur an synOCR . Nun läuft auch dieses, habe aus vielen Orten von Dokus einen Ort gemacht und sehr vieles analoges entsorgen können. Gewisse Dokus müssen bleiben).

So, nun ist mal genug

 

[luddi]

Der Dank gebührt schon @Tommes, denn er hat das ganze ins Leben gerufen und den Großteil geliefert. Ich habe ihm lediglich bei einigen Dingen unterstützt weil ich das Tool bei mir selbst im Einsatz habe. Und wenn ich einige Ungereimtheiten finde oder Verbesserungen einbringen möchte dann wirke ich eben mit bei dem Projekt.

 

[Tommes]

AutoPilot für externe Datenträger Version 1.1-700 vom 05.04.2024​

​

Release Notes​

• Es wurde ein neues Menü für benutzerdefinierte Script Templates, sowie ein erstes, einfaches Script-Template hinzugefügt.
• Der Begriff -DiskStation- wurde in allen Texten durch den Begriff -Synology NAS- ausgetauscht.

AutoPilot GitHub Repository​

AutoPilot Download Link​

Noch ein paar Worte zu meiner Intention des neu hinzugekommenen Menü "Benutzerdefinierte Script Templates".
In einer privaten Forumsdiskussion wurde ich (unabhängig von AutoPilot) nach einer Möglichkeit gefragt, wie man den Mountpoint eines externen Datenträgers, der sich zwischenzeitlich ja durchaus mal von /volumeUSB1/usbshare zu /volumeUSB2/usbshare o.ä. ändern kann, dynamisch so anzupassen, das am Ende immer der korrekte Datenträger ausgewählt wird. Im konkreten Fall ging es darum, einen rsync Befehl auszuführen und dabei sicherzustellen, das das Sicherungsziel immer auf den sich ändernden Mountpoint des angeschlossenen, externen Datenträger zeigt.

Intern identifiziert AutoPilot einen externen Datenträger anhand seiner UUID und passt darüber den Mountpoint dynamisch an. Somit erfüllt AutoPilot bereits alle Anforderungen an die eingangs gestellte Frage. Was lag also näher, euch diese Funktion in Form eines benutzerdefinierten Scripts zur Verfügung zu stellen. Sicherlich ist die Shell-Script Programmierung nicht jedermann Sache, aber so ein Template hilft euch vielleicht dabei, eure Ideen und Projekte zu verwirklichen.

Weiterhin viel Spaß mit AutoPilot

Tommes

 

[Tommes]

Ich habe ihm lediglich bei einigen Dingen ...[ WESENTLICH ].... unterstützt

Ohne @luddi gäbe es z.B. keine Implementierung von Hyper Backup Aufgaben, soviel steht schon mal fest. Auch hast du dich mittlerweile in vielen Code-Zeilen von AutoPilot verewigt und wesentlich dazu beigetragen, das System weiter zu stabilisieren, dadurch weniger fehleranfällig zu sein und damit weiter zu pushen. Das ist nicht immer selbstverständlich und ich weiß das mehr als zu schätzen.

 

[wegomyway]

@Tommes , einer hat die Mütze auf und @luddi braucht sich sicherlich und wahrlich nicht so klein machen.
Dazu passt dann das ein/zwei Gehirn(e) mehr nicht schaden kann
Ich habe alle Seiten von hier durch. Selbst wenn ich davon nicht sehr viel verstehe ... nur lesen reicht was auch @luddi beigetragen hat.

Aber ab zum Thema zurück.
Mein eingerichtetes HyperBackup ist soweit eingerichtet/erweitert worden und "wartet" nun auf die "größere" HDD die dann noch in Autopilot eingebunden wird. Wird die Tage erfolgen und werd dann mal Feedback geben.
Die Aktualisierung Autopilot wird dann gleich vorher mit gemacht.

 

[wegomyway]

Feedback meinerseits:
Nun hab ich die Toshi 2TB USB3.0 über DSM formatiert, exFAT, und anschließend über Autopilot eingerichtet. im DSM vorher ordentlich "ausgeworfen" und nach "Glas holen" hinten am USB eingestöpselt. Ist auch alles korrekt gestartet, also hab ich richtig in Autopilot abgearbeitet Die Übertragungsrate geht ja wie ein Springbock rauf und runter.
Nun schauen wir mal wie es läuft. Ich sichere hier den Ordner Dokumente (alles was ich gescannt habe mit den Unterordnern) und Fotos (alles was da vorhanden ist mit Unterordnern) und Music (alles was da vorhanden ist mit Unterordnern).
Nicht erfolgreich :
Autopilot meckern weil im Dateinamen Sonderzeichen " " sind. Kein Problem, wird geändert, vielleicht was für @Tommes und @luddi ?
(Failed to copy file because filename includes \/:*?"><| These are not supported by FAT file system.)
Gehe das jetzt alles durch und "merze" das raus. LÄUFT trotzdem

 

[luddi]

These are not supported by FAT file system.

In diesem Fall können weder @Tommes noch ich zaubern
Weshalb hast du die Festplatte mit diesem Dateisystem formatiert?

 

[wegomyway]

ok, dann isso
Hab meine Dokus auch schon durch und diese eine in der kompletten Meldung im Log war die einzigste mit Sonderzeichen.
Ich hatte zuerst unter WiN NTFS formatiert, Autopilot hat sich "geweigert" die als angeschlossen zu finden. Kann ja gerne nochmal das angehen. Die Zeit hab ich morgen. Vielleicht bekomm ich mal nen Mac . Werde das morgen in der früh erneut anstoßen.

 

[luddi]

D. h. du bist mehr oder weniger auf ein Dateisystem angewiesen welches von Windows lesbar ist? Wie z.B. FAT, exFAT, NTFS?

Ich habe das einmal unter ext4 und unter btrfs ausprobiert mit folgendem Ergebnis:

# ext4
-rw-r--r--  1 root root    0 Apr  9 22:19 '\:*?"><|.txt'

# btrfs auf Synology
-rwx--x--x+ 1 root     root     0 Apr  9 22:02 '\*?"><|.txt'

Von den besagten Zeichen aus deinem Beitrag lassen sich unter btrfs auf Synology die Zeichen : und / nicht im Dateinamen verwenden.
Unter ext4 ist sogar der Doppelpunkt : erlaubt, jedoch lässt sich ein Slash / auch nicht verwenden.

Aber die grundsätzliche Frage ist, weshalb verwendet man überhaupt solche Sonderzeichen in Dateinamen?

 

[wegomyway]

Weil ich damals nicht von Autopilot ansatzweise gewusst habe.
Die genannte Datei war eine mit händisch vergebenen Dateinamen. Der Großteil aller anderen ist von synOCR "abgearbeitet" worden.
Nun lernt man nie aus und es wird nicht wieder vorkommen versprochen

 

[luddi]

Man muss nichts von AutoPilot gewusst haben um zu Wissen, dass man Sonderzeichen in Dateinamen vermeiden sollte.
Ich kann mir aber nur schwer vorstellen, dass tatsächlich synOCR für deine Sonderzeichen in einigen Dateinamen verantwortlich ist.

Mir muss man nichts versprechen, jeder kann seine Dateien benennen wie er selbst möchte. Nur darf man sich nicht wundern, wenn manche Dinge dann nicht funktionieren. Also ein gut gemeinter Rat, Finger weg von Sonderzeichen in Dateinamen.

Ich denke aber du bist auf einem guten Weg

 

[wegomyway]

Das Sonderzeichen war von mir, nicht von synOCR.
Wie schon geschrieben ist/war das die einzigste mit Sonderzeichen.
Ja, aktuell hab ich WiN11-Books. Solange die nicht das alles auf jährlich umfrickeln. Wenn das kommt, kommt LiNUX wenn es "sicher" ist und klaglos läuft. Hat aber noch Zeit. Nen Mac ... nun ja ... da hab ich noch so meine "Probleme", Kosten schon ordentlich und 17Zoll einer und ein zweiter 14Zoll ist mein Bedarf und das kostet.
Aber zu Autopilot : Morgen früh geht es gleich los.