Duplikate finden und löschen

[Sequoia]

Ist nicht wirklich böse gemeint, aber Du sieht doch oben, dass es nur eine 1MBit Upload DSL Verbindung ist.
Wenn Du das schon mal probiert hast, dann wirst Du wissen, dass es unmöglich ist, tausende Dateien via WebDAV mit so einer Verbindung stabil analysieren zu lassen.
Es ist echt nicht böse gemeint, aber das hilft halt eben nicht weiter.

 

[ctrlaltdelete]

Docker-kompatiblen NAS möchte ich mal noch dupeGuru (Originalprojekt / Dockerversion)

Wieso versuchst du nicht ein Tool in Docker? Das würde dann auf der DS ausgeführt.

 

[Sequoia]

Die Remote NAS ist eine DS216j

 

[c0smo]

dass es nur eine 1MBit Upload DSL Verbindung ist.

Also irgendeinen Tot musst du jetzt ja sterben, so wie es aussieht. Alles was wir vorschlagen wird abgewunken. Warum versuchst du nicht einfach die Variante mit WebDav und lässt die Kiste von mir aus 7 Tage rödeln?

 

[Sequoia]

Ich winke doch nicht alles ab. Ich habe lediglich gefragt, ob man intern Duplikate finden kann und diese in einem Rutsch beseitigen kann.
Alles Weitere hatte mit meiner Frage gar nichts zu tun.

Aber zum WebDAV. Das hatte ich bereits probiert, aber der Ordner mit den ca. 5000 Musikdateien zeigt keinen Inhalt an. Es dreht über Stunden nur der Ladekreis (Sanduhr).
Da liegt es, so denke ich an der Upload-Geschwindigkeit von unter 1MBit, gepaart mit der langsamen DS216j.

 

[alkazaa]

Ich habe einen für mich akzeptablen Trick gefunden, der mit Bordmitteln funktioniert (DS216j, DSM 6.2) und der das Einzel-Anklicken vieler Dateien vermeidet.

Voraussetzung 1:
Man hat (bzw. vermutet) die Duplikate in zwei verschiedenen Ordnerhierarchien. Also z.B. zum einen in User/Drive/Moments/ (und allen Unterordnern) und zum anderen in photo/ (und seinen Unterordern). Wenn das nicht der Fall ist, kann man evtl. durch Hin- und Herschieben von Unterordnern diese Situation herstellen.

Voraussetzung 2:
Man ist mit der command line per ssh vertraut.

Vorgehensweise:

1. Über 'Systemsteuerung->Gemeinsamer Ordner legt man zwei neue gemeinsame Ordner an, z.B. OrdnerA und OrdnerB. Schreib/Leserechte für den admin und den User, als der man unterwegs ist, sollten gesetzt werden.
   
   
2. Mit Hilfe der folgenden beiden Kommandozeilen-Befehle
   sudo /bin/mount -o bind /volume1/homes/User/Drive/Moments/ /volume1/OrdnerA/
   sudo /bin/mount -o bind /volume1/photo/ /volume1/OrdnerB/
   sorgt man dafür, dass die zu vergleichenden Ordnerhierarchien als sogenannte 'Gemeinsame Ordner' verfügbar sind.
   
   
3. Im Speicheranalysator erstellt man nun einen Bericht, der nur Duplikate sucht. Unter dem Tab 'Freigegebener Ordner' wählt man OrdnerA und OrdnerB aus. Dann lässt man den Bericht laufen.
   
   
4. Über 'Berichtsvorgang analysieren' bekommt man dann die folgende Seite zu sehen, auf der alle Duplikate gelistet sind. Das Entscheidende: über das Auswahlfeld 'Alle anzeigen' kann man jetzt auch nur OrdnerA oder nur OrdnerB anzeigen. (Nicht wundern: bei mir hießen die beiden '196x' und '2010'). Dann kann man im Kästchen links von 'Dateiname' alle Dateien dieses Ordners auswählen und über Aktion->Löschen entfernen. Ggf. für die weiteren Seiten der Ergebnisliste wiederholen.
   
   
5. Zum Schluß noch mit den beiden Befehlen
   sudo /bin/umount /volume1/OrdnerA/
   sudo /bin/umount /volume1/OrdnerB/
   die mounts wieder entfernen

 

[JH-DS213]

Guten Morgen Zusammen,
ich weiss der Thread ist schon etwas älter. Vielleicht gibt es hier neue Möglichkeiten oder Ideen mittlerweile.
Meine Lebensgefährtin war so schlau und hat immer Handysicherungen abgelegt. Da gibt es auch Ordner wie Send Images Whatsapp , Whats APP Media etc. immer die ganzen Inhalte.
Bei der nächsten Sicherung in einem neuen Ordner, sind die alten immer drin geblieben. Bei Whats APP dann mal aus Speicherplatzmangel welche gelöscht und dann neue Sicherung...
Ergbenis: Über 1.5 TB Datenmüll und kreutz und quer. :-( wovon vielleicht 200 GB nützlich sind.
Wer kennt denn ein Tool, wo ich mir die Bilder anzeigen und Videos anzeigen lassen kann und dann sagen: Duplikate entfernen ?
Sind natürlich auch viele Videos von den Kindern mit dabei und das sind schöne Erinnerungen. aber auch viel Schrott. Incoming Medias z.B. diese witzigen Videos oder so.

Was ich nicht verstehe:

1. Warum sollte ich nicht mit einem Windows-Tool im Netzlaufwerk suchen sollen? Habe ich dadurch Nachteile? Doch eigentlich nicht, oder ?
2. Oben wurde das ALLDUP erwähnt. Ist das das beste Tool für sowas? TOTAL COMMANDER findet auch Duplijkate aber zeigt sie nicht als Bild-Video an. Man muss sich einzeln durchklicken. Geht gar nicht.
3. Was ist denn die klare Empfehlung für ein kostenloses Tool was auch Bildvorschauen zeigt ?? Dann lösche ich evtl. was im falschen Ordner, aber am Ende habe ich wenigstens nicht mehr doppelt.

Liebe Grüße
Didi

P.S.: Wenn ich mir alles hier durchlese, kommt für mich heraus WEBdav oder ALLDUP. Was ist für Videos und Bilder besser geeignet ? Die Alkazza Lösung mit Analyser kommt für mich nicht in Frage. Bin kein IT-Crack, brauche die visuelle Übereinstimmung am besten und automatische Vorauswahl vielleicht ? Gibt es noch anderes weniger komplexes ? Google hatte mal sowas auf dem Computer.
Glaube PICASA hiess das. aber das hat meinen ganzen Rechner lahmgelegt und die Festplatten verlangsamt , da der sich für alles Thumbs gespeichert hat etc. Hat zwar doppelte gefunden, aber zu welchem Preis :-(

 

[geimist]

Welches NAS hast du?
Photoprism soll in Zukunft so eine Funktion bekommen.

 

[JH-DS213]

Hi Stephan,
ich nutze das DS213.
Führe gerade den Übergang vom BLACK ARMOR zu SYNOLOGY durch. Der Black Armor von Seagate hatte bereits einige Tools an Board. aber bei 16 TB gespiegelt ist leider Ende. (also 2 x je 4 TB) gespiegelt.
Habe mir jetzt das 213 gegönnt. Passen zwar nur 2 Platten rein, statt 4...dafür mache ich dann die Sicherung nachts auf externe USB HDD's.
War für mich jetzt die günstigste Lösung.
Und wenn ich die ganze Datensicherung eh anpacke, möchte ich die Handysicherungen bereinigen & Co.
Viele Grüße,
Jens

 

[EDvonSchleck]

Du hast dir eine 213 gegönnt? Kommst du aus der Vergangenheit. Warum macht man sowas? Die kannst du als Backupziel noch nehmen, Als Produktivsystem ist diese für meinen Geschmack zu langsam.

 

[JH-DS213]

Naja, wenn man nicht in Geld gebettet ist, Freizeit ehrenamtlich spendiert anstatt mehr Geld zu scheffeln und das beste aus der Situation machen will, dann schaut man was der Markt "kostengünstig" und als gute Lösung hergibt. Das steht ja aber gar nicht zur Diskussion her. Das man sich mit Geld fast alles kaufen kann, wissen wir. Aber aus guten nicht aktuellen Lösungen das Optimum rauszuholen. Schon vielleicht auch die Umwelt und die Geldbörse.

 

[EDvonSchleck]

Ich glaube, mit der falschen Hardware tut man der Umwelt auch nichts Gutes. Das wird bald wieder aussortiert. Meine DS 1513+ kommt jetzt langsam an die Grenzen und ich bin bereits auf die Sucher nach einem Nachfolger. Im Bekanntenkreis sind mehrere 213j die fast nicht mehr benutzbar sind von der Performance. Es zwingt ja keinen, einen NAS zu betreiben. Wenn du den noch absichern musst, mit einer USV kommen wie bei den HDDs noch weitere Kosten dazu. Wenn man jetzt noch die falschen HDDs einsetzt (SMR) wird das noch einmal schlechter.

Führe gerade den Übergang vom BLACK ARMOR zu SYNOLOGY durch. Der Black Armor von Seagate hatte bereits einige Tools an Board. aber bei 16 TB gespiegelt ist leider Ende. (also 2 x je 4 TB) gespiegelt.

Verstehe ich nicht. Du willst dir keine aktuelle DS leisten, aber hast ein Problem mit 16 TB als Spiegelung? Mit den 2x4TB als RAID sind das auch nur 4 TB. Die 213j kann auch nur 16 TB pro Volumen. Ich sehe da keinen Mehrwert.

 

[geimist]

ich nutze das DS213.

Dann ist das keine Option, weil dafür Docker notwendig wäre.
Mit deiner ARMv5 CPU bist du eh ziemlich eingeschränkt.

 

[JH-DS213]

Eigentlich kommen wir vom Thema ab. Kurz als Ergänzung. Der Black Armor hat die Möglichkeit mit 4 x 4TB zu laufen. Ich nutze aber nur 2 x 0,5 TB + 2 x 2 TB. (die gespiegelt. Also 2.5 TB) Eine der Platten muss aber einen weg haben, weil das Löschen eine Bilddatei ewig dauert. Ganze Orderner dauert noch länger und ich bin mit einer Auslastung von 97 % an der Grenze.
Also was neues gutes, bezahlbares organiseren.
1x ext. USB 10 TB von WD geschossen für 149,-
1x DS 213 vom Freund geschenkt bekommen
2x Seagate rot 4TB und 2TB über
Macht zusammen ein noch erweiterbares 6 TB System was ich nachts auf USB spiegle für die Datensicherheit.
Und ich glaube für Handysicherung und ein paar Videos und Bilder ist das ausreichend.
===================
Nun zurück zur ursprünglichen Frage. Welches ist die beste Software zum löschen von Duplikaten, wo man auch sicher sein kann, dass man das richtige löscht ? Z.B. mit Bildvorschau oder so...vermutlich werde ich es auch mit Alldub oder dem System Analyzer probieren. Dachte es gibt noch komfortablere Sachen, weil die Datenmenge auch hoch sein wird. TOTAL COMMANDER bietet das auch an. Aber ich sehe auch hier die Vorschaubilder nicht. Bei Euren Lösugen wir auf jeden Fall angezegt, wie oft es diese Datei gibt und da drunter das jeweilige Duplukat in einer anderen Farbe. Das ist schon komfortabler.

 

[ctrlaltdelete]

Das wird nur über deinen PC und Netzlaufwerke abzugleichen sein, eine Lösung auf der DS sehe ich nicht.

 

[Ulfhednir]

Wenn Windoof, geht z.B. folgendes: https://kaeroscorps.com/

 

[alkazaa]

3. Was ist denn die klare Empfehlung für ein kostenloses Tool was auch Bildvorschauen zeigt ??

Keine klare Empfehlung, aber eine mögliche Lösung: https://www.digikam.org/

Ich nutze Digikam als Bildverwaltungsprogramm. Die Fotosammlung auf dem NAS (DS216j, auch wenn's dafür Haue gibt ) habe ich als Netzlaufwerk aud meinem Laptop. Digikam braucht anfangs erstmal fürchtlich lange (viele Stunden) bis es seine SQLite Datenbank auf dem Windows PC gefüllte hat. (Ich lasse Insomnia auf dem PC laufen, damit der durchhält ohne einzuschlafen). Duplikate finden habe ich noch nicht getestet, soll aber angeblich gehen (auch mit visueller Anzeige). Werd es jetzt auch mal probieren, evtl. wieder mit Insomnia, falls es länger dauert.

 

[ds211user]

Ein Linuxtool, auf der Syno: Wenn SSH kein Thema ist, kann ich jdupes empfehlen.
Gibts in den SynoCLI File Tools.
Ähnliche Vorgehensweise wie schon beschrieben, ein Ordner soll "gewinnen"
jdupes -rdNO <originale> <duplikate> Dateien im ersten Ordner werden verschont.
Das Tool löscht aber nur echte Duplikate. Das als Hinweis, da dupeGuru laut Beschreibung auch "fuzzy" kann.

 

[JH-DS213]

Das liest sich doch sehr gut. Werde mir das Tool anschauen und auch noch einmal mit dem Duplicat Cleaner von Kaeroscorps vergleichen. Das Tool macht auch einen sehr guten Eindruck.
Danke für den zahlreichen und hilfsbereiten Input hier. Es sind einige sehr gute Tools genannt worden .
Ich werde berichten, welches am besten lief.

 

[alkazaa]

DANKE erstmal an ds211user für den Tipp mit den SynoCLI File Tools! Hab ich gleich installiert und ausprobiert.

Jetzt aber zwei (klitzekleine) Wermutstropfen für alle auf Hashwerten beruhenden "Datei-Vergleicher":
a) Mir ist passiert, dass zwei MD5-identische Dateien (Beide wichtig und mit unterschiedlichen Dateinamen) als duplikate angezeigt wurden.
b) Mit ist auch passiert, dass zwei ECHT identische .jpg Dateien unterschiedliche MD5 hashes hatten

Bei a) handelte es sich um sogenannte sidecar Dateien (*.xml Format), in denen identische Metadaten zu zwei RAW-Dateien standen. Und keine von denen sollte natürlich gelöscht werden. Das lässt sich natürlich vermeiden, wenn man von vornherein die Duplikatsuche auf reine Bilddateien beschränkt, ohne sidecars.

Bei b) war ich ziemlich perplex und hab mir dann mit dem file comparison tool (fc in der Windows command line) die Dateien angeschaut. Das hier war der Unterschied der beiden .jpgs:

C:>fc 0007_edited.jpg 0007_edited-1.jpg
Vergleichen der Dateien 0007_edited.jpg und 0007_EDITED-1.JPG
***** 0007_edited.jpg
Adobe Photoshop Album 2.0
2007:02:21 05:57:33
∟
***** 0007_EDITED-1.JPG
Adobe Photoshop Album 2.0
2007:02:21 06:02:40
∟
*****

Die waren irgendwann mal durch Adobe Photoshop Album gelaufen und hatten verschiedene timestamps.

Die gute Nachricht: Mit Digikam wurden auch diese Duplikate gefunden. (Und darüber hab ichs dann auch bemerkt)

Meine Vorgehensweise wird jetzt wohl so sein:
Mit einem 1. Durchlauf mit einem hash-Wert basierten tool (jdupes!) den Großteil aller Duplikate "erschlagen". Dann mit Digikam (das ich sowieso zur Bildverwaltung nutze) auch die die wenigen Sonderfälle behandeln.

Nebenbei: Digikam kann auch sowas wie "Suche nach ähnlichen Bildern"... Aber das führt her vom Thema weg