Synology Photos Indexierung funktioniert nicht

[Granten]

Hallo,

seit meinem Upgrade auf DSM 7 und meiner völlig zerstörten Fotodatenbank (kein Foto wurde mehr erkannt, ich musste alle über den Browser neu hochladen...) werden keine Orte und keine Gesichter mehr erkannt. Wenn ich die Indexierung direkt in Synology Photos starte und z.B. in "Orte" gehe, sehe ich dass er anfängt, aber nach 1-2 min wieder aufhört. In den Optionen vom NAS unter Indexierung steht dann auch "abgeschlossen". Erkannt wird aber gar nichts.

Weiß jemand wie ich das Problem lösen kann?

 

[bikemaster70]

Wieviele Photos müsste die NAS denn indizieren?

 

[Ulfhednir]

Genauso relevant wäre zu wissen, welches DS-Modell im Einsatz ist.

 

[Granten]

Es sind knapp über 18.000 Fotos und im Einsatz habe ich das DS415+

 

[bikemaster70]

Alos ich habe eine DS416play, welche ich auf 8GB Ram erweitert habe.

Bei mir warens auch so um diese Menge Photos; meine NAS war auf jeden Fall etliche Tage (1 Woche?) am indizieren, bis ich bei den Orten und Personen-Tags endlich brauchbare Ergebnisse gesehen habe.

CPU und Ram waren aber nie auf Vollast.
Vieleicht ist wirklich noch warten angesagt.

 

[bikemaster70]

Jetzt, wo es endlich einmal fertig ist, bin ich übrigens sehr zufrieden mit Synology Photos.

 

[Granten]

Alos ich habe eine DS416play, welche ich auf 8GB Ram erweitert habe.

Bei mir warens auch so um diese Menge Photos; meine NAS war auf jeden Fall etliche Tage (1 Woche?) am indizieren, bis ich bei den Orten und Personen-Tags endlich brauchbare Ergebnisse gesehen habe.

CPU und Ram waren aber nie auf Vollast.
Vieleicht ist wirklich noch warten angesagt.

Das kann ich ausschließen, da ja wie gesagt die Indexierung auf „abgeschlossen“ springt und ich DSM 7 und damit auch Photos seit einigen Wochen im Einsatz habe.

 

[Granten]

Hat keiner eine Idee was das sein könnte? :-(

 

[sub2010]

Hallo Zusammen,

ich habe ein Frage zu Indexierung. Gibt es einen Fortschrittsbalken, oder eine voraussichtliches Fertigstellungsdatum?
Ich habe ca. 100.000 Fotos auf einer 1019+. Seit 5 Tage läuft die Indexierung, die CPU Last ist gering sprich unter 20 Prozent.
Meine NAS hat 16GB Arbeitsspeicher und die Festplatte bestehen aus SSD´s. Also gute Voraussetzungen für ein schnelles Abarbeiten. Könnt ihr Einschätzen wie lange das dauert?
Viele Grüße

 

[Kungens Kurva]

Gibt es einen Fortschrittsbalken, oder eine voraussichtliches Fertigstellungsdatum?

Es gibt eine Art „Fortschrittsbalken“. Du findest ihn in der Desktop-Ansicht standardmäßig oben rechts bei den Widgets - da dreht sich so ein Dreh-Dingens, darauf klicken. Es heißt „Verarbeitung von Bildern/Videos“. Die Anzeige ist aber alles andere als genau. Über dem Balken wird die Zahl von Fotos angezeigt, wobei mir nicht klar ist, ob sie sich auf bereits erfasste oder auf zu indizierende Fotos bezieht. Mal läuft dieser Zähler aufwärts, mal abwärts. Rechts ist die Prozentangabe. Das voraussichtliche Enddatum kannst Du Dir aus diesen Daten selbst ausrechnen.

Detaillierter in den Prozess reinschauen kannst Du afaik nur über Terminal via SSH.

Die Trefferquote solcher Prognosen liegt m.E. auf dem Glaskugel-Niveau, schließlich „weiß“ die DS im Moment kaum, wie groß die Bilddaten sind, die sie noch zu erfassen hat. Genauso wenig weiß sie, wie stark welche Prozesse die Disks noch zusätzlich beanspruchen.

Ab und zu mal habe ich auch, allerdings bei meiner alten Ds118, erfahren, dass diese Verarbeitung gern an irgendwelchen Dateien hängen bleibt - warum auch immer. Dann ist sowieso alles ganz anders.

Btw, bist Du Dir sicher, dass Du an der richtigen Stellen nach dem Status schaust? DS erfasst die Daten gleich am mehreren Stellen für mehrere Zwecke. Indexieren wird 1x in den Systemeinstellungen angezeigt, die ist auch bei mir längst abgeschlossen. Dann die für Universal search, ditto. Die Verarbeitung von Bilddate für die Photos-App hingegen, die dauert. Da wird aber nicht nur indexiert, sondern auch Vorschauen erzeugt und all der Kram.

Ich bin seit ein paar Tagen mitten im Umzug von 118 auf eine 920+ (manuell) und kann mit folgenden Ungefähr-Größen zum Vergleich dienen:

• Die Anzeige im „Fortschrittsbalken“ spricht von derzeit ca. 300.000 Bilddateien, Größenordnung insgesamt 2 bis 3 TB
• Die Dateien sind hauptsächlich Raw, deutlich weniger jpeg, tiff und andere
• Die 920+ hat in drei Tagen 17% der “Verarbeitung von Bildern/Videos“ geschafft
• In dieser Zeit liefen aber andere Tasks nebenbei, etwa das Indexieren der anderen beiden Medien-Ordner Musik und Video, erste Hyper-Backups und Downloads von Freigaben sowie interne Überprüfung des Disk-Arrays

Wenn es so weiter geht wie bislang, bin ich _nicht_ unzufrieden. Die 118 brauchte mal Wochen für weniger.

Die 920+ hat 8 GB RAM, 500 GB Cache und 12 TB netto SHR.

hth

grüße, kk

 

[Rocko]

• Die Anzeige im „Fortschrittsbalken“ spricht von derzeit ca. 300.000 Bilddateien, Größenordnung insgesamt 2 bis 3 TB

Wenn es so weiter geht wie bislang, bin ich _nicht_ unzufrieden. Die 118 brauchte mal Wochen für weniger.

Hattest du 300.000 Bilddateien auf der DS118 mit DSM 7.0?

 

[Kungens Kurva]

Hattest du 300.000 Bilddateien auf der DS118 mit DSM 7.0?

1. etwas weniger, wie gesagt.
2. ja
3. Nein, die wurden noch mit 6.xx eingelesen

wieso fragst Du?

 

[Rocko]

wieso fragst Du?

Ich habe ähnlich viele Bilder ... ich möchte mir eine DS118 zum testen holen und DSM 7 aufspielen - ausprobieren ob es meinen Bedürfnissen entspricht.

 

[roterteufel81]

Hallo,

seit meinem Upgrade auf DSM 7 und meiner völlig zerstörten Fotodatenbank (kein Foto wurde mehr erkannt, ich musste alle über den Browser neu hochladen...) werden keine Orte und keine Gesichter mehr erkannt. Wenn ich die Indexierung direkt in Synology Photos starte und z.B. in "Orte" gehe, sehe ich dass er anfängt, aber nach 1-2 min wieder aufhört. In den Optionen vom NAS unter Indexierung steht dann auch "abgeschlossen". Erkannt wird aber gar nichts.

Weiß jemand wie ich das Problem lösen kann?

Naja, es sieht eher danach aus, als hast Du Dir die Foto Datenbank mit deiner Ungeduld selbst zerstört.


Nach Abschluss der Indexierung und wenn das Punktekreis-Symbol auf der DSM Weboberfläche verschwunden ist, ist Photos mitnichten fertig mit dem Aufbau der Datenbank.

Da läuft noch eine ganze Menge mehr im Hintergrund ab, was durchaus ein paar Tage brauchen kann.

Unter anderem ein Prozess wie "syno-fotoface-extraction".

Die Prozesse sind auch nicht permanent im Ressourcen Manager zu finden, sie kommen und gehen sporadisch.

Bis dahin passiert genau das, was Du beschrieben hast, wenn Du versuchst die Timeline oder Gesichtserkennung in der Smartphone/Tablet App oder am PC zu öffnen, es laden 1-2 Fotos und dann ist Ende. Sogar die Fotoreihenfolge sieht völlig zerstört und falsch aus.

Geduld, Geduld, Geduld.

Wenn der Prozess völlig abgeschlossen ist, dann geht der Abruf der gesamten Datenbank auf der 415+ rasend schnell (hab selbst ne 415+ mit 8GB) und auch die Reihenfolge rüttelt sich selbstständig sehr schnell zurecht.

Ich empfehle bei 18.000 Fotos DRINGEND den Cache in den Smartphone/Tablet Apps auf mindestens 1GB zu schrauben. Auf einer von mir betreuten DS belegen 35.000 Fotos etwas über 1GB, wenn alle Thumbnails und Gesichtserkennungen abgerufen sind, da habe ich den Cache auf "Keine Begrenzung" gestellt. Sonst passiert es, dass wenn Du ans Ende runter scrollst, diese Thumbnails erst noch nachgeladen werden müssen, während am Anfang oben schon wieder Thumbnails rausfallen, sodass nach dem Hochscrollen wieder nachgeladen wird und dafür wieder Thumbnails an anderer Stelle rausfallen usw.

Voraussetzung ist natürlich, dass die Fotos auch unter /home/Photos/ bzw. /photo liegen.

/home/Photos/Ordner123 für eigene Ordner
/home/Photos/MobileBackup da landen Smartphone/Tablet Uploads in der Default Einstellung
/home/Photos/PhotoLibrary da landen PC Uploads in der Default Einstellung
/photo/ für allgemein geteilte Fotos/Alben


Sollte Dein /home Ordner vor der Migration verschlüsselt gewesen sein, musst Du alle Fotos bzw. Ordner nach dem Upgrade händisch von /home/drive/Moments nach /home/Photos verschieben - Das ist ein bekannter Bug, dabei geht aber die gesamte Gesichtserkennung flöten - und zwar ZWINGEND im File Manger von DSM und nicht im Windows Explorer vom Client (sonst gehen alle unter Moments erstellten Thumbnails flöten und der Prozess dauert ewig!).

 

[Granten]

Naja, es sieht eher danach aus, als hast Du Dir die Foto Datenbank mit deiner Ungeduld selbst zerstört.


Nach Abschluss der Indexierung und wenn das Punktekreis-Symbol auf der DSM Weboberfläche verschwunden ist, ist Photos mitnichten fertig mit dem Aufbau der Datenbank.

Da läuft noch eine ganze Menge mehr im Hintergrund ab, was durchaus ein paar Tage brauchen kann.

Unter anderem ein Prozess wie "syno-fotoface-extraction".

Die Prozesse sind auch nicht permanent im Ressourcen Manager zu finden, sie kommen und gehen sporadisch.

Bis dahin passiert genau das, was Du beschrieben hast, wenn Du versuchst die Timeline oder Gesichtserkennung in der Smartphone/Tablet App oder am PC zu öffnen, es laden 1-2 Fotos und dann ist Ende. Sogar die Fotoreihenfolge sieht völlig zerstört und falsch aus.

Geduld, Geduld, Geduld.

Wenn der Prozess völlig abgeschlossen ist, dann geht der Abruf der gesamten Datenbank auf der 415+ rasend schnell (hab selbst ne 415+ mit 8GB) und auch die Reihenfolge rüttelt sich selbstständig sehr schnell zurecht.

Ich empfehle bei 18.000 Fotos DRINGEND den Cache in den Smartphone/Tablet Apps auf mindestens 1GB zu schrauben. Auf einer von mir betreuten DS belegen 35.000 Fotos etwas über 1GB, wenn alle Thumbnails und Gesichtserkennungen abgerufen sind, da habe ich den Cache auf "Keine Begrenzung" gestellt. Sonst passiert es, dass wenn Du ans Ende runter scrollst, diese Thumbnails erst noch nachgeladen werden müssen, während am Anfang oben schon wieder Thumbnails rausfallen, sodass nach dem Hochscrollen wieder nachgeladen wird und dafür wieder Thumbnails an anderer Stelle rausfallen usw.

Voraussetzung ist natürlich, dass die Fotos auch unter /home/Photos/ bzw. /photo liegen.

/home/Photos/Ordner123 für eigene Ordner
/home/Photos/MobileBackup da landen Smartphone/Tablet Uploads in der Default Einstellung
/home/Photos/PhotoLibrary da landen PC Uploads in der Default Einstellung
/photo/ für allgemein geteilte Fotos/Alben


Sollte Dein /home Ordner vor der Migration verschlüsselt gewesen sein, musst Du alle Fotos bzw. Ordner nach dem Upgrade händisch von /home/drive/Moments nach /home/Photos verschieben - Das ist ein bekannter Bug, dabei geht aber die gesamte Gesichtserkennung flöten - und zwar ZWINGEND im File Manger von DSM und nicht im Windows Explorer vom Client (sonst gehen alle unter Moments erstellten Thumbnails flöten und der Prozess dauert ewig!).

Vielen Dank! Das erklärt einiges. In der Smartphone App habe ich den Cache schon auf unbegrenzt. Aber das hilft ja bei dem Problem nicht.
Gibt es eine Möglichkeit bzw. einen Best practice Weg dir Datenbank sauber neu zu erstellen? Ich glaube da liegt das Problem, oder was meinst du?

 

[roterteufel81]

@Granten

Der Cache hilft erst, wenn die Datenbank fertig ist, richtig. War nur ein vorab Tipp.

Zur Lösung: Einfach die schon vorhandenen Fotos/Foto-Ordner je nach Zweck (freigegeben oder nicht) mittels DSM File Station in die von mir oben genannte Ordnerstruktur verschieben. Danach warten bis alle Prozesse durch sind.

Wenn die Fotos schon alle in den Zielordnern liegen sollten, dann nur noch warten.

Der Rest geht mit Geduld von selbst.

Zum Testen kannst du ja erst einmal nur einen einzigen Ordner mit 100 Fotos oder so machen. Dann weißt du ob es klappt.

Photos (vorher Moments) macht nichts anderes, als pro echtes Foto immer im selben Unterordner ein verstecktes Thumbnail zu erstellen. Die sind in der File Station und Windows Explorer nicht sichtbar, da auf Linuxebene versteckt. Wenn Du per SSH auf die DS in einen Photos Ordner gehst, kannst Du immer je ein Bild, z.B. 12345.jpg und ein Thumbnail Pendant @12345.jpg sehen.

Das erstellen der Thumnails frisst schon massig Zeit, besonders bei Videos. Da er ja alle Fotos scannen und dann passende Thumbnails generieren muss.

Währenddessen wird eine Index-Datenbank erstellt, die die beiden Fotos logisch miteinander verbindet.

In der Smartphone App siehst Du später dann die in den Cache der App runtergeladenen Thumbnails und bei Aufruf läd er das Original.

Wenn die ganze Indexierung durch ist, scannt er die gesamten Bilder noch mal zur Gesichtserkennung.

Das frisst dann wieder sehr viel Zeit, da er ja jedes Foto auf Gesichter prüfen muss.

Auch die kommen in die Index Datenbank und werden logisch verknüpft.

Danach scannt er alle Fotos nach Ortsangaben für das Feature „Orte“ in der App nach selbem Prinzip.

Das blockiert so derbe die DS, dass man vor Abschluss der Prozesse so gut wie nichts in den Cache der Smartphone Apps laden kann, bzw. auch vieles noch falsch angezeigt wird (z.b. falsche Fotoreihenfolge beim Datum)

 

[Granten]

Das sind alles sehr hilfreiche Tipps, aber ich glaube nicht dass in meinem Falls das hilft. Ich habe die Fotos schon an der richtigen Stelle (siehe 1. Post, habe alle vom PC per Browser auf das NAS neu geschoben). Auch warten, glaube ich, hilft hier nicht mehr. Ich habe die Situation seit 1-2 Monaten.

 

[roterteufel81]

Dann verschiebe die Fotos mal alle komplett aus dem /home/Photos Ordner nach z.B /home/temp/

Und danach verschiebst Du mal einen einzigen Foto-Ordner zurück nach /home/Photos/

Denk daran, wenn Du mit nicht geteilten Fotos (/photo) arbeitest, dass Du Dich mit dem selben Benutzernamen und Passwort an der DSM Weboberfläche einloggst, den Du auch bei der Photos App auf dem Smartphone benutzt.

Solltest Du Dich an der DSM mit (Beispiel) „Hans“ einloggen und die Fotos dann nach /home/Photos kopieren und an der Photos App auf dem Smartphone mit „Horst“, dann liegen die Fotos auf der DS physisch unter /homes/Hans/Photos aber die Smartphone App sucht die Fotos unter /homes/Horst/Photos wo natürlich nichts liegt.

/home/ ist dynamisch und entspricht immer dem eingeloggten Benutzer /homes/Benutzername/

 

[Granten]

Ich habe das eben mit einem neuen Benutzer getestet. nach 2 Stunden hat er nicht einmal die Fotos erkannt. Es sind gerade mal 30 Stück. Die Indizierung läuft auch nicht und das manuelle anstoßen bringt auch nichts. Ich habe das Gefühl da stimmt etwas mit der Indizierung nicht.

 

[Benares]

Hast du es auch mal im "Freigegeben Bereich" (/photo) probiert?
Mir ist es auch noch nie gelungen, dass von Bildern im "Persönlichen Speicherplatz" irgendwelche Personen erkannt wurden. Wenn ich dort irgendwelche Bilder neu einstelle, sehe ich zwar, dass da zwar eine Erkennung läuft ("x Fotos werden in Kürze erkannt"), aber es tauchen danach nie irgendwelche Personen auf.