Toggle sidebar

Business enable data checksum for advanced data integrity sollte nicht mit ABFBA genutzt werden - warum nicht?

framp

framp

Benutzer
Registriert
19. Feb. 2016
Beiträge
1.085
Reaktionspunkte
178
Punkte
89
Beim Anlegen eines shared folders kann man die Option "enable data checksum for advanced data integrity" auswählen.

1742048533607.png
Die Note am Ende verstehe ich für die ersten beiden Punkte. Da wird viel geschrieben und die Performance ist dann negativ beeinflusst. Den letzen Punkt verstehe ich aber nicht so ganz:

Wenn ich mein ganzes System sichere dann wird doch nur gelesen. Wieso sollte man dann diese Option nicht auswählen? Beim Zielsystem des Backups, also der BackupNAS verstehe ich es schon im gewissen Masse dass es da nicht genutzt werden sollte. Da wird ja viel geschrieben. Allerdings finde ich diese zu btrfs zusätzliche Datenintegritätsoption auch für ein Backup durchaus sinnvoll.
 
Wobei das ja nur eine Empfehlung ist. Da steht ja nicht, dass das damit unmöglich wird.

Hast du mal in der Knowledge Base geschaut, ob da weitere Infos vorhanden sind?

Edit sagt: Hier wird davon gesprochen, dass das bei jedem Lesevorgang überprüft wird (Absatz Selbstheilung):
https://www.synology.com/de-de/dsm/Btrfs

Also könnte das reine Performancegründe haben, wäre so meine Idee.
 
Zuletzt bearbeitet:
  • Like
Reaktionen: maxblank
Ja, absolut korrekt. Wobei dies nach dem initialen Backup und den dann folgenden Inkrementellen eigentlich nicht die Welt ausmachen kann.
Aber das kannst du ja testen und hier berichten.
 
  • Like
Reaktionen: Adama
Das würde ich genauso wie @maxblank sehen...
 
Adama schrieb:
Edit sagt: Hier wird davon gesprochen, dass das bei jedem Lesevorgang überprüft wird (Absatz Selbstheilung):
Zum Vergrößern anklicken....
Das ist die Unterstützung von btrfs. Die o.g. Funktion kommt offensichtlich zusätzlich dazu (von Synology?) wenn man einen SharedFolder anlegt.

Hier ist das beides ganz gut erklärt in English (Ist eine Labertasche - aber trotzdem ganz gut erklärt) Er geht auch ganz fix über den 3ten Punkt drüber - gibt aber leider keine Erklärung.
maxblank schrieb:
Aber das kannst du ja testen und hier berichten.
Zum Vergrößern anklicken....
Ich dachte das hier schon jemand gemacht und Erfahrung 🙂
 
Ich habe bei der DS923+ (Ausstattung siehe meine Signatur) über 1 GbE keine Unterschiede feststellen können.
 
  • Like
Reaktionen: framp und dil88
Ich setze die Funktion auf den meisten gemeinsamen Ordnern ein und bekomme mit der DS423+ und den HDDs gut 280MB/s über 2,5GbE bei großen Dateien. Ich sehe für normale Fileserver-Nutzung kein Problem.
 
Zuletzt bearbeitet:
  • Like
Reaktionen: ctrlaltdelete und framp
Klingt gut. Nur sehe ich dass Du SSDs im RAID5 nutzt. Ich nutze HDDs. Ich könnte mir vorstellen dass es da schon Performanceunterschiede gibt.
 
Daher habe ich ja geschrieben, mit deiner Ausstattung testen und berichten. 😉
 
  • Like
Reaktionen: framp
Ich habe mal zwei shared Folder bei mir angelegt: Einen ohne und einen mit data checksum. Anbei dass Messergebnis:

Code: 
Sequential WRITE speed with big blocks QD32

fio --name TEST --eta-newline=5s --filename=fio-tempfile.dat --rw=write --size=500m --io_size=10g --blocksize=1024k --ioengine=libaio --fsync=10000 --iodepth=32 --direct=1 --numjobs=1 --runtime=60 --group_reporting
TEST: (g=0): rw=write, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=32
fio-3.33
Starting 1 process
TEST: Laying out IO file (1 file / 500MiB)
Jobs: 1 (f=1): [W(1)][11.7%][w=136MiB/s][w=136 IOPS][eta 00m:53s]
Jobs: 1 (f=1): [W(1)][21.7%][w=144MiB/s][w=144 IOPS][eta 00m:47s]
Jobs: 1 (f=1): [W(1)][31.1%][w=112MiB/s][w=112 IOPS][eta 00m:42s]
Jobs: 1 (f=1): [W(1)][41.0%][w=147MiB/s][w=147 IOPS][eta 00m:36s]9s]
Jobs: 1 (f=1): [W(1)][50.8%][w=137MiB/s][w=137 IOPS][eta 00m:30s]
Jobs: 1 (f=1): [W(1)][60.7%][w=135MiB/s][w=135 IOPS][eta 00m:24s]
Jobs: 1 (f=1): [W(1)][70.5%][w=144MiB/s][w=144 IOPS][eta 00m:18s]
Jobs: 1 (f=1): [W(1)][80.3%][w=137MiB/s][w=137 IOPS][eta 00m:12s]
Jobs: 1 (f=1): [W(1)][90.2%][w=135MiB/s][w=135 IOPS][eta 00m:06s]
Jobs: 1 (f=1): [W(1)][100.0%][w=144MiB/s][w=144 IOPS][eta 00m:00s]
TEST: (groupid=0, jobs=1): err= 0: pid=21149: Sun Mar 16 18:47:13 2025
  write: IOPS=136, BW=137MiB/s (143MB/s)(8238MiB/60213msec); 0 zone resets
    slat (usec): min=234, max=25070, avg=425.08, stdev=639.22
    clat (msec): min=49, max=575, avg=232.34, stdev=49.31
     lat (msec): min=49, max=575, avg=232.77, stdev=49.28
    clat percentiles (msec):
     |  1.00th=[   95],  5.00th=[  197], 10.00th=[  218], 20.00th=[  220],
     | 30.00th=[  222], 40.00th=[  222], 50.00th=[  222], 60.00th=[  224],
     | 70.00th=[  224], 80.00th=[  234], 90.00th=[  275], 95.00th=[  326],
     | 99.00th=[  430], 99.50th=[  481], 99.90th=[  542], 99.95th=[  558],
     | 99.99th=[  575]
   bw (  KiB/s): min=63488, max=190464, per=99.98%, avg=140064.12, stdev=17274.95, samples=120
   iops        : min=   62, max=  186, avg=136.78, stdev=16.88, samples=120
  lat (msec)   : 50=0.02%, 100=1.20%, 250=83.18%, 500=15.17%, 750=0.42%
  cpu          : usr=3.23%, sys=2.11%, ctx=11751, majf=0, minf=10
  IO depths    : 1=0.2%, 2=0.4%, 4=0.8%, 8=1.7%, 16=3.3%, 32=93.6%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=99.8%, 8=0.0%, 16=0.0%, 32=0.2%, 64=0.0%, >=64=0.0%
     issued rwts: total=0,8238,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=32

Run status group 0 (all jobs):
  WRITE: bw=137MiB/s (143MB/s), 137MiB/s-137MiB/s (143MB/s-143MB/s), io=8238MiB (8638MB), run=60213-60213msec

fio --name TEST --eta-newline=5s --filename=fio-tempfile.dat --rw=write --size=500m --io_size=10g --blocksize=1024k --ioengine=libaio --fsync=10000 --iodepth=32 --direct=1 --numjobs=1 --runtime=60 --group_reporting
TEST: (g=0): rw=write, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=32
fio-3.33
Starting 1 process
TEST: Laying out IO file (1 file / 500MiB)
Jobs: 1 (f=1): [W(1)][11.7%][w=138MiB/s][w=138 IOPS][eta 00m:53s]
Jobs: 1 (f=1): [W(1)][21.7%][w=137MiB/s][w=137 IOPS][eta 00m:47s]
Jobs: 1 (f=1): [W(1)][31.7%][w=146MiB/s][w=146 IOPS][eta 00m:41s]
Jobs: 1 (f=1): [W(1)][41.7%][w=141MiB/s][w=141 IOPS][eta 00m:35s]
Jobs: 1 (f=1): [W(1)][51.7%][w=145MiB/s][w=145 IOPS][eta 00m:29s]
Jobs: 1 (f=1): [W(1)][61.7%][w=133MiB/s][w=133 IOPS][eta 00m:23s]
Jobs: 1 (f=1): [W(1)][70.5%][w=146MiB/s][w=146 IOPS][eta 00m:18s]
Jobs: 1 (f=1): [W(1)][80.3%][w=75.1MiB/s][w=75 IOPS][eta 00m:12s]
Jobs: 1 (f=1): [W(1)][90.2%][w=143MiB/s][w=143 IOPS][eta 00m:06s]
Jobs: 1 (f=1): [W(1)][100.0%][w=112MiB/s][w=112 IOPS][eta 00m:00s]
TEST: (groupid=0, jobs=1): err= 0: pid=21753: Sun Mar 16 18:48:54 2025
  write: IOPS=135, BW=136MiB/s (143MB/s)(8189MiB/60228msec); 0 zone resets
    slat (usec): min=822, max=76903, avg=1178.78, stdev=1898.33
    clat (msec): min=32, max=1917, avg=232.08, stdev=54.99
     lat (msec): min=33, max=1918, avg=233.26, stdev=54.93
    clat percentiles (msec):
     |  1.00th=[   81],  5.00th=[  171], 10.00th=[  207], 20.00th=[  215],
     | 30.00th=[  218], 40.00th=[  220], 50.00th=[  222], 60.00th=[  224],
     | 70.00th=[  230], 80.00th=[  247], 90.00th=[  288], 95.00th=[  326],
     | 99.00th=[  418], 99.50th=[  472], 99.90th=[  550], 99.95th=[  567],
     | 99.99th=[ 1921]
   bw (  KiB/s): min=77824, max=196608, per=99.98%, avg=139199.11, stdev=16478.79, samples=120
   iops        : min=   76, max=  192, avg=135.91, stdev=16.09, samples=120
  lat (msec)   : 50=0.29%, 100=1.33%, 250=79.24%, 500=18.82%, 750=0.31%
  lat (msec)   : 2000=0.01%
  cpu          : usr=2.95%, sys=8.95%, ctx=14225, majf=0, minf=10
  IO depths    : 1=0.2%, 2=0.4%, 4=0.8%, 8=1.7%, 16=3.3%, 32=93.6%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=99.8%, 8=0.0%, 16=0.0%, 32=0.2%, 64=0.0%, >=64=0.0%
     issued rwts: total=0,8189,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=32

Run status group 0 (all jobs):
  WRITE: bw=136MiB/s (143MB/s), 136MiB/s-136MiB/s (143MB/s-143MB/s), io=8189MiB (8587MB), run=60228-60228msec

Mixed random 4K read and write QD1 with sync

=====================================================
===> enable data checksum for advanced data integrity
=====================================================

fio --name TEST --eta-newline=5s --filename=fio-tempfile.dat --rw=randrw --size=500m --io_size=10g --blocksize=4k --ioengine=libaio --fsync=1 --iodepth=1 --direct=1 --numjobs=1 --runtime=60 --group_reporting
TEST: (g=0): rw=randrw, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.33
Starting 1 process
Jobs: 1 (f=1): [m(1)][11.5%][r=24KiB/s,w=24KiB/s][r=6,w=6 IOPS][eta 00m:54s]
Jobs: 1 (f=1): [m(1)][21.3%][r=28KiB/s,w=20KiB/s][r=7,w=5 IOPS][eta 00m:48s]
Jobs: 1 (f=1): [m(1)][31.1%][r=32KiB/s,w=24KiB/s][r=8,w=6 IOPS][eta 00m:42s]
Jobs: 1 (f=1): [m(1)][41.0%][r=16KiB/s,w=28KiB/s][r=4,w=7 IOPS][eta 00m:36s] 
Jobs: 1 (f=1): [m(1)][50.8%][r=28KiB/s,w=24KiB/s][r=7,w=6 IOPS][eta 00m:30s]
Jobs: 1 (f=1): [m(1)][60.7%][r=16KiB/s,w=24KiB/s][r=4,w=6 IOPS][eta 00m:24s]
Jobs: 1 (f=1): [m(1)][70.5%][r=16KiB/s,w=24KiB/s][r=4,w=6 IOPS][eta 00m:18s]
Jobs: 1 (f=1): [m(1)][80.3%][r=32KiB/s,w=24KiB/s][r=8,w=6 IOPS][eta 00m:12s]
Jobs: 1 (f=1): [m(1)][88.5%][r=20KiB/s,w=20KiB/s][r=5,w=5 IOPS][eta 00m:07s]
Jobs: 1 (f=1): [m(1)][98.4%][r=28KiB/s,w=20KiB/s][r=7,w=5 IOPS][eta 00m:01s]
Jobs: 1 (f=1): [m(1)][100.0%][r=24KiB/s,w=24KiB/s][r=6,w=6 IOPS][eta 00m:00s]
TEST: (groupid=0, jobs=1): err= 0: pid=23495: Sun Mar 16 18:52:50 2025
  read: IOPS=5, BW=22.7KiB/s (23.3kB/s)(1364KiB/60064msec)
    slat (usec): min=16, max=1634, avg=66.36, stdev=88.27
    clat (usec): min=59, max=81433, avg=19558.16, stdev=10182.90
     lat (usec): min=100, max=81456, avg=19624.53, stdev=10186.23
    clat percentiles (usec):
     |  1.00th=[   88],  5.00th=[ 2311], 10.00th=[ 4752], 20.00th=[11731],
     | 30.00th=[15533], 40.00th=[18482], 50.00th=[20055], 60.00th=[21890],
     | 70.00th=[23725], 80.00th=[27132], 90.00th=[30540], 95.00th=[34341],
     | 99.00th=[46400], 99.50th=[51119], 99.90th=[81265], 99.95th=[81265],
     | 99.99th=[81265]
   bw (  KiB/s): min=    8, max=   88, per=100.00%, avg=23.09, stdev=13.58, samples=118
   iops        : min=    2, max=   22, avg= 5.75, stdev= 3.39, samples=118
  write: IOPS=6, BW=24.6KiB/s (25.2kB/s)(1480KiB/60064msec); 0 zone resets
    slat (usec): min=61, max=28081, avg=190.91, stdev=1458.87
    clat (usec): min=14234, max=65704, avg=26918.34, stdev=8295.31
     lat (usec): min=14310, max=65813, avg=27109.25, stdev=8360.49
    clat percentiles (usec):
     |  1.00th=[15270],  5.00th=[16909], 10.00th=[18744], 20.00th=[20841],
     | 30.00th=[22938], 40.00th=[23987], 50.00th=[25035], 60.00th=[26608],
     | 70.00th=[28181], 80.00th=[31327], 90.00th=[34866], 95.00th=[44303],
     | 99.00th=[57934], 99.50th=[63177], 99.90th=[65799], 99.95th=[65799],
     | 99.99th=[65799]
   bw (  KiB/s): min=    8, max=   40, per=97.40%, avg=24.64, stdev= 6.52, samples=120
   iops        : min=    2, max=   10, avg= 6.14, stdev= 1.63, samples=120
  lat (usec)   : 100=1.41%, 500=0.14%
  lat (msec)   : 2=0.70%, 4=2.25%, 10=4.22%, 20=22.78%, 50=66.53%
  lat (msec)   : 100=1.97%
  fsync/fdatasync/sync_file_range:
    sync (usec): min=86, max=260323, avg=84645.81, stdev=43358.65
    sync percentiles (usec):
     |  1.00th=[  1958],  5.00th=[  6652], 10.00th=[ 17695], 20.00th=[ 56886],
     | 30.00th=[ 64750], 40.00th=[ 70779], 50.00th=[ 77071], 60.00th=[105382],
     | 70.00th=[115868], 80.00th=[124257], 90.00th=[133694], 95.00th=[145753],
     | 99.00th=[168821], 99.50th=[177210], 99.90th=[261096], 99.95th=[261096],
     | 99.99th=[261096]
  cpu          : usr=0.03%, sys=0.81%, ctx=4273, majf=0, minf=12
  IO depths    : 1=199.6%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=341,370,0,708 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: bw=22.7KiB/s (23.3kB/s), 22.7KiB/s-22.7KiB/s (23.3kB/s-23.3kB/s), io=1364KiB (1397kB), run=60064-60064msec
  WRITE: bw=24.6KiB/s (25.2kB/s), 24.6KiB/s-24.6KiB/s (25.2kB/s-25.2kB/s), io=1480KiB (1516kB), run=60064-60064msec

Letztendlich sind das 0.7% Overhead.

Ist ja wohl akzeptierbar der Overhead 🙂
 
  • Like
Reaktionen: Adama, maxblank und dil88


Schreibe deine Antwort....

Additional post fields

NAS-Central - Ihr Partner für NAS Lösungen
NAS-Central - The Home of NAS
 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat 

Hosted by netcup
IT Lösungen mit NAS Servern
IT Firma Trier
Fotograf Trier
   
Oben Unten