Nach ein paar Stunden weiterer Versuche direkt auf der Kommandozeile von OCRmyPDF habe ich die Ursache gefunden:
Die Option -deskew hat zur Folge, dass die Bilder komprimiert werden und Artefakte entstehen. Wenn ich sie weg lasse sieht die PDF 100% wie das Original aus.
Optimize 0 und 1 hatten keinen Effekt weil ich eine optimize-ratio von 1.0 hatte und damit 0 % "Einsparung".
Folglich sehe ich für mich folgende Optionen
1. deskew weglassen --> hat eine etwas geringere OCR-Qualität zur Folge aber PDF wird nicht unnötig komprimiert
2. deskew lassen --> bessere OCR-Qualität aber Komprimierung mit Artefakten
3. deskew lassen und "oversample -600" --> PDF sieht annähernd gleich aus und OCR-Qualität ist gut, die Dateien aber auch merklich größer (ungefähr Faktor 2)
Ich werde erstmal mit Variante 1 weiter machen, der Gewinn an OCR-Qualität rechtfertigt nicht die anderen Nachteile von 2. bzw. 3.