DSM5: Mails per Pop3 einsammeln und mit dovecot filtern

[Casey]

Hi.

Für ein paar Tage suche ich nun schon einen Weg wie ich Mails von meinen Pop3-Mailaccounts einzusammeln und an einer zentralen Stelle zu filtern. Ich habe es soweit hinbekommen das MailStation/roundcube die Emails einsammelt und in den Posteingang packt. Soweit so einfach.
Danach habe ich Filter in Roundcube angelegt und später festgestellt das diese anscheint nur für Emails gelten die direkt an die DiskStation gesendet werden.

Ich habe nun nach Wegen gesucht die Mail durch die Roundcube-Filter(dovecot) zu jagen. Ich habe auch ein paar Wiki-Einträge und Forumthreads dazu gefunden.

http://www.synology-wiki.de/index.php/E-mails_filtern_mit_dovecot-sieve
Hier wird unter "Filter beim Einsammeln der Emails anwenden" beschrieben wie man die Emails an dovecot umleitet. Leider finde ich nicht wo ich die Änderungen vornehmen muss. Alles was ich finde sieht von der syntax ganz anders aus. Allgemein scheint der Eintrag etwas veraltet zu sein.

http://www.synology-forum.de/showthread.html?50673-MailServer-Sieve-Integration/page2
Hier wird procmail direkt zum Filtern verwendet. Ich würde aber gerne die dovecot Filter verwenden, da man diese direkt über die roundcube gui verwalten kann.

Leider sind meine Kenntnisse was Mailserver angeht mehr oder weniger gleich Null. Was ich bisher verstanden habe ist das es zwei Wege gibt wie Mails im Postfach landen

1.: Mail direkt an Diskstation -> dovecot -> Postfach
2.: Abrufen via Pop3(fetchmail) -> procmail -> Postfach

Ich würde gerne procmail oder fetchmail dazu bringen die Emails an dovecot weiterzureichen.

In /volume1/@appstore/MailStation/roundcubemail/ext liegen folgende Dateien wo man das wohl konfigurieren kann.

66856009 drwxr-xr-x 3 http http 4096 Nov 12 07:24 .
66854266 drwxr-xr-x 11 http http 4096 Oct 31 16:11 ..
66856011 drwxr-xr-x 2 http http 4096 Aug 4 19:43 .cert
66851332 -rw-r--r-- 1 basti users 124 Nov 12 07:24 user.proc.xxx.yyy.arcor.de
66851315 -rw-r--r-- 1 basti users 173 Nov 19 21:00 user.proc.xxx.yyy.web.de
66858285 -rw------- 1 basti users 814 Nov 12 07:24 user_fetch
66856010 -rw-r--r-- 1 http http 105 Nov 10 21:03 fetchmailrc
66856036 -rw-r--r-- 1 http http 106 Aug 4 19:43 procmailrc

In user_fetch stehen die Daten für die Abfrage und das weiterreichen an procmail.
mda "/var/packages/MailStation/target/bin/procmail -m \'/var/packages/MailStation/target/roundcubemail/ext/user.proc.xxx.yyy.arcor.de\'"

in der entsprechenden procmail-Datei steht dann:
#### .procmailrc
MAILDIR="/var/services/homes/user"
DEFAULT=$MAILDIR/.Maildir/
LOGFILE=/dev/null
VERBOSE=off

:0
.Maildir/

Eine der beiden Dateien muss ich wahrscheinlich so modifizieren das die Nachrichten an dovecot weitergereicht werden. Problem ist nur ich habe keine Ahnung wie und wie sich das dann mit meheren Usern verhält, da procmail die emails anscheint in user-spezifische Postfächer verschiebt, der dovecot-Pfad dies aber nicht aufweist.
.sieve Dateien die anscheint von roundcube erzeugt werden liegen unter /volume1/homes/user/sieve.
Der Pfad der dafür nötig ist scheint "/volume1/@appstore/MailServer/libexec/dovecot/deliver" zu sein. Der wird auch in dem Wiki-Eintrag genannt und existiert auch noch.

Eine Alternative wäre wohl noch die Emails per fetchmal abzuholen und dann per sendmail an den eigentlich Mailserver weiterzuschicken. Aber da bin ich ebenfalls überfragt wie.

DSM, MailServer und MailStation sind alle auf der aktuellen Version.

Vielen Dank für eure Hilfe

 

[grenolog]

Hallo Casey,

habe dasselbe Problem/dieselben Fragen:

Procmail und dovecot-lda (aka deliver)
Wie hier beschrieben, verwendet unter DSM 5 Roundcube (==Mailstation) procmail zum Einsammeln der E-Mail-Adressen.

Dabei wird für jeden Pop3-Account im Verzeichnis "/volume1/@appstore/MailStation/roundcubemail/ext/" eine separate procmail-Konfigurationsdatei angelegt. Diese folgt dem Muster <lokaler Username>.proc.<E-Mail-Name>.<E-Mail-Domain>.<E-Mail TLD>, z.B. "/volume1/@appstore/MailStation/roundcubemail/ext/max.proc.max.mustermann.de".

Beispiel procmail:

maxnas> cat max.proc.max.mustermann.de
#### .procmailrc
MAILDIR="/var/services/homes/max"
DEFAULT=$MAILDIR/.Maildir/
LOGFILE=/dev/null
VERBOSE=off

:0
.Maildir/
"

Diese Dateien werden wiederum über die fetchmail-Konfigurationsdatei <Username>_fetch, z.B. "max_fetch", eingelesen und darin procmail als Argument übergeben.

Beispiel Fetchmail:

maxnas> cat max_fetch
#### .fetchmailrc
set daemon 300
set logfile "/var/services/homes/max/.Maildir/fetchmail.log"
#set syslog
#### "max@mustermann.de"
poll "pop3.mustermann.de" with protocol POP3 and port 995:
user "max" pass "password" is "max" here
options ssl
no keep
mda "/var/packages/MailStation/target/bin/procmail -m \'/var/packages/MailStation/target/roundcubemail/ext/max.proc.max.mustermann.de\'"

Die procmail-Dateien können (wie im o.a.) Forenbeitrag erwähnt, verwendet werden, um E-Mails zu filtern. Das hat den entscheidenden Nachteil, dass die Sieve-Filterskripte nicht verwendet werden können. Gleichzeitig ist die procmail-Syntax nicht so - <ehem> - "intuitiv" wie die von Sieve. Schließlich entfällt die Möglichkeit, über die Roundcube-Oberfläche die Skripte ändern/erstellen zu können.

Grundsätzlich sollte es aber möglich sein, dovecot-lda (aka deliver) und procmail zu verwenden, siehe http://wiki2.dovecot.org/procmail.

Versuche, das umzusetzen, könnten z.B. so aussehen:

grenas01> cat max.proc.max.mustermann.de
#### .procmailrc
MAILDIR="/var/services/homes/max"
DEFAULT=$MAILDIR/.Maildir/
LOGFILE=/dev/null
VERBOSE=off

:0 w
| /volume1/@appstore/MailServer/libexec/dovecot/dovecot-lda -d max

Aber leider funktioniert das nicht.

procmail beschwert sich wie folgt:

procmail: Program failure (75) of "/volume1/@appstore/MailServer/libexec/dovecot/dovecot-lda"
procmail: Assigning "LASTFOLDER=/volume1/@appstore/MailServer/libexec/dovecot/dovecot-lda -d max"
procmail: Assigning "LASTFOLDER=/var/services/homes/max/.Maildir/new/_yoD.Sg9sUB.maxnas01"
Subject: =?UTF-8?B?TkFTOiAgRFNNIHVwZGF0ZSBpcyByZWFkeSB0byBiZSBpbnN0YWxsZWQgb24
Folder: /var/services/homes/max/.Maildir/new/_yoD.Sg9sUB.maxnas0 1099

Und dovecot so:

Jan 12 15:12:22 lda(max): Fatal: setgid(100(users) from userdb lookup) failed with euid=1026(max), gid=0(root), egid=0(root): Operation not permitted (This binary should probably be called with process group set to 100(users) instead of 0(root))

Das sieht nach einem Rechteproblem aus, ich hab '/volume1/@appstore/MailServer/libexec/dovecot/dovecot-lda' mal der Gruppe users zugeteilt, aber das hat nicht funktioniert.

Hat irgendjemand in diesem Forum eine Idee, wie man das Sieve-basierte Filtern auch beim Einsammeln der POP3-Mails anwenden kann?

Dank + Gruß

grenolog

 

[Waldschrat]

Hallo Leute.

Ich hab das selbe Problem, aber folgende Antwort vom Synology Support gefunden. Die stützt die Annahme, dass der Filter in Roundcube nur e-Mails unterstützt die direkt an die DS geschickt werden:
http://forum.synology.com/enu/viewtopic.php?f=132&t=92770

Dann habe ich noch folgende Erweiterung für Roundcube gefunden die Eure Probleme möglicherweise lösen könnten (ich habe die Erweiterung noch nicht ausprobiert da ich 900km von meinem Server entfernt sitze :
http://sourceforge.net/projects/rcubefilters/

Grüsse

 

[grenolog]

Hallo Waldschrat,

vielen Dank für Deinen Tip! Habs mal ausprobiert - bei mir tut's leider nicht - das 'filters'-Plugin, mit dem man Regeln erstellen können soll, ließ sich zwar einfach installieren, aber leider hat es die erstellten Regeln nicht ausgeführt...

Aus meiner Sicht wäre der sauberste Weg nach wie vor, wenn man anstelle Procmails ebenfalls Sieve für die über fetchmail angelieferten E-Mails verwenden könnte. Ich hatte das jahrelang auf einer separaten Linux-Box mit cyrus gemacht und da ging das einwandfrei.

Grüße

--grenolog.

 

[Waldschrat]

Schau mal was ich noch gefunden habe:
http://www.dovecot.org/list/dovecot/2007-July/024012.html

Hier werden die Mails deart umgeleitet dass die RC-GUI greift ...

poll bastion.org with proto POP3
user john there with pass password
options fetchall
mda "/usr/lib/dovecot/deliver"

Kann das leider nicht probieren wegen Angst (Entfernung zum Server immer noch >900km)

 

[grenolog]

Super, ganz vielen Dank (war leider mit einer echten Grippe geplagt, deshalb die späte Antwort)!

Hatte ich auch schon gefunden und es z.B. mit

mda "/volume1/@appstore/MailServer/libexec/dovecot/dovecot-lda -d %T"

bzw.

mda "/volume1/@appstore/MailServer/bin/spamc -u %T -e /volume1/@appstore/MailServer/libexec/dovecot/dovecot-lda -d %T"

(in allen Varianten: auch ohne -d)

Dann hagelt es aber nur "sh: /volume1/@appstore/MailServer/libexec/dovecot/dovecot-lda: Permission denied"-Fehler.

Ich hab mir noch http://wiki2.dovecot.org/LDA angeschaut und einiges ausprobiert (insbesondere setuid-root, siehe Abschnitt "Multiple UIDs". Hat alles nichts geholfen. Zu blöd, oder? Bei den Procmail-Regeln schaffe ich es wiederum nicht, eine einfache Copy-Forward-Regel zum Laufen zu bekommen. Vielleicht richte ich mir doch eine separate Box nur für den Mailserver ein. Wenn ich mal in Rente gegangen bin.

 

[ChrisXY]

Hallo, gibt es mitlerweile eine lösung?

 

[grenolog]

Ja, bei mir läufts jetzt eine ganze Weile (seit Mitte 2015) schon ohne Probleme, allerdings mit einer erheblichen Sicherheitseinschränkung.

Kritisch ist bei mir

>chmod 04750 /volume1/@appstore/MailServer/libexec/dovecot/dovecot-lda

das ich jedes mal, wenn das MailServer-Package aktualisiert wird, ausführen muss.

Ferner führe ich aus, allerdings ohne noch zu wissen, ob das etwas bringt (hab ich nicht mehr einzeln getestet wg. Zeitmangels):

chown -R root:mail /volume1/@appstore/MailServer/
# wie oben
chown -h root:mail /volume1/@appstore/MailServer/libexec/dovecot/deliver
chown -h root:mail /volume1/@appstore/MailServer/libexec/dovecot/dovecot-auth
chmod 0600 /volume1/@appstore/MailStation/mail/ext/fetchmailrc

>cd /volume1/@appstore/MailStation/mail/ext/
>cat procmailrc
MAILDIR="_currentuserdirectory"
DEFAULT=$MAILDIR/.Maildir/
LOGFILE=/dev/null
VERBOSE=off

>cat fetchmailrc
#### .fetchmailrc
set daemon 300
#set logfile "_currentuserdirectory/.Maildir/fetchmail.log"
#set syslog

cat <<MySynoUserName>>_fetch
set daemon 372
set logfile "/var/services/homes/<<MySynoUserName>>/.<<MySynoUserName>>log/fetchmail-<<MySynoUserName>>.log"
set syslog

poll "my.home.de" with protocol POP3 and port 110:
user "myexternalusername" pass "mysecretpassword" is "<<MySynoUserName>>" here preconnect "date >> /var/services/homes/<<MySynoUserName>>/.mylog/fetchmail-mysynousername.log"
fetchall
no keep
mda "/volume1/@appstore/MailServer/libexec/dovecot/dovecot-lda -d %T"

Und schließlich

cat <<MySynoUserName>>.proc.myexternalemailaddress
MAILDIR="/var/services/homes/<<MySynoUserName>>"
DEFAULT=$MAILDIR/.Maildir/
LOGFILE=/dev/null
VERBOSE=off

:0
.Maildir/

Hoffe das hilft. Message ist jedenfalls - es geht, funktioniert für mehrere User und man kann die Filter auch über Roundcube verwalten.

Viel Erfolg + Grüße

grenolog

 

[grenolog]

Hm, erst jetzt bemerkt: Am 04.01.2017 gab's ein Update:

Laut
https://www.synology.com/de-de/releaseNote/MailStation
sollte es auch ohne weiteres Zutun funktionieren:

Version: 20161212-0278

(2017/01/04)
Supports applying filter rules to POP3-fetched emails.
Upgraded Roundcube to 1.2.3.
Upgraded to be compatible with PHP 5.6.
Minor bug fixes.

 

[TACiboy]

Funktioniert nur leider noch nicht so richtig... Siehe auch hier

 

[grenolog]

Und hast Du Dir hier meine Informationen unter #8 angeschaut? Funktioniert das auch nicht?

 

[sowosamma]

Hallo zusammen,

ich habe bisher MailStation und MailServer auf meiner DS109+ (DSM 4) genutzt, um damit meine diversen E-Mail Konten per POP3 abzufragen. Bisher ohne SPAM-Filter und Blacklisten. Seit Freitag habe ich eine DS218+ und nachdem alles soweit läuft, wollte ich mich auch mit dem Thema SPAM-Filter und Blacklist beschäftigen. Ich habe verstanden, dass die Einstellungen auf dem MailServer leider nicht für den POP3-Abruf gelten. Jetzt habe ich diverse Beiträge gefunden, wo manuell etwas über die Konsole angepasst wurde, aber auch den Hinweis (unter anderem hier in Post #9), dass es 2017 ein Update bei der MailStation gab, dass SPAM & Co auch bei POP3 funktionieren. Aber dabei scheint es anfangs noch Probleme gegeben zu haben. Mittlerweile sind aber zwei Jahre vergangen und deswegen meine Frage: Funktioniert SPAM & Co in Roundcube mittlerweile oder muss man immer noch Skripte anpassen? Und falls ja wie?

Viele Grüße,
Andi

 

[Waldschrat]

Hallo Andi.

Ich mache das seit geraumer Zeit mittels Weiterleitung an die selbe Adresse die ich mittels POP3 abrufe.
Hier die Konfiguration von POP3:


Hier die Konfiguration der Weiterleitung:


Und hier Beispiele von Roundcube-Filtern:


Das Einzige was in den RC-Filtern nicht funktioniert, ist Nachrichten als "gelesen" markieren zu lassen.

Grüße

 

[sowosamma]

Danke für den Tip. Aber das würde ja bedeuten, dass wenn ich einen Absender blockieren will muss ich einen Filter in jedem Konto anlegen. Hmmm, nicht die optimale Lösung. Hatte gehofft den SPAM-Filter und die Black-Liste des MailServers zu nutzen

BTW: Hast Du SMTP am Server aktiviert?

 

[Waldschrat]

SMTP ist aktiv und für mehrere Konten/externe Mailprovider konfiguriert.

 

[sowosamma]

SMTP ist aktiv und für mehrere Konten/externe Mailprovider konfiguriert.

sorry, dass ich erst jetzt antworte. Nur um sicher zu gehen. SMTP in Roundcube (MailStation) oder MailServer? Ich frage, weil ich dachte SMTP in Roundcube trägt man ein, um E-Mails über die externen Konten zu verschicken. Und den SMTP auf dem MailServer richtet man nur ein wenn man einen eigenen MailServer mit Domain (@meine_domain.de) hat. Und der SPAM-Filter und die Blacklist funktioniert ja leider nur mit dem SMTP des MailServers. Oder bin ich da komplett falsch?

Viele Grüße,
Andi

 

[Waldschrat]

Hier die Mailserver Konfiguration:


Hier die MailStation:


Mailversand über externes Relay. Ich hab mehrere Mailkonten mittels Konfig-Files innerhalb des MailServers (liefere ich auf Verlangen nach).

Filter innerhalb RoundCube funktioniert mittels Weiterleitung. Blacklist habe ich noch keine entdeckt.

 

[sowosamma]

Danke!

Ich bin jetzt paar Tage nicht zu Hause. Werde es aber mal versuchen, wenn ich wieder an die DiskStation ran komme

Zwei Fragen noch:
- Der SMTP-Server auf der MailStation (zweites Bild) ist eine interne IP oder hast Du eine feste externe IP?
- Den Mailversand über externes Relay benötigt man, dass der Versand über eine dynDSN nicht geblockt wird habe ich gelesen. Ich habe auch mehrere Konten (1&1, web.de, gmx...). Könntest Du mir das Konfig-File bitte zukommen lassen?

Vielen Dank,
Andi

 

[Waldschrat]

- Der SMTP-Server auf der MailStation (zweites Bild) ist eine interne IP oder hast Du eine feste externe IP?
- Den Mailversand über externes Relay benötigt man, dass der Versand über eine dynDSN nicht geblockt wird habe ich gelesen.

@1: Der SMTP-Server auf der MailStation (zweites Bild) ist die interne IP der DiskStation
@2: So habe ich das auch verstanden (beim BEtrieb eines eigenen Mailservers ohne Relay benötigst du zwingend ein gültiges Zertifikat)

Die Konfiguration über Konfigfiles (mindestens 3) ist komplex und nicht eben schnell erklärt. Zumindest ich habe einige Wochen gebraucht bis ich es verstanden hatte und es zuverlässig lief. Seither läuft es aber problemlos und ich würde es jederzeit wieder so machen. Eine Erklärung hier sprengt mein momentanes Zeitbudget. Wenn´s mir möglich ist reiche ich die Files und eine Erklärung nach.

 

[Waldschrat]

Anleitung: mehrere Mailkonten im MailServer anlegen

Jetzt habe ich ein bisschen Zeit.

Es gibt zwei Pfade unter welchen die Konfigfiles liegen:
1. /volume1/@appstore/MailServer/etc
2. /volume1/@appstore/MailServer/etc/template

Login als admin bei Deiner DS (unter Linux Terminal öffnen dann ssh admin@DEINEIP). Dann su werden mit sudo -i

Die Files die Du neu anlegen musst (sofern noch nicht vorhanden) sind (unter Pfad 1):

• sasl_passwd
• sender_relay
• virtual

Zu ändern ist das File main.cf (unter Pfad 1).

Hier der Inhalt von sasl_passwd:

email1@gmx.net		email1@gmx.net:passwort1
email2@gmail.com	email2@gmail.com:passwort2

Es enthält Deine e-Mails mit den Passwörtern mit welchen Du Dich bei Deinen Providern einloggst.

Inhalt von sender_relay:

email1@gmx.net		mail.gmx.net:587
email2@gmail.com       smtp.googlemail.com:587

Hier werden die SMPT-Server eingetragen.

Inhalt von virtual:

email1@gmx.net@mail.gmx.net			DS-Benutzer1
email2@gmail.com@smtp.googlemail.com           DS-Benutzer2

Hier findet die Verknüpfung mit den DS-Benutzern statt.

Nach dem Anlegen die Rechte vergeben mit chmod 770.

Jetzt jedes einzelne File kompilieren mit

/volume1/@appstore/MailServer/sbin/postmap /volume1/@appstore/MailServer/etc/virtual >>log.txt
/volume1/@appstore/MailServer/sbin/postmap /volume1/@appstore/MailServer/etc/sasl_passwd >>log.txt
/volume1/@appstore/MailServer/sbin/postmap /volume1/@appstore/MailServer/etc/sender_relay >>log.txt

Jetzt noch die Änderungen in der main.cf:

#-------------- von mir eingefügt ----------------
smtp_use_tls = yes
smtp_tls_enforce_peername = no
smtp_sasl_security_options = noanonymous
smtp_sasl_auth_enable = yes

smtpd_sasl_authenticated_header = yes
smtp_sender_dependent_authentication = yes
smtp_sasl_password_maps = hash:/volume1/@appstore/MailServer/etc/sasl_passwd
sender_dependent_relayhost_maps = hash:/volume1/@appstore/MailServer/etc/sender_relay
virtual_alias_maps = hash:/volume1/@appstore/MailServer/etc/virtual
virtual_alias_domains = mail.gmx.net smtp.googlemail.com
#-------------- Ende Einfügung    ----------------

Soweit ich weiss ist die Position der Einfügung nicht wesentlich, ich habe es vor "myhostname = lokalerhost" eingefügt.

Nach dem Speichern muss die Änderung dem Postboten noch mitgeteilt werden mit:

/volume1/@appstore/MailServer/sbin/postfix reload >>log.txt

Damit Deine Änderungen in der main.cf nach einem Neustart der DS nicht verlorengehen muss die "Einfügung" noch in der Datei "main.template" (unter Pfad 2) eingefügt werden:
Wechsel zum Pfad2, dann editiere mit vi main.template. Dann fügst Du ganz am Ende noch einmal das Selbe ein:

#-------------- von mir eingefügt ----------------
smtp_use_tls = yes
smtp_tls_enforce_peername = no
smtp_sasl_security_options = noanonymous
smtp_sasl_auth_enable = yes

smtpd_sasl_authenticated_header = yes
smtp_sender_dependent_authentication = yes
smtp_sasl_password_maps = hash:/volume1/@appstore/MailServer/etc/sasl_passwd
sender_dependent_relayhost_maps = hash:/volume1/@appstore/MailServer/etc/sender_relay
virtual_alias_maps = hash:/volume1/@appstore/MailServer/etc/virtual
virtual_alias_domains = mail.gmx.net smtp.googlemail.com
#-------------- Ende Einfügung    ----------------

Diese Anleitung habe ich mir in diesem Forum mit Hilfe vieler sehr hilfsbereiter Members zusammengestoppelt. Vielen Dank an alle an dieser Stelle! Bis es bei mir lief hat es dann noch einige Wochen gedauert.

ACHTUNG!!
Bei einem Update des Mailservers gehen alle Dateien und Änderungen verloren!!
Ich habe mir ein Script geschrieben mit dem ich alles wegsichere und nach dem Update wieder zurückkopiere.

Viel Erfolg!!