SMTP Cache

Andy · 2023-02-13T23:57:30+00:00

Ich habe den Eindruck, dass Grommunio die zu versendenden Emails direkt an den externen Domainhost durchreichen möchte, wenn z.B. aus Outlook oder einem ande...

WalterH

Andy Das sehe ich auch so, Postfix versucht das Mail sofort zu versenden ohne es zu cachen.
Hatte aber noch keine Zeit das zu Untersuchen. Vermutlich ist die gromox-delivery -> postfix Verbindung nur eine LMTP aber keine SMTP Verbindung.

mwilliams

Andy

E-Mails durch http und zcore (web, sync, etc.) werden direkt an den definierten SMTP uebergeben. Im Falle der Appliance ist das [::1]:25. gromox-delivery agiert auf der Empfangsseite, nicht auf der Versandseite. Postfix laesst sich durch rate limits konfigurieren. Rad neu erfinden ist hier nicht nɶtig. Ein MUA (hier, gromox-* als client agierend) mɶchte immer schnellstmɶglich seine E-Mails losbekommen, denn der MTA hat alle Mittel um den transportweg mittels vorhandenen mechanismen zu queuen, throttlen, ... Rate limit kann z.B. so aussehen:

smtp_destination_concurrency_limit = 2
smtp_destination_rate_delay = 1s
smtp_extra_recipient_limit = 10

Gut ist, dass dieses rate limiting nicht die Annahme verweigert, sondern in portionierten Grɶßen weitergibt.

Andy

mwilliams mittels vorhandenen mechanismen zu queuen, throttlen, ... Rate limit

Eigentlich geht es nicht um Limitierung, denn überschreite ich Limits bei der Übertragung vom Client, zB. Outlook oder Nine, dann führt das doch eher zu Störungen, oder nicht?

Ob Grommunio nach dem Versand vom Client uU. längere Zeit braucht für die Weiterreichung, ist im Grunde nicht das Kriterium. Das Kriterium ist eher, den Client so schnell als möglich wieder frei zu bekommen für die Weiterarbeit. Und dafür wäre aber ein Zwischenspeicher erforderlich, aus dem dann Grommunio die Verarbeitung für den finalen Versand vornimmt.

Andy

Steht sowas tatsächlich irgendwo in einer Datei?

WalterH

Wenn gehört das in die /etc/postfix/main.cf und dann getestet. Wobei die Defaults scheinbar höher sind als MW hier vorgibt.

WalterH

Eigentlich sollte der Postfix cachen, wieso das nicht immer funktioniert muss man untersuchen, möglicherweise habe ich am WE Zeit dazu.
In der /etc/postfix/main.cf die Zeile: mynetworks = xx.xx.xx.0/24, 127.0.0.0/8, [::1]/128 sieht so ähnlich aus, also localhost für IPv4 und IPv6 sind eingetragen?
Im journalctl -f kommen beim Versand auch keine Fehler?

Andy

WalterH In der /etc/postfix/main.cf die Zeile: mynetworks = xx.xx.xx.0/24, 127.0.0.0/8, [::1]/128

Dort habe ich mit dem jetzigen Hinweis mynetworks = 192.168.168.0/24, 127.0.0.0/8 [::1]/128 stehen, vorher hatte ich da mynetworks = 127.0.0.0/8 [::1]/128 nachgetragen.

Was passiert, wenn das interne Netzwerk fehlt?

WalterH Im journalctl -f

Da konnte ich bislang keine Fehler erkennen.

WalterH

Andy Wenn das eigene Netz fehlt, werden SMTP Sender im eigenen Netz genauso behandelt wie externe Sender. Das bereitet Problemen, wenn z.B. Drucker oder andere Geräte Statusmails senden, die haben keinen PTR Eintrage und werden daher abgewiesen. Ist das eigene Netz eingetragen, werden alle Absender aus dem eigenen Netz angenommen und an das eigene System zugestellt - setzt voraus, das Relaying abgeschaltet ist.

WalterH

Andy Habe das gerade bei mir nachgestellt indem ich den relayhost = x.x.x.x auf einen nicht existierende Adresse gestellt habe. Damit kann Postfix nicht mehr zustellen und muss cachen. Das ändert nichts an der Geschwindigkeit mit der Outlook das Mail an grommunio übergibt. Was ich aber wieder festgestellt habe, wenn ca. 5 MB PDF Anhänge beim Mail dabei sind, benötigt Outlook bis zu ca. 10 Sekunden um das Fenster zu schließen, das ist die Zeit in der OL das Mail mit Anhängen an grommunio übergibt. Das ist meiner Meinung nach deutlich länger als bei Exchange oder Kopano. Meinst Du diese Verzögerung?

Andy

Ja, genau das. Und das hinterlässt dann den beschriebenen Eindruck. Noch ausgeprägter empfinde ich das in der Webapp. Solange gesendet wird, kann man rein gar nichts machen.

Ich habe auf meiner Testumgebung mal zum Vergleich die VM auf SATA-SSD´s laufen lassen und da geht der Sendevorgang erwartungsgemäss deutlich flotter, daher kommen nun in der Produktivumgebung NVMe-SSD´s rein, denn trotz flottem Host ist eine VM auf HDD´s einfach nicht das richtige. Aber damit ist nur bestätigt, was wir ohnehin schon wissen.

guillaume

Andy
Ich habe das mal interessehalber versucht nachzustellen.
Ich erstelle im Grommunio Webmailer eine neue Email und hänge 3 Anhänge à 10 MB an, und versende die Mail dann mit Strg+Enter. Innerhalb von 1 Sekunde lande ich wieder in der Posteingangs-Sicht und kann weiterarbeiten.
In Outlook 2021 ist es ähnlich, nach dem Versand der E-Mail schließt sich das Fenster, die Mail landet im Postausgang und wird im Hintergrund versendet. Ein Weiterarbeiten in Outlook ist währenddessen möglich.
Vielleicht habe ich aber auch das Problem nicht genau verstanden.

Grommunio läuft bei mir in einer KVM-VM auf einem Server mit HDDs.

WalterH

grommunio sagt immer, das SSD s verwendet werden sollen.

Andy

Stimmt, auch im allgemeinen bezüglich VM-Anwendungen, dann sind SSD´s eigentlich Voraussetzung.

Ich hatte auch die Dockeranwendung bzw. die Datenbank mit Anhängen von Kopano (Kopano4S) jahrelang auf SSD´s laufen, da war der Host aber nicht so performant und das lief eigentlich immer ziemlich gut. Ich wollte zugegeben einfach mal sehen, ob gute Performance ausreichen könnte. Es geht wohl, aber für ein gewohnt flüssiges Arbeiten sind SSD´s halt unabdingbar. Auch den MailPlus-Server, den ich noch parallel laufen habe, werde ich dorthin umziehen.

Andy

Das ist ja auch immer die Frage der Hardware, der Xeon in der Synology DS als Host ist nicht übel, aber halt auch nicht die Spitze. Ich denke mal entsprechend wird Deine Hardware sein, dass es bei Dir mit HDDs so läuft.

Ich bin vom Synology MailPlus-Server ausgegangen, wenn ich darüber schon mit dem Supermailer Emails versendet habe, die gingen im Sekundentakt auf den Server und von da fast so schnell dann weiter. Und das war auch auf einer Synology DS, nicht mal halb so performant wie die XS, HDDs mit EXT4.

Ich verbaue nun SSDs, dann mal sehen.

guillaume

Ja, vielleicht dann nicht ganz vergleichbar, habe einen Dedicated Server mit Intel Xeon E3-1275V6 mit ausreichend RAM und 2x HDD SATA 4,0 TB Enterprise, grommunio ist aber nicht der einzige VM-Gast auf dem Host.
Dann helfen bei Dir vielleicht die SSDs .

millilenium

Also bei mir mit NVMe-SSDs habe ich diese Verzögerung in Outlook (Online-Modus) ebenso - die Mails gehen erst nach 4-5 Sekunden raus/zu. Das behindert, wenn man viel schreibt, sehr.
Die mynetworks habe ich ebenso korrekt gesetzt und die LAN-Einstellungen der Appliance auch.

Gibt es hier evtl. noch einen Trick? Bei bisheriger Nutzung von Kopano wurde die Mail sofort in Outlook zum Postausgang abgegeben.

EDIT: ist nur in der online-Variante so, im Cached-Modus geht es sofort zum Postausgang über...