Aller au contenu


Réduire l'impact en utilisation disque des suppressions en IMAP


  • Veuillez vous connecter pour répondre
6 réponses à ce sujet

#1 vdagost

vdagost

    Zimbra Jedi

  • Membres
  • PipPipPipPip
  • 522 messages
  • LocalisationLyon

Posté 06 septembre 2018 - 16:17

Bonjour tout le monde,

En étudiant la cause d'un pic de charge de type CPU I/O Wait pendant 10 minutes sur un store je me suis rendu compte que certains utilisateurs pouvaient être amenés à supprimer plusieurs dizaines d'emails d'un coup sans utiliser SHIFT + SUPPR.

En conséquence le serveur store Zimbra copie chaque email un par un dans la Corbeille puis le supprime :


Citation

INFO  [ImapSSLServer-48] [name=user@company.com;mid=925;ip=10.69.212.31;oip=10.69.201.253;via=10.69.212.31(nginx/1.7.1);ua=Thunderbird/17.0.2;cid=17245;] mailop - Performing IMAP copy of Message (id=5724): copyId=18776, folderId=3, folderName=Trash, parentId=-5724.
INFO  [ImapSSLServer-63] [name=user@company.com;mid=925;ip=10.69.212.31;oip=10.69.201.253;via=10.69.212.31(nginx/1.7.1);ua=Thunderbird/17.0.2;cid=17245;] mailop - Deleting Message (id=5724).
Ce genre d'opération répété plusieurs fois surcharge le store à cause d'un seul utilisateur et impact les autres utilisateurs du store.

Existerait-il un paramétrage, au niveau du serveur IMAP Zimbra, pour ralentir ces opérations et ainsi réduire l'impact en utilisation disque ?
Thunderbird peut utiliser la commande IMAP "MOVE". Est-ce que Zimbra supporte cette capability ?

Victor
Zimbra 8.7.3 OSS + Zextras
11000 utilisateurs (10 stores)
RHEL 6

#2 Klug

Klug

    Zimbra Jedi

  • Membres
  • PipPipPipPip
  • 10 279 messages
  • LocalisationBeaucaire - Gard

Posté 07 septembre 2018 - 11:15

'jour tout seul.

Il faut arrêter d'utiliser l'IMAP, ça tue les mailstores.
Ou alors, attendre que le fameux imapd-server sorte de beta pour qu'on puisse enfin le déployer...

A ma connaissance, il n'y a pas de paramétrage côté ZCS.
Quant à la "capability" MOVE, c'est toi même qui listait les "capabilities" IMAP de ZCS ici : https://www.zimbrafr...imap-de-zimbra/

#3 vdagost

vdagost

    Zimbra Jedi

  • Membres
  • PipPipPipPip
  • 522 messages
  • LocalisationLyon

Posté 10 septembre 2018 - 08:21

Salut Klug,

C'est fou que ça ne soit pas implémenté (la RFC date de 2013).
Mais Zimbra utilise un système de hardlink dont un copy/delete/expunge IMAP bien que non atomique ne devrait pas consommer des I/O.
Faut que je creuse un peu cette semaine.

IMAP est la seule alternative quand tu as des utilisateurs qui gère 2, 3 voir 4 boites en parallèle dont ils ne connaissent pas le mdp. C'est le cas dans mon entreprise et je suis bloqué par rapport à des choses plus modernes comme le webmail ou même ActiveSync.

Victor
Zimbra 8.7.3 OSS + Zextras
11000 utilisateurs (10 stores)
RHEL 6

#4 Klug

Klug

    Zimbra Jedi

  • Membres
  • PipPipPipPip
  • 10 279 messages
  • LocalisationBeaucaire - Gard

Posté 10 septembre 2018 - 10:06

Non non, il y a des solutions alternatives dans le webmail.
Contacte Beezim au sujet du "bandeau" de ma part.

#5 vdagost

vdagost

    Zimbra Jedi

  • Membres
  • PipPipPipPip
  • 522 messages
  • LocalisationLyon

Posté 10 septembre 2018 - 14:05

Si tu parles des familly mailbox c'est à l'étude, mais il faut que toutes les boites soient sur la même plateforme Zimbra (ce qui n'est pas encore le cas à mon entreprise).

Sinon concernant mon soucis de charge je pense avoir trouvé une piste !

Zimbra effectivement ne fait pas de MOVE en IMAP et donc supprimer un email revient à faire :
UID COPY
UID STORE +FLAGS.SILENT \DELETED
UID EXPUNGE

Ce n'est pas atomique, mais ça marche.
Les performances sont bonnes car Zimbra utilise un système de hard links.

En revanche, dès que j'active les modules Zextras les performances chutent.
En rajoutant des logs de debug dans Zimbra j'ai déterminé que la classe com.zimbra.cs.store.file.FileBlobStore était surchargée par la classe org.openzal.zal.extension.InternalOverrideStoreManager.

Je vais voir avec mon support Zextras du coup.

Victor
Zimbra 8.7.3 OSS + Zextras
11000 utilisateurs (10 stores)
RHEL 6

#6 Klug

Klug

    Zimbra Jedi

  • Membres
  • PipPipPipPip
  • 10 279 messages
  • LocalisationBeaucaire - Gard

Posté 10 septembre 2018 - 14:49

Voir le messagevdagost, le 10 septembre 2018 - 14:05, dit :

Si tu parles des familly mailbox c'est à l'étude, mais il faut que toutes les boites soient sur la même plateforme Zimbra (ce qui n'est pas encore le cas à mon entreprise).
C'est "mieux" (au delà des fonctionnalités des) que les Family Mailboxes.

Voir le messagevdagost, le 10 septembre 2018 - 14:05, dit :

En revanche, dès que j'active les modules Zextras les performances chutent.
En rajoutant des logs de debug dans Zimbra j'ai déterminé que la classe com.zimbra.cs.store.file.FileBlobStore était surchargée par la classe org.openzal.zal.extension.InternalOverrideStoreManager.
Je vais voir avec mon support Zextras du coup.
Intéressant ça.
HSM ?

#7 vdagost

vdagost

    Zimbra Jedi

  • Membres
  • PipPipPipPip
  • 522 messages
  • LocalisationLyon

Posté 13 septembre 2018 - 13:53

Oui effectivement c'est le module HSM qui utilise la classe org.openzal.zal.extension.InternalOverrideStoreManager.
Je l'utilise juste pour déplacer des comptes donc je l'ai coupé et je suis revenu à l'utilisation de la classe com.zimbra.cs.store.file.FileBlobStore.

Mais difficile pour moi de dire si les pics de charge I/O sont corrigés grade à cela.
J'ai escaladé au support Zextras qui est forcement très intéressé, mais l'évolution ne va pas être triviale.
Zimbra 8.7.3 OSS + Zextras
11000 utilisateurs (10 stores)
RHEL 6




0 utilisateur(s) li(sen)t ce sujet

0 membre(s), 0 invité(s), 0 utilisateur(s) anonyme(s)