Aller au contenu


zmprov et accents


  • Veuillez vous connecter pour répondre
35 réponses à ce sujet

#1 bartounet

bartounet

    Zimbra Jedi

  • Membres
  • PipPipPipPip
  • 2 825 messages
  • LocalisationAngoulême

Posté 15 juillet 2010 - 13:36

Bonjour, tous est dans le titre, je suis en train de préparer mes fichiers pour ma migration Zimbra avec les commandes qui vont bien...

Il me reste un petit problème, c'est la gestion des accents...

par exemple à la sortie de domino j'aurai une commande comme ca:

zmprov ca jerome.vincent@domain.fr passwordtem displayName "Jérôme VINCENT" givenName Jérôme sn VINCENT

Vous vous doutez bien qu'une fois le compté crée je me retrouve dans l'affichage web avec des ? à la place des accents ?
Avez vous résolu ce problème ? ca m'embête de supprimer les accents dans les displayname....

Bon si on trouve pas de solution je les éditerai à la main dans l'interface d'admin, ca ne représente qu'une trentaine de compte... mais bon...
Serveur Production 2 Dell R905 128Go Ram cluster DRBD Xen 3.2 - SLES11 64bits
Zimbra NE V7.1.4 Xen SLES11-SP1 Paravirtualized (DomU 4Vcpus 8Go ram) - Prod 200 users
Serveur Perso HP Proliant DL120 DEDIBOX PRO Xeon® E3-1220 16Go Ram Opensuse 12.1 64bits Virtualisation Xen4
Zimbra OSE V8 Xen Ubuntu 10.04 LTS 64 bits Paravirtualized (DomU 2Vcpus 4Go ram) + Zextras - Potes et assoc
Auto-entreprise: Solutions informatiques sur mesure : http://www.info16.fr
Mon blog : http://blog.info16.fr
Image IPBImage IPBImage IPB

#2 Maillon

Maillon

    Membre avancé

  • Membres
  • 92 messages

Posté 05 avril 2011 - 10:59

Bonjour,

Je rencontre le même problème, est-ce que tu as réussi à trouver une solution ?
Je fais souvent un import massif de compte via un fichier excel que je transforme en csv mais j'ai des "virgules" à la place des caractères accentués.

Merci.
Cordialement,

Modifié par Maillon, 05 avril 2011 - 11:01.

Red Hat 5 Enterprise 64bits ZCS 6.0.9
Red Hat 6 Enterprise 64bits ZCS 8.0.0

#3 le_gache

le_gache

    Membre actif

  • Membres
  • PipPip
  • 142 messages
  • LocalisationAuray - Morbihan

Posté 05 avril 2011 - 15:18

Bonjour,

Avez-vous essayé de modifier le fichier csv avant l'import avec un outil du type notepad++ qui permet de modifier l'encodage, les fins de ligne (windows, unix...).

Dans une autre vie, sur un serveur MySQL, c'est ce que j'avais fait pour éviter ce problème. J'avais pas mal galéré et fait plusieurs essais...

Bonne journée.

Jérémie.
c'est en ratant qu'on réussit...
----------------------------------------------------------------------------------------------------------
ZCS 8.0.7 OSE + Zextras Suite 1.8.15 sur CentOS 6.5 64 bits sur Hyper-V

#4 Maillon

Maillon

    Membre avancé

  • Membres
  • 92 messages

Posté 05 avril 2011 - 16:25

Merci pour ton retour.
Alors non je n'ai pas essayé cette méthode car l'import est géré par un script donc si il y a une intervention manuelle c'est plus automatique :-)

Les caractères accentués sont soient remplacé par des virgules ou bien des choses bizarres "Frédéric".

Merci.
Cordialement,
Red Hat 5 Enterprise 64bits ZCS 6.0.9
Red Hat 6 Enterprise 64bits ZCS 8.0.0

#5 le_gache

le_gache

    Membre actif

  • Membres
  • PipPip
  • 142 messages
  • LocalisationAuray - Morbihan

Posté 05 avril 2011 - 17:06

Voir le messageMaillon, le 05 avril 2011 - 16:25, dit :

Les caractères accentués sont soient remplacé par des virgules ou bien des choses bizarres "Frédéric".

Ce type de problème est typiquement une histoire d'encodage : lecture sur un serveur en UTF-8 d'un fichier en ISO-8859 ou inversement. ..
c'est en ratant qu'on réussit...
----------------------------------------------------------------------------------------------------------
ZCS 8.0.7 OSE + Zextras Suite 1.8.15 sur CentOS 6.5 64 bits sur Hyper-V

#6 bartounet

bartounet

    Zimbra Jedi

  • Membres
  • PipPipPipPip
  • 2 825 messages
  • LocalisationAngoulême

Posté 05 avril 2011 - 19:44

Bah j'ai décidé de virer les accents de mes comptes au moins c'est plus net. :)
Serveur Production 2 Dell R905 128Go Ram cluster DRBD Xen 3.2 - SLES11 64bits
Zimbra NE V7.1.4 Xen SLES11-SP1 Paravirtualized (DomU 4Vcpus 8Go ram) - Prod 200 users
Serveur Perso HP Proliant DL120 DEDIBOX PRO Xeon® E3-1220 16Go Ram Opensuse 12.1 64bits Virtualisation Xen4
Zimbra OSE V8 Xen Ubuntu 10.04 LTS 64 bits Paravirtualized (DomU 2Vcpus 4Go ram) + Zextras - Potes et assoc
Auto-entreprise: Solutions informatiques sur mesure : http://www.info16.fr
Mon blog : http://blog.info16.fr
Image IPBImage IPBImage IPB

#7 Maillon

Maillon

    Membre avancé

  • Membres
  • 92 messages

Posté 06 avril 2011 - 09:19

Merci bartounet mais malheureusement c'est pas une solution possible pour moi.

@La_gache : merci de ta réponse

Voilà ce que je fais dans les script :
$1 => fichier xls
[...]
export LANG="fr_FR.UTF-8"
convertxls2csv -x "$1" -c "$1.csv"
iconv -f ISO-8859-1 -t UTF-8 "$1.csv" -o "$1-utf8.csv"

Donc à ce moment là le fichier $1-utf8.csv m'affiche bien les accents mais peut-être que ça vient du zmprov qui n'aime pas les accents. Voici comment je le fais :

 zmprov createAccount "$EMAIL" "$PASS" \
		zimbraCOSid									 "$ZIMBRACOSID" \
		displayName									 "$PRENOM $NOM" \
		sn													  "$NOM" \
		givenName									   "$PRENOM" \
		l													   "$SITE" \
		cn													  "$PRENOM $NOM" \
		telephoneNumber						 "$TEL" \
		company										 "$SOC" \
		ou													  "$SERV" \
		physicalDeliveryOfficeName	  "$BUREAU" \
		zimbraMailAlias		 "$ALIAS"

Si quelqu'un a une idée... :-)

Merci.
Cordialement,
Red Hat 5 Enterprise 64bits ZCS 6.0.9
Red Hat 6 Enterprise 64bits ZCS 8.0.0

#8 Maillon

Maillon

    Membre avancé

  • Membres
  • 92 messages

Posté 06 avril 2011 - 10:22

Je viens de faire un test avec un zmprov tout seul et j'ai le même problème :
zmprov createAccount "test2_accent@domain.fr" "5W7V63AA" displayName "Frédéric Stéphanè"

Dans l'interface web cela m'affiche "Fr��d��ric St��phan��" (mais moi je vois des virgules à la place de ces bidules)
Red Hat 5 Enterprise 64bits ZCS 6.0.9
Red Hat 6 Enterprise 64bits ZCS 8.0.0

#9 Klug

Klug

    Zimbra Jedi

  • Membres
  • PipPipPipPip
  • 10 434 messages
  • LocalisationBeaucaire - Gard

Posté 06 avril 2011 - 10:28

Il faut mettre toutes les commandes zmprov dans un fichier (en UTF8) puis lancer la totale sous la forme
zmprov < fichier


#10 Maillon

Maillon

    Membre avancé

  • Membres
  • 92 messages

Posté 06 avril 2011 - 14:27

Merci pour ta réponse Klug.
J'ai donc essayé ce que tu m'a dis mais cela n'a pas corrigé le problème :
$ file /tmp/test	  
/tmp/test: ISO-8859 text
$ cat /tmp/test	  
createAccount "test8_accent@domain.fr" "5W7V63AA" displayName "Fr�d�ric St�phani�"
$ iconv -f ISO-8859-1 -t UTF-8 "/tmp/test" -o "/tmp/test-utf8"
$ file /tmp/test-utf8 
/tmp/test-utf8: UTF-8 Unicode text
$ cat /tmp/test-utf8 
createAccount "test8_accent@domain.fr" "5W7V63AA" displayName "FrÃdÃric StÃphaniÃ"
$ zmprov < /tmp/test-utf8 
prov> 1b649ba5-cd45-4cda-a100-3a8cd5ce589c

Par contre dans l'interface web il m'a affiché les caractères bizarres visible dans le fichier   /tmp/test-utf8 .

Merci.
Cordialement,
Red Hat 5 Enterprise 64bits ZCS 6.0.9
Red Hat 6 Enterprise 64bits ZCS 8.0.0

#11 le_gache

le_gache

    Membre actif

  • Membres
  • PipPip
  • 142 messages
  • LocalisationAuray - Morbihan

Posté 06 avril 2011 - 14:39

Bonjour,

Tu te connectes comment à ton serveur ? Parce que j'ai déjà eu ce genre de problème avec les encodages et c'était dû à l'encodage utilisé par putty (client ssh sous windows).

Bonne journée.
c'est en ratant qu'on réussit...
----------------------------------------------------------------------------------------------------------
ZCS 8.0.7 OSE + Zextras Suite 1.8.15 sur CentOS 6.5 64 bits sur Hyper-V

#12 Maillon

Maillon

    Membre avancé

  • Membres
  • 92 messages

Posté 06 avril 2011 - 14:44

Je suis sous linux donc direct en ssh.
Voilà le env sous le compte zimbra du serveur. J'ai également essayé depuis 2 postes différents sous centos mais ça fait la même chose.

$ cat /etc/sysconfig/i18n 
LANG=en_US
SYSFONT="latarcyrheb-sun16"

$ env
JAVA_JVM_VERSION=1.5
HOSTNAME=SERVEUR
SHELL=/bin/bash
TERM=xterm
HISTSIZE=1000
PERL5LIB=/opt/zimbra/zimbramon/lib/x86_64-linux-thread-multi:/opt/zimbra/zimbramon/lib
LC_ALL=C
USER=zimbra
LS_COLORS=no=00:fi=00:di=00;34:ln=00;36:pi=40;33:so=00;35:bd=40;33;01:cd=40;33;01:or=01;05;37;41:mi=01;05;37;41:ex=00;32:*.cmd=00;32:*.exe=00;32:*.com=00;32:*.btm=00;32:*.bat=00;32:*.sh=00;32:*.csh=00;32:*.tar=00;31:*.tgz=00;31:*.arj=00;31:*.taz=00;31:*.lzh=00;31:*.zip=00;31:*.z=00;31:*.Z=00;31:*.gz=00;31:*.bz2=00;31:*.bz=00;31:*.tz=00;31:*.rpm=00;31:*.cpio=00;31:*.jpg=00;35:*.gif=00;35:*.bmp=00;35:*.xbm=00;35:*.xpm=00;35:*.png=00;35:*.tif=00;35:
SNMPCONFPATH=/opt/zimbra/conf
USERNAME=zimbra
MAIL=/var/spool/mail/zimbra
PATH=/opt/zimbra/bin:/opt/zimbra/postfix/sbin:/opt/zimbra/openldap/bin:/opt/zimbra/snmp/bin:/opt/zimbra/bdb/bin:/opt/zimbra/openssl/bin:/opt/zimbra/java/bin:/usr/sbin:/usr/kerberos/bin:/usr/local/bin:/bin:/usr/bin:/etc/iaos/bin
INPUTRC=/etc/inputrc
PWD=/opt/zimbra
JAVA_HOME=/opt/zimbra/java
LANG=C
PERLLIB=/opt/zimbra/zimbramon/lib/x86_64-linux-thread-multi:/opt/zimbra/zimbramon/lib
SHLVL=1
HOME=/opt/zimbra
LOGNAME=zimbra
LESSOPEN=|/usr/bin/lesspipe.sh %s
ZIMBRA_HOME=/opt/zimbra
G_BROKEN_FILENAMES=1
_=/bin/env

Merci.
Cordialement,
Red Hat 5 Enterprise 64bits ZCS 6.0.9
Red Hat 6 Enterprise 64bits ZCS 8.0.0

#13 le_gache

le_gache

    Membre actif

  • Membres
  • PipPip
  • 142 messages
  • LocalisationAuray - Morbihan

Posté 06 avril 2011 - 14:49

Voir le messageMaillon, le 06 avril 2011 - 14:44, dit :

[code]$ cat /etc/sysconfig/i18n
LANG=en_US
SYSFONT="latarcyrheb-sun16"

Euh, normalement, il ne faut pas être en fr_FR (vu que les US ne connaissent pas les accents) ?
c'est en ratant qu'on réussit...
----------------------------------------------------------------------------------------------------------
ZCS 8.0.7 OSE + Zextras Suite 1.8.15 sur CentOS 6.5 64 bits sur Hyper-V

#14 le_gache

le_gache

    Membre actif

  • Membres
  • PipPip
  • 142 messages
  • LocalisationAuray - Morbihan

Posté 06 avril 2011 - 15:17

Voir le messageMaillon, le 06 avril 2011 - 09:19, dit :

export LANG="fr_FR.UTF-8"
convertxls2csv -x "$1" -c "$1.csv"
iconv -f ISO-8859-1 -t UTF-8 "$1.csv" -o "$1-utf8.csv"

Si je comprend bien ton script :
1. tu dis que l'encodage et la langue sont fr_FR.UTF8
2. tu convertis ton fichier xls en csv (mais il est en quel encodage ton xls, à mon avis pas en UTF8 vu que sous windows on est rarement en utf8) : tu as alors un csv en fr_FR.UTF8
3. tu convertis ce fichier en utf8 depuis ISO-8859-1 vers UTF8 : ???

Et ensuite tu as un serveur qui cause en us_US...


Sous Windows, essaye, pour voir, de convertir ton fichier xls de départ en csv avec Openoffice, tu peux éditer le filtre et tu verras que par défaut, le jeu de caractères est "Europe occidentale (Windows-1252/WinLatin1)"  mais tu pourras choisir "Unicode (UTF-8)"  ou "Europe occidentale (ISO-8859-1)"...

Peut-être que tu devrais essayer de récupérer tes users en csv directement et pas en xls...

Jérémie.
c'est en ratant qu'on réussit...
----------------------------------------------------------------------------------------------------------
ZCS 8.0.7 OSE + Zextras Suite 1.8.15 sur CentOS 6.5 64 bits sur Hyper-V

#15 Maillon

Maillon

    Membre avancé

  • Membres
  • 92 messages

Posté 06 avril 2011 - 15:56

Voir le messagele_gache, le 06 avril 2011 - 15:17, dit :

Si je comprend bien ton script :
1. tu dis que l'encodage et la langue sont fr_FR.UTF8
2. tu convertis ton fichier xls en csv (mais il est en quel encodage ton xls, à mon avis pas en UTF8 vu que sous windows on est rarement en utf8) : tu as alors un csv en fr_FR.UTF8
3. tu convertis ce fichier en utf8 depuis ISO-8859-1 vers UTF8 : ???

Oui car je ne suis pas sûr que le fichier est le bon encodage quand je transforme le xls en csv c'est pour ça que derrière je le force en utf8

Voir le messagele_gache, le 06 avril 2011 - 15:17, dit :

Et ensuite tu as un serveur qui cause en us_US...


Sous Windows, essaye, pour voir, de convertir ton fichier xls de départ en csv avec Openoffice, tu peux éditer le filtre et tu verras que par défaut, le jeu de caractères est "Europe occidentale (Windows-1252/WinLatin1)"  mais tu pourras choisir "Unicode (UTF-8)"  ou "Europe occidentale (ISO-8859-1)"...

Peut-être que tu devrais essayer de récupérer tes users en csv directement et pas en xls...

Jérémie.

Alors effectivement je viens de tester : création d'un fichier csv avec openoffice avec export en UTF-8. La commande zmprov < /tmp/test n'a pas généré d'erreur et le compte a bien été crée avec des accents.

J'aurais donc une question : pourquoi sur le serveur quand je créer un fichier et que je le convertie en UTF-8 ça fonctionne pas par contre quand je créer un fichier via openoffice et que je l'export en utf-8 ça marche.

Sinon merci pour vos réponses et aides ça m'a permis de résoudre le problème.

Merci.
Cordialement,
Red Hat 5 Enterprise 64bits ZCS 6.0.9
Red Hat 6 Enterprise 64bits ZCS 8.0.0

#16 le_gache

le_gache

    Membre actif

  • Membres
  • PipPip
  • 142 messages
  • LocalisationAuray - Morbihan

Posté 06 avril 2011 - 16:02

Je pense que ça vient du jeu de caractères utilisé par excel. Lors de tes conversions tu ne devais pas avoir le bon jeu de caractères pour le fichier xls de départ... Par contre dans Excel (que je n'ai pas sur mon PC et je vis ça très bien :D) tu dois pouvoir aussi spécifier UTF8 pour enregistrer ta feuille en csv.
c'est en ratant qu'on réussit...
----------------------------------------------------------------------------------------------------------
ZCS 8.0.7 OSE + Zextras Suite 1.8.15 sur CentOS 6.5 64 bits sur Hyper-V

#17 Maillon

Maillon

    Membre avancé

  • Membres
  • 92 messages

Posté 06 avril 2011 - 16:37

Merci pour tes précisions et ton aide.

Cordialement,
Red Hat 5 Enterprise 64bits ZCS 6.0.9
Red Hat 6 Enterprise 64bits ZCS 8.0.0

#18 Klug

Klug

    Zimbra Jedi

  • Membres
  • PipPipPipPip
  • 10 434 messages
  • LocalisationBeaucaire - Gard

Posté 07 avril 2011 - 08:07

Ca se voyait dans le "cat"...
Il y a des carrés à la place des accents.

#19 Maillon

Maillon

    Membre avancé

  • Membres
  • 92 messages

Posté 07 avril 2011 - 10:20

Je reviens sur le post parce que c'est quand même vraiment bizarre :
si je tappe ceci ça ne fonctionne pas (caractère bizarre) :
export LANG="fr_FR.UTF-8"
zmprov createAccount 'f.dupont@domain.fr' '5GYLJVPH' displayName 'Frédéric DUPONT' sn 'DUPONT' givenName 'Frédéric' l 'FG' cn 'Frédéric DUPONT' telephoneNumber '' company '' ou '' physicalDeliveryOfficeName ''

Par contre si je copie/colle cette ligne dans un fichier encodé en UTF-8 et que je fais un zmprov < fichier cela fonctionne.

Quelqu'un aurait-il une explication ?
Red Hat 5 Enterprise 64bits ZCS 6.0.9
Red Hat 6 Enterprise 64bits ZCS 8.0.0

#20 Klug

Klug

    Zimbra Jedi

  • Membres
  • PipPipPipPip
  • 10 434 messages
  • LocalisationBeaucaire - Gard

Posté 07 avril 2011 - 10:32

On en a déjà parlé dans le forum il y a quelques mois...

Faudrait regarder ce qu'il y a DANS zmprov pour comprendre pourquoi il se perd dans les charsets.




0 utilisateur(s) li(sen)t ce sujet

0 membre(s), 0 invité(s), 0 utilisateur(s) anonyme(s)