L'UTF-8 est le système de codage de caractères le plus utilisé au monde : c'est lui qui permet à votre ordinateur, à votre téléphone et aux sites web d'afficher correctement aussi bien un « é » français qu'un idéogramme chinois, une lettre arabe, un symbole mathématique ou un émoji. Pour un ordinateur, un texte n'est qu'une suite de nombres enregistrés sous forme d'octets, des paquets de huit chiffres binaires ; encore faut-il s'entendre sur le nombre qui correspond à chaque lettre. Pendant des décennies, chaque pays ou chaque fabricant a utilisé ses propres tables, si bien qu'un texte écrit sur une machine devenait souvent illisible sur une autre, truffé de symboles étranges. L'UTF-8, dont le nom signifie Unicode Transformation Format, 8 bits, a mis fin à cette tour de Babel en proposant une manière unique et compacte d'écrire en octets les quelque 150 000 caractères recensés par le standard Unicode, tout en restant compatible avec l'ancien code ASCII. Inventé en 1992, il est aujourd'hui employé par la très grande majorité des pages web, des courriels, des systèmes Linux et macOS et des langages de programmation. Cette définition explique ce qu'est l'UTF-8, d'où il vient, comment il fonctionne octet par octet, pourquoi il s'est imposé et comment résoudre les problèmes d'encodage les plus courants.

Qu'est-ce que l'UTF-8 ? Définition du codage de caractères

L'UTF-8 est un codage de caractères, c'est-à-dire une règle de conversion entre les caractères d'un texte et les octets qui les représentent dans la mémoire d'un ordinateur, dans un fichier ou sur un réseau. Il s'appuie sur Unicode, un immense catalogue qui attribue à chaque caractère de chaque système d'écriture un numéro unique, appelé point de code : la lettre A porte le numéro 65, le « é » le numéro 233, le symbole de l'euro le numéro 8364. Unicode dit donc quel numéro correspond à quel caractère ; l'UTF-8 dit comment écrire ce numéro avec des octets. Sa particularité est d'être un codage à longueur variable : les caractères les plus courants dans les textes informatiques, ceux de l'alphabet latin de base, n'occupent qu'un seul octet, tandis que les autres en utilisent deux, trois ou quatre. Pour ces caractères de base, l'UTF-8 reprend exactement les valeurs de l'ASCII, le code américain des années 1960 qui ne comptait que 128 caractères, sans accents. Résultat : un texte en anglais écrit en ASCII est automatiquement un texte UTF-8 valide, ce qui a grandement facilité la transition vers ce nouveau standard sans casser les fichiers et les programmes existants.

Caractère, point de code, octet : le vocabulaire de l'encodage

Quelques notions permettent de comprendre l'encodage des caractères. Le caractère est l'unité abstraite d'un système d'écriture : une lettre, un chiffre, un signe de ponctuation, un idéogramme, un émoji. Le glyphe est son dessin à l'écran, qui dépend de la police utilisée : un « a » reste le même caractère en Arial ou en Garamond. Le point de code est le numéro attribué au caractère par Unicode, que l'on note habituellement en hexadécimal, c'est-à-dire en base 16, précédé de « U+ » : U+0041 pour A, U+00E9 pour é, U+20AC pour €. L'octet est l'unité de stockage de base, un groupe de huit bits, chaque bit valant 0 ou 1, qui peut prendre 256 valeurs différentes. Le codage, ou encodage, est la méthode qui transforme les points de code en octets ; UTF-8, UTF-16, UTF-32, ISO 8859-1 (dit Latin-1) ou Windows-1252 sont des codages différents. Le décodage est l'opération inverse, réalisée par le logiciel qui lit le texte. Il ne faut pas confondre codage et chiffrement : l'UTF-8 ne cache rien, il se contente de traduire ; on parle donc de décoder un texte en UTF-8, et non de le décrypter. Enfin, une police de caractères ne peut afficher que les glyphes qu'elle contient, d'où les petits carrés vides qui apparaissent parfois.

D'où vient l'UTF-8 ? Unicode, ISO 10646 et histoire

Dans les années 1980, la mondialisation de l'informatique rend urgente la création d'un jeu de caractères universel. Deux projets voient le jour presque en même temps : la norme internationale ISO/CEI 10646, qui définit le « jeu universel de caractères codés » (UCS, pour Universal Character Set), et le standard Unicode, porté à partir de 1991 par un consortium d'entreprises de l'informatique. Plutôt que de se faire concurrence, les deux initiatives ont rapidement aligné leurs répertoires, si bien qu'un même caractère porte aujourd'hui le même numéro dans les deux référentiels. Restait à décider comment stocker ces numéros. Les premières solutions utilisaient deux ou quatre octets par caractère, ce qui doublait ou quadruplait la taille des textes anglais et surtout cassait la compatibilité avec les logiciels conçus pour l'ASCII, notamment sous Unix, où l'octet zéro marque la fin d'une chaîne de texte. Un premier format de transformation, appelé UTF-1, s'était révélé peu pratique. C'est dans ce contexte qu'est né l'UTF-8, intégré à la norme ISO 10646 et décrit par Unicode au milieu des années 1990, puis normalisé pour Internet par des documents techniques de l'IETF, les RFC 2279 en 1998 et 3629 en 2003.

Une invention née sur un set de table

L'histoire de l'UTF-8 est restée célèbre chez les informaticiens. En septembre 1992, deux chercheurs des laboratoires Bell, Ken Thompson, l'un des créateurs du système Unix, et Rob Pike, examinent une proposition de codage qui ne les satisfait pas. Au cours d'un dîner dans un restaurant du New Jersey, Ken Thompson imagine un schéma plus élégant et le griffonne, selon le récit de Rob Pike, sur un set de table. Dans les jours qui suivent, ils l'implémentent dans leur système d'exploitation expérimental, Plan 9, qui devient le premier à utiliser l'UTF-8 de bout en bout. Le format est présenté publiquement lors d'une conférence en janvier 1993 et se diffuse progressivement, d'abord dans le monde Unix et Linux, puis sur le Web. À l'origine, il pouvait coder des numéros allant jusqu'à six octets ; la norme de 2003 l'a limité à quatre octets, ce qui suffit à couvrir l'ensemble de l'espace Unicode, jusqu'au point de code U+10FFFF, soit plus d'un million de positions possibles dont une partie seulement est aujourd'hui attribuée. Le succès a été lent puis massif : vers la fin des années 2000, l'UTF-8 est devenu le codage le plus répandu sur le Web, devant les anciens codages régionaux, avant de s'imposer très largement.

Rétrocompatibilité de l'UTF-8 avec le code ASCII

Comment fonctionne le codage UTF-8 ?

Le principe du codage UTF-8 est ingénieux. Chaque caractère est écrit sur un à quatre octets, et les premiers bits de chaque octet indiquent son rôle. Si le premier bit vaut 0, l'octet représente à lui seul un caractère ASCII, de 0 à 127. Si l'octet commence par 110, il annonce un caractère sur deux octets ; par 1110, sur trois octets ; par 11110, sur quatre octets. Les octets suivants, dits octets de continuation, commencent tous par 10. Les bits restants, mis bout à bout, forment le numéro Unicode du caractère. Ainsi, la lettre A (65) s'écrit avec un seul octet, identique à l'ASCII ; le « é » (233) nécessite deux octets, notés C3 A9 en hexadécimal ; le symbole « € » (8364) en demande trois, E2 82 AC ; et un émoji, dont le numéro dépasse 65 535, en occupe quatre. Cette structure présente un avantage précieux : en lisant n'importe quel octet, un programme sait immédiatement s'il s'agit du début d'un caractère ou de la suite d'un autre, ce qui permet de se resynchroniser après une erreur ou de découper un texte sans couper un caractère en deux. Le schéma et le tableau ci-dessous illustrent cette mécanique.

Exemples de codage UTF-8 : la lettre A tient sur un octet, é sur deux octets, le symbole euro sur trois et un émoji sur quatre Un caractère = 1 à 4 octets en UTF-8 CaractèrePoint de codeOctets UTF-8 (hexadécimal) AU+0041 41 éU+00E9 C3 A9 €U+20AC E2 82 AC U+1F600 F0 9F 98 80 octet ASCIIoctet de têtecontinuation
Plus le numéro Unicode d'un caractère est élevé, plus il occupe d'octets : un pour l'ASCII, deux pour les lettres accentuées, trois pour l'euro, quatre pour les émojis.
Points de codeNombre d'octetsSchéma binaireCaractères concernés
U+0000 à U+007F10xxxxxxxASCII : lettres sans accent, chiffres, ponctuation
U+0080 à U+07FF2110xxxxx 10xxxxxxLettres accentuées, grec, cyrillique, arabe, hébreu
U+0800 à U+FFFF31110xxxx 10xxxxxx 10xxxxxxEuro, chinois, japonais, coréen, hindi et la plupart des écritures
U+10000 à U+10FFFF411110xxx 10xxxxxx 10xxxxxx 10xxxxxxÉmojis, écritures anciennes, symboles rares

Les règles de validité d'un texte UTF-8

Toutes les suites d'octets ne forment pas un texte UTF-8 valide, et c'est l'une des forces du format : un logiciel peut détecter facilement un fichier qui n'est pas en UTF-8. Un octet de continuation, de valeur hexadécimale comprise entre 80 et BF, ne peut jamais apparaître seul ou en début de séquence. La norme impose aussi d'utiliser toujours la forme la plus courte : il est interdit d'écrire sur deux octets un caractère qui tient sur un seul, ce qui rend invalides les octets C0 et C1, ainsi que certaines combinaisons commençant par E0 ou F0. Cette règle n'est pas qu'esthétique : des codages « trop longs » ont par le passé permis de contourner des filtres de sécurité qui cherchaient des caractères dangereux sous leur forme habituelle. Les points de code compris entre U+D800 et U+DFFF, réservés au fonctionnement interne de l'UTF-16, sont également exclus, de même que tout numéro supérieur à U+10FFFF, ce qui rend inutilisables les octets F5 à FF. Lorsqu'un programme rencontre une séquence invalide, il la remplace généralement par le caractère de remplacement, un losange contenant un point d'interrogation, plutôt que de planter. Enfin, l'UTF-8 n'a pas besoin de marque d'ordre des octets (BOM), mais certains logiciels en ajoutent une en début de fichier, ce qui peut gêner d'autres outils.

Pourquoi l'UTF-8 s'est-il imposé ? Avantages et comparaison

L'UTF-8 n'est pas le seul moyen d'écrire de l'Unicode : l'UTF-16 code chaque caractère sur deux ou quatre octets et reste utilisé en interne par Windows, Java ou JavaScript, tandis que l'UTF-32 emploie systématiquement quatre octets, ce qui simplifie certains traitements mais gaspille beaucoup de place. Si l'UTF-8 a fini par l'emporter pour les fichiers et les échanges, c'est grâce à une combinaison d'atouts. Sa compatibilité avec l'ASCII lui permet de fonctionner avec d'innombrables logiciels anciens, protocoles et langages de programmation sans modification. Il est compact pour les textes en alphabet latin, qui dominent le code informatique, les balises HTML ou les adresses web, et reste raisonnable pour les autres écritures. Il ne dépend pas de l'ordre des octets propre à chaque processeur, contrairement à l'UTF-16 et à l'UTF-32, ce qui évite des ambiguïtés lors des échanges. Sa structure auto-synchronisante facilite la recherche dans les textes et limite la propagation des erreurs. Enfin, un seul codage pour toutes les langues permet de mélanger librement français, russe, arabe et japonais dans un même document. Les organismes de normalisation du Web le recommandent désormais comme codage par défaut des pages, et de nombreux formats, comme le JSON, l'exigent.

Problèmes d'encodage : reconnaître et corriger un mauvais UTF-8

Qui n'a jamais vu « é » à la place d'un « é », ou « € » au lieu de « € » ? Ces caractères étranges, que les Japonais appellent mojibake et que les développeurs français surnomment parfois « texte à la mode é », trahissent presque toujours un problème d'encodage : un texte écrit en UTF-8 est relu par un logiciel qui croit avoir affaire à un ancien codage comme Latin-1 ou Windows-1252. Le « é », codé par les deux octets C3 A9, est alors interprété comme deux caractères distincts, « à » et « © ». Le problème inverse existe aussi : un texte enregistré en Latin-1 et lu comme de l'UTF-8 fait apparaître des losanges contenant un point d'interrogation, car ses octets ne forment pas des séquences valides. Ces erreurs surviennent souvent lors d'importations de fichiers CSV dans un tableur, de migrations de sites vers un nouvel hébergement, de connexions mal configurées à une base de données ou d'envois de courriels sans indication de codage. La règle d'or est de déclarer et d'utiliser l'UTF-8 partout : dans l'éditeur de texte, dans la base de données (avec, pour MySQL et MariaDB, le jeu utf8mb4 qui gère réellement les quatre octets), dans les en-têtes envoyés par le serveur et dans les pages elles-mêmes.

Dessin animé d'un problème d'encodage : le mot café enregistré en UTF-8 puis lu comme du Latin-1 devient café Enregistré en UTF-8 café 63 61 66 C3 A9 Lu comme du Latin-1 café ? Les deux octets du « é » (C3 A9) sont lus comme « à » et « © ».
Le célèbre « é » : un texte bien enregistré en UTF-8, mais relu avec le mauvais codage, transforme chaque lettre accentuée en deux caractères parasites.
Lire et convertir un fichier UTF-8 avec Sublime Text ou Notepad++

Quels outils pour lire, vérifier et convertir l'UTF-8 ?

De nombreux outils permettent de manipuler l'UTF-8 au quotidien. Les éditeurs de texte modernes, comme Notepad++, Sublime Text ou Visual Studio Code, affichent le codage d'un fichier dans leur barre d'état et permettent de le convertir en quelques clics, par exemple d'un ancien fichier en Windows-1252 vers l'UTF-8. En ligne de commande, l'utilitaire iconv, disponible sur Linux et macOS, convertit un fichier d'un codage à un autre, tandis que la commande file ou la bibliothèque Python chardet tentent de deviner le codage d'un texte inconnu, une détection qui reste toujours une estimation. Les langages de programmation proposent tous des fonctions pour lire et écrire de l'UTF-8, à condition de préciser le codage lors de l'ouverture des fichiers plutôt que de se fier aux réglages par défaut du système. Des validateurs, en ligne ou intégrés aux outils de développement, signalent les séquences mal formées. Pour un site internet, l'essentiel tient en une ligne : déclarer le jeu de caractères en tout début de page avec la balise meta charset, que l'on rédige en HTML5 ou dans le format XHTML, et vérifier que le serveur envoie la même information dans ses en-têtes.