Qu'est-ce qu'un large language model ? Définition du grand modèle de langage

Un large language model, que l'on traduit par grand modèle de langage et que l'on abrège souvent en LLM, est un programme d'intelligence artificielle entraîné sur d'immenses quantités de textes afin de comprendre des phrases écrites en langage courant et d'en produire de nouvelles. C'est la technologie qui se cache derrière les outils conversationnels capables de répondre à des questions, de résumer un rapport, de traduire un courriel, de corriger une lettre ou d'écrire quelques lignes de code informatique. Son principe de base est étonnamment simple à énoncer : à partir d'un début de texte, le modèle calcule quel morceau de mot a le plus de chances de venir ensuite, l'ajoute, puis recommence, des centaines de fois de suite. Ce qui le rend « grand », c'est à la fois le volume de textes qu'il a lus pendant son apprentissage et le nombre de réglages internes, appelés paramètres, qui se comptent en milliards. Les LLM sont le fruit de décennies de recherche en machine learning, cette branche de l'informatique où les machines apprennent à partir d'exemples plutôt que de règles écrites à la main. Cette définition explique comment fonctionne un grand modèle de langage, comment on l'entraîne, à quoi il sert, et pourquoi ses erreurs, ses biais et sa consommation d'énergie appellent un usage éclairé.

Qu'est-ce qu'un large language model ? Définition

Un large language model est un modèle statistique du langage : il ne contient ni dictionnaire ni encyclopédie au sens classique, mais un gigantesque ensemble de nombres qui résument la manière dont les mots s'enchaînent dans les textes humains. Le mot « modèle » doit être compris au sens scientifique, comme une représentation simplifiée d'une réalité, ici la langue. Concrètement, un LLM est un réseau de neurones artificiels, c'est-à-dire un programme organisé en couches successives de petites unités de calcul, inspirées de très loin du fonctionnement du cerveau, qui transforment progressivement un texte en nombres, puis ces nombres en prédictions. Lorsqu'on lui soumet une demande, appelée prompt ou « invite », le modèle ne va pas chercher une réponse toute faite dans une base de données : il la fabrique mot après mot, en s'appuyant sur les régularités apprises. Cela explique à la fois ses talents et ses faiblesses. Il sait reformuler, imiter un style, expliquer une notion ou rédiger un plan avec une aisance remarquable, mais il peut aussi produire une phrase parfaitement fluide et pourtant fausse, puisqu'il vise d'abord la vraisemblance du texte et non sa vérité. Il ne faut donc pas le confondre avec un moteur de recherche ni avec une source de référence : c'est un outil de génération et de transformation de texte, très puissant, qui reste à vérifier.

LLM, chatbot et IA générative : ne pas tout confondre

Le vocabulaire qui entoure le large language model prête souvent à confusion. L'intelligence artificielle est le domaine le plus large : elle regroupe toutes les techniques qui permettent à une machine d'accomplir des tâches que l'on associe à l'intelligence humaine, de la reconnaissance d'images au jeu d'échecs. L'IA générative en est une partie, consacrée à la production de contenus nouveaux, textes, images, musiques ou vidéos. Le grand modèle de langage est l'une de ses technologies phares, spécialisée dans le texte. Le chatbot, enfin, n'est qu'une interface : la fenêtre de discussion dans laquelle on écrit, qui peut s'appuyer sur un LLM, mais aussi sur de simples règles préprogrammées. Un même modèle peut ainsi alimenter plusieurs produits différents, un assistant conversationnel, un correcteur intégré à un traitement de texte ou un outil de traduction, et un même produit peut changer de modèle au fil de ses mises à jour. On distingue encore les modèles dits « propriétaires », accessibles seulement par l'intermédiaire du service de leur éditeur, et les modèles dits « ouverts », dont les paramètres sont publiés et que chacun peut télécharger, installer sur ses propres serveurs et adapter, sous réserve de respecter leur licence.

Comment fonctionne un large language model ?

Le fonctionnement d'un large language model passe par plusieurs étapes invisibles pour l'utilisateur. Le texte est d'abord découpé en tokens, des morceaux qui correspondent selon les cas à un mot entier, à une syllabe ou à un signe de ponctuation : « incroyablement » peut ainsi être coupé en deux ou trois tokens. Chaque token est ensuite converti en une longue liste de nombres, un vecteur, qui le situe dans une sorte de carte du sens où « chat » se trouve plus près de « chien » que de « voiture ». Vient alors le cœur du modèle, une architecture appelée Transformer, présentée par des chercheurs de Google en 2017. Son innovation principale est le mécanisme d'attention, qui permet à chaque mot de « regarder » tous les autres mots du texte pour décider lesquels comptent pour l'interpréter : dans « la pomme que Léa a mangée était verte », il relie « verte » à « pomme » plutôt qu'à « Léa ». Après avoir traversé des dizaines de couches de ce type, le modèle obtient pour chaque token possible une probabilité d'apparaître à la suite. Il en choisit un, avec une petite part de hasard réglable que l'on appelle la température, l'ajoute au texte et recommence. La réponse que l'on voit s'afficher progressivement à l'écran n'est rien d'autre que cette boucle, répétée très rapidement par des processeurs spécialisés.

Comment entraîne-t-on un large language model ?

L'entraînement d'un large language model se déroule en plusieurs phases. La première, le pré-entraînement, est de loin la plus coûteuse : on fait lire au modèle une gigantesque collection de textes (pages web publiques, livres, articles, encyclopédies en ligne, code informatique) et on lui demande, encore et encore, de deviner le token masqué ou le token suivant. À chaque erreur, un algorithme ajuste légèrement ses milliards de paramètres pour que la bonne réponse devienne un peu plus probable la fois suivante. Répété des milliards de fois sur des milliers de processeurs graphiques pendant des semaines, ce procédé fait émerger une connaissance diffuse de la grammaire, du vocabulaire, des faits les plus courants et même de certaines formes de raisonnement. Le modèle obtenu sait compléter un texte, mais il n'est pas encore un bon assistant. Vient alors l'ajustement, ou fine-tuning, au cours duquel on l'entraîne sur des exemples de questions et de réponses de qualité rédigées par des personnes. Une troisième étape, souvent appelée apprentissage par renforcement à partir de retours humains (RLHF), consiste à faire noter plusieurs réponses par des évaluateurs afin d'apprendre au modèle à préférer les plus utiles, les plus honnêtes et les moins dangereuses. Le résultat dépend donc autant de la qualité des données et des consignes que de la taille brute du modèle.

À quoi sert un large language model ? Usages concrets

Les usages d'un large language model se sont multipliés à grande vitesse. Le plus visible est l'assistant conversationnel, qui répond aux questions, explique une notion ou aide à préparer un voyage. Dans le travail de bureau, les LLM rédigent des brouillons de courriels, résument de longs documents, reformulent un texte dans un style plus simple ou plus formel, traduisent entre de nombreuses langues et extraient des informations d'un contrat ou d'une facture. Les développeurs s'en servent pour écrire, commenter et corriger du code informatique, et les chercheurs pour parcourir une abondante littérature scientifique. Les entreprises les intègrent à leurs services clients, à leurs moteurs de recherche internes ou à leurs logiciels, souvent en les reliant à leurs propres documents grâce à une technique appelée RAG (génération augmentée par la recherche), qui consiste à fournir au modèle des extraits de sources fiables avant qu'il ne réponde. Certains modèles, dits multimodaux, comprennent aussi des images, des sons ou des vidéos, et peuvent par exemple décrire une photo ou lire un graphique. Enfin, les LLM servent de moteur à des « agents » capables d'enchaîner plusieurs actions, comme rechercher une information, remplir un tableau puis envoyer un message. Dans tous ces usages, le modèle reste un assistant : la décision et la vérification finales reviennent à l'humain.

Les limites d'un large language model : erreurs, biais et énergie

Malgré ses prouesses, un large language model présente des limites qu'il est essentiel de connaître. La plus déroutante est l'hallucination : le modèle peut inventer une citation, une référence bibliographique, une décision de justice ou un chiffre, avec le même aplomb que lorsqu'il dit vrai, car il produit ce qui est plausible sans disposer d'un moyen interne de vérifier les faits. Ses connaissances s'arrêtent par ailleurs à la date de collecte de ses données d'entraînement, sauf s'il est relié à un moteur de recherche ou à des documents à jour. Les LLM reproduisent aussi les biais présents dans les textes qu'ils ont lus, stéréotypes de genre, culturels ou sociaux, que leurs concepteurs tentent de corriger sans pouvoir les supprimer entièrement. Leur fonctionnement reste en grande partie opaque, au point qu'on les qualifie souvent de « boîtes noires » : il est difficile d'expliquer précisément pourquoi une réponse a été produite. Leur entraînement puis leur utilisation à très grande échelle mobilisent des centres de données, des processeurs spécialisés, de l'électricité et de l'eau pour le refroidissement, ce qui pose une question environnementale réelle, même si les estimations varient beaucoup selon les modèles et les méthodes de calcul. Enfin, ces modèles peuvent être détournés pour produire de la désinformation, des courriels frauduleux ou du code malveillant, ce qui oblige leurs éditeurs à ajouter des garde-fous.

Quel cadre pour les large language models ? Régulation et bons usages

L'essor rapide des large language models a poussé les pouvoirs publics à se saisir du sujet. L'Union européenne a adopté un règlement sur l'intelligence artificielle, souvent appelé AI Act, qui impose progressivement des obligations de transparence et de documentation aux fournisseurs de modèles à usage général, avec des exigences renforcées pour les plus puissants d'entre eux. Le RGPD continue de s'appliquer aux données personnelles présentes dans les textes d'entraînement comme dans les conversations, et des autorités comme la CNIL en France publient des recommandations à ce sujet. Les questions de droit d'auteur font aussi l'objet de débats et de procédures, car de nombreux auteurs et éditeurs contestent l'utilisation de leurs œuvres pour entraîner ces modèles sans autorisation. Pour l'utilisateur, quelques réflexes simples permettent d'en tirer le meilleur parti : formuler des consignes précises en donnant le contexte et le format attendu, vérifier systématiquement les faits, chiffres et sources importants, ne pas confier d'informations confidentielles à un service dont on ignore la politique de conservation des données, et signaler clairement lorsqu'un texte a été produit avec l'aide d'une machine. Utilisé ainsi, le grand modèle de langage devient un outil de travail remarquable, l'une des briques les plus visibles de l'intelligence artificielle générative, à laquelle il fournit sa maîtrise du texte.