ChatGPT ne lit pas réellement votre phrase mot par mot. Avant de répondre, il la découpe en petites unités appelées « tokens », et cette mécanique détermine à la fois ce qu’une IA peut lire, combien elle coûte et jusqu’où elle peut suivre une conversation.
Un token peut correspondre à un mot entier, mais aussi à une partie de mot, quelques caractères ou un signe de ponctuation. Le découpage dépend du tokenizer, le logiciel utilisé par chaque famille de modèles. Une même phrase peut donc nécessiter un nombre différent de tokens selon l’IA et la langue employée. Chez OpenAI, l’ordre de grandeur souvent donné pour l’anglais est d’environ quatre caractères par token, soit trois quarts d’un mot. Une fois le texte découpé, le modèle manipule ces unités pour calculer, à partir du contexte, quel token a le plus de chances de suivre les précédents. Il en génère un, puis recommence jusqu’à constituer sa réponse. Un token n’est donc ni une pensée ni une idée : c’est une unité informatique permettant au modèle de représenter et de produire du contenu.
Ces unités servent également à mesurer sa capacité de travail. Une fenêtre de contexte de 200 000 tokens signifie qu’un modèle peut traiter une certaine quantité d’informations simultanément : votre demande, les instructions, l’historique de la discussion ou des documents. Ce n’est pas pour autant une mémoire permanente. Lorsque cette fenêtre se remplit, certaines informations doivent être condensées ou retirées. Les tokens sont aussi devenus l’unité économique de l’IA. Dans les API utilisées par les entreprises, les fournisseurs facturent généralement séparément les tokens envoyés au modèle et ceux qu’il génère. Certains distinguent aussi les données déjà mises en cache et les tokens utilisés par les modèles pour raisonner avant d’afficher leur réponse.
Et le principe dépasse désormais le texte : images, audio et vidéo peuvent eux aussi être convertis en unités comptabilisées par les modèles multimodaux.
Le token paraît donc minuscule, mais il constitue l’un des compteurs fondamentaux de l’intelligence artificielle : il mesure à la fois ce qu’elle reçoit, ce qu’elle peut garder sous les yeux et une partie du calcul nécessaire pour nous répondre.
Source : Clubic
","author_name":"Choses à Savoir"}