TERMIUM Plus^®

Record 1,  Textual support,  English

Record number: 1, Textual support number: 1 CONT

When a [labelling function (LF)] cannot decide whether a text token is positive or negative, it abstains on labelling the token and marks it as -1.  2, record 1, English, - text%20token

Record 1,  Textual support,  French

Record number: 1, Textual support number: 1 DEF

Donnée élémentaire d’un grand modèle de langage, qui est constituée d’une suite de caractères obtenue par la segmentation automatique d’un texte.  2, record 1, French, - jeton%20textuel

Record number: 1, Textual support number: 1 OBS

La segmentation en jetons textuels est utilisée aussi bien dans la phase d’apprentissage automatique que dans la phase de traitement d’une instruction générative.  2, record 1, French, - jeton%20textuel

Record number: 1, Textual support number: 2 OBS

Le nombre de jetons textuels sert à mesurer la taille d’un grand modèle de langage; il permet aussi d’estimer et de facturer le coût de fonctionnement des grands modèles de langage commerciaux.  2, record 1, French, - jeton%20textuel

Record number: 1, Textual support number: 3 OBS

jeton textuel : terme et définition publiés au Journal officiel de la République française le 6 septembre 2024.  3, record 1, French, - jeton%20textuel

Record 1,  Textual support,  Spanish