Token interface

Jeton individuel retourné par un TokenizerFunction.

Propriétés

end	Position de caractère de fin du jeton dans la chaîne externe.
normalized	Forme normalisée du jeton. Cela peut inclure des éléments tels que la casse inférieure ou la dégringlage.
start	Position du caractère de début du jeton dans la chaîne externe.
text	Texte d’origine du jeton.

Position de caractère de fin du jeton dans la chaîne externe.

end: number

number

Forme normalisée du jeton. Cela peut inclure des éléments tels que la casse inférieure ou la dégringlage.

normalized: string

string

Position du caractère de début du jeton dans la chaîne externe.

start: number

number

Texte d’origine du jeton.

text: string

string