Partager via


TokenizerFunction type

Signature d’un autre analyseur de mots qui peut être transmis à recognizeChoices(), findChoices()ou findValues().

type TokenizerFunction = (text: string, locale?: string) => Token[];
type TokenizerFunction = (text: string, locale?: string) => Token[]

Remarques

L'defaultTokenizer() est assez simple et ne s’interrompt que sur les espaces et la ponctuation.