TokenizerFunction type
Signature d’un autre analyseur de mots qui peut être transmis à recognizeChoices()
, findChoices()
ou findValues()
.
type TokenizerFunction = (text: string, locale?: string) => Token[];
type TokenizerFunction = (text: string, locale?: string) => Token[]
Remarques
L'defaultTokenizer()
est assez simple et ne s’interrompt que sur les espaces et la ponctuation.