Tokenizer.DefaultTokenizerImpl(String, String) Méthode
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Un générateur de jetons simple qui s’interrompt sur les espaces et la ponctuation. La seule normalisation effectuée est en minuscules.
public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl (string text, string locale = default);static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)Paramètres
- text
- String
Texte d’entrée.
- locale
- String
Facultatif, identifie les paramètres régionaux du texte d’entrée.
Retours
Liste de jetons.
Remarques
Il s’agit d’un port exact de l’implémentation JavaScript de l’algorithme, sauf qu’ici, les fonctions de bibliothèque .NET sont utilisées à la place des fonctions de point de code de chaîne JavaScript.