Partager via


MicrosoftLanguageTokenizer Classe

Définition

Divise le texte en utilisant des règles spécifiques à la langue.

public class MicrosoftLanguageTokenizer : Azure.Search.Documents.Indexes.Models.LexicalTokenizer
type MicrosoftLanguageTokenizer = class
    inherit LexicalTokenizer
Public Class MicrosoftLanguageTokenizer
Inherits LexicalTokenizer
Héritage
MicrosoftLanguageTokenizer

Constructeurs

MicrosoftLanguageTokenizer(String)

Initialise une nouvelle instance de MicrosoftLanguageTokenizer.

Propriétés

IsSearchTokenizer

Valeur indiquant comment le générateur de jetons est utilisé. Affectez la valeur true si elle est utilisée comme générateur de jetons de recherche, false si elle est utilisée comme générateur de jetons d’indexation. La valeur par défaut est false.

Language

Langue à utiliser. La valeur par défaut est l’anglais.

MaxTokenLength

Longueur maximale du jeton. Les jetons dépassant la longueur maximale sont fractionnés. La longueur maximale des jetons qui peut être utilisée est de 300 caractères. Les jetons de plus de 300 caractères sont d’abord divisés en jetons de longueur 300, puis chacun de ces jetons est fractionné en fonction de la longueur maximale définie. La valeur par défaut est 255.

Name

Nom du générateur de jetons. Il doit contenir uniquement des lettres, des chiffres, des espaces, des tirets ou des traits de soulignement. Il doit commencer et se terminer uniquement par des caractères alphanumériques, et ne doit pas dépasser 128 caractères.

(Hérité de LexicalTokenizer)

S’applique à