Partager via

PatternTokenizer interface

  • Référence
Paquet:
@azure/search-documents

Générateur de jetons qui utilise la correspondance de modèle regex pour construire des jetons distincts. Ce générateur de jetons est implémenté à l’aide d’Apache Lucene.

Propriétés

flags

Indicateurs d’expression régulière. Les valeurs possibles sont les suivantes : « CANON_EQ », « CASE_INSENSITIVE », « COMMENTS », « DOTALL », « LITERAL », « MULTILINE », « UNICODE_CASE », « UNIX_LINES »
group

Ordinal de base zéro du groupe correspondant dans le modèle d’expression régulière à extraire en jetons. Utilisez -1 si vous souhaitez utiliser l’ensemble du modèle pour fractionner l’entrée en jetons, quels que soient les groupes correspondants. La valeur par défaut est -1. Valeur par défaut : -1.
name

Nom du générateur de jetons. Il doit contenir uniquement des lettres, des chiffres, des espaces, des tirets ou des traits de soulignement. Il doit commencer et se terminer uniquement par des caractères alphanumériques, et ne doit pas dépasser 128 caractères.
odatatype

Discriminateur polymorphe
pattern

Modèle d’expression régulière pour faire correspondre les séparateurs de jetons. La valeur par défaut est une expression qui correspond à un ou plusieurs caractères d’espace blanc. Valeur par défaut : \W+.

Détails de la propriété

flags

Indicateurs d’expression régulière. Les valeurs possibles sont les suivantes : « CANON_EQ », « CASE_INSENSITIVE », « COMMENTS », « DOTALL », « LITERAL », « MULTILINE », « UNICODE_CASE », « UNIX_LINES »

flags?: ("CANON_EQ" | "CASE_INSENSITIVE" | "COMMENTS" | "DOTALL" | "LITERAL" | "MULTILINE" | "UNICODE_CASE" | "UNIX_LINES")[]

Valeur de propriété

("CANON_EQ" | "CASE_INSENSITIVE" | "COMMENTS" | "DOTALL" | "LITERAL" | "MULTILINE" | "UNICODE_CASE" | "UNIX_LINES")[]

group

Ordinal de base zéro du groupe correspondant dans le modèle d’expression régulière à extraire en jetons. Utilisez -1 si vous souhaitez utiliser l’ensemble du modèle pour fractionner l’entrée en jetons, quels que soient les groupes correspondants. La valeur par défaut est -1. Valeur par défaut : -1.

group?: number

Valeur de propriété

number

name

Nom du générateur de jetons. Il doit contenir uniquement des lettres, des chiffres, des espaces, des tirets ou des traits de soulignement. Il doit commencer et se terminer uniquement par des caractères alphanumériques, et ne doit pas dépasser 128 caractères.

name: string

Valeur de propriété

string

odatatype

Discriminateur polymorphe

odatatype: "#Microsoft.Azure.Search.PatternTokenizer"

Valeur de propriété

"#Microsoft.Azure.Search.PatternTokenizer"

pattern

Modèle d’expression régulière pour faire correspondre les séparateurs de jetons. La valeur par défaut est une expression qui correspond à un ou plusieurs caractères d’espace blanc. Valeur par défaut : \W+.

pattern?: string

Valeur de propriété

string