Partager via

LuceneStandardTokenizer Classe

  • Référence

Décompose le texte en suivant les règles de segmentation du texte Unicode. Ce générateur de jetons est implémenté à l’aide d’Apache Lucene.

Tous les paramètres requis doivent être renseignés pour pouvoir être envoyés à Azure.

Héritage
azure.search.documents.indexes._generated.models._models_py3.LexicalTokenizer
LuceneStandardTokenizer

Constructeur

LuceneStandardTokenizer(*, name: str, max_token_length: int = 255, **kwargs: Any)

Paramètres de mots-clés uniquement

Nom Description
name
str

Nom du générateur de jetons. Il doit contenir uniquement des lettres, des chiffres, des espaces, des tirets ou des traits de soulignement. Il doit commencer et se terminer uniquement par des caractères alphanumériques, et ne doit pas dépasser 128 caractères. Obligatoire.
max_token_length
int

Longueur maximale du jeton. La valeur par défaut est 255. Les jetons dépassant la longueur maximale sont fractionnés.

valeur par défaut: 255

Variables

Nom Description
odata_type
str

Fragment d’URI spécifiant le type de générateur de jetons. Obligatoire.
name
str

Nom du générateur de jetons. Il doit contenir uniquement des lettres, des chiffres, des espaces, des tirets ou des traits de soulignement. Il doit commencer et se terminer uniquement par des caractères alphanumériques, et ne doit pas dépasser 128 caractères. Obligatoire.
max_token_length
int

Longueur maximale du jeton. La valeur par défaut est 255. Les jetons dépassant la longueur maximale sont fractionnés.

Méthodes

as_dict

Retourne un dict qui peut être sérialisé à l’aide de json.dump.

L’utilisation avancée peut éventuellement utiliser un rappel comme paramètre :

La clé est le nom d’attribut utilisé dans Python. Attr_desc est une dictée de métadonnées. Contient actuellement « type » avec le type msrest et « key » avec la clé encodée RestAPI. Value est la valeur actuelle de cet objet.

La chaîne retournée sera utilisée pour sérialiser la clé. Si le type de retour est une liste, il est considéré comme un dict de résultat hiérarchique.

Consultez les trois exemples de ce fichier :

  • attribute_transformer

  • full_restapi_key_transformer

  • last_restapi_key_transformer

Si vous souhaitez la sérialisation XML, vous pouvez passer les kwargs is_xml=True.
deserialize

Analysez une str à l’aide de la syntaxe RestAPI et retournez un modèle.
enable_additional_properties_sending
from_dict

Analyser une dict à l’aide de l’extracteur de clé donné retourne un modèle.

Par défaut, considérez les extracteurs de clés (rest_key_case_insensitive_extractor, attribute_key_case_insensitive_extractor et last_rest_key_case_insensitive_extractor)
is_xml_model
serialize

Retourne le json qui serait envoyé au serveur à partir de ce modèle.

Il s’agit d’un alias pour as_dict(full_restapi_key_transformer, keep_readonly=False).

Si vous souhaitez la sérialisation XML, vous pouvez passer les kwargs is_xml=True.

as_dict

Retourne un dict qui peut être sérialisé à l’aide de json.dump.

L’utilisation avancée peut éventuellement utiliser un rappel comme paramètre :

La clé est le nom d’attribut utilisé dans Python. Attr_desc est une dictée de métadonnées. Contient actuellement « type » avec le type msrest et « key » avec la clé encodée RestAPI. Value est la valeur actuelle de cet objet.

La chaîne retournée sera utilisée pour sérialiser la clé. Si le type de retour est une liste, il est considéré comme un dict de résultat hiérarchique.

Consultez les trois exemples de ce fichier :

  • attribute_transformer

  • full_restapi_key_transformer

  • last_restapi_key_transformer

Si vous souhaitez la sérialisation XML, vous pouvez passer les kwargs is_xml=True.

as_dict(keep_readonly: bool = True, key_transformer: ~typing.Callable[[str, ~typing.Dict[str, ~typing.Any], ~typing.Any], ~typing.Any] = <function attribute_transformer>, **kwargs: ~typing.Any) -> MutableMapping[str, Any]

Paramètres

Nom Description
key_transformer
<xref:function>

Fonction de transformateur de clé.
keep_readonly
valeur par défaut: True

Retours

Type Description
dict

Objet compatible JSON dict

deserialize

Analysez une str à l’aide de la syntaxe RestAPI et retournez un modèle.

deserialize(data: Any, content_type: str | None = None) -> ModelType

Paramètres

Nom Description
data
Obligatoire
str

Str utilisant la structure RestAPI. JSON par défaut.
content_type
str

JSON par défaut, définissez application/xml si XML.

valeur par défaut: None

Retours

Type Description

Une instance de ce modèle

Exceptions

Type Description
DeserializationError if something went wrong

enable_additional_properties_sending 

enable_additional_properties_sending() -> None

from_dict

Analyser une dict à l’aide de l’extracteur de clé donné retourne un modèle.

Par défaut, considérez les extracteurs de clés (rest_key_case_insensitive_extractor, attribute_key_case_insensitive_extractor et last_rest_key_case_insensitive_extractor)

from_dict(data: Any, key_extractors: Callable[[str, Dict[str, Any], Any], Any] | None = None, content_type: str | None = None) -> ModelType

Paramètres

Nom Description
data
Obligatoire
dict

dict utilisant la structure RestAPI
content_type
str

JSON par défaut, définissez application/xml si XML.

valeur par défaut: None
key_extractors
valeur par défaut: None

Retours

Type Description

Une instance de ce modèle

Exceptions

Type Description
DeserializationError if something went wrong

is_xml_model 

is_xml_model() -> bool

serialize

Retourne le json qui serait envoyé au serveur à partir de ce modèle.

Il s’agit d’un alias pour as_dict(full_restapi_key_transformer, keep_readonly=False).

Si vous souhaitez la sérialisation XML, vous pouvez passer les kwargs is_xml=True.

serialize(keep_readonly: bool = False, **kwargs: Any) -> MutableMapping[str, Any]

Paramètres

Nom Description
keep_readonly
bool

Si vous souhaitez sérialiser les attributs readonly

valeur par défaut: False

Retours

Type Description
dict

Objet compatible JSON dict