Compartilhar via

MicrosoftLanguageTokenizer interface

  • Referência
Pacote:
@azure/search-documents

Divide o texto usando regras específicas de idioma.

Extends
BaseLexicalTokenizer

Propriedades

isSearchTokenizer

Um valor que indica como o tokenizer é usado. Defina como true se usado como o tokenizador de pesquisa, defina como false se usado como o tokenizador de indexação. O padrão é false.
language

O idioma a ser usado. O padrão é inglês.
maxTokenLength

O comprimento máximo do token. Tokens maiores do que o tamanho máximo são divididos. O comprimento máximo do token que pode ser usado é de 300 caracteres. Tokens com mais de 300 caracteres são divididos primeiro em tokens de comprimento 300 e, em seguida, cada um desses tokens é dividido com base no conjunto de comprimento máximo do token. O padrão é 255.
odatatype

Discriminatório polimórfico, que especifica os diferentes tipos que esse objeto pode ser

Propriedades herdadas

name

O nome do tokenizer. Deve conter apenas letras, números, espaços, traços ou sublinhados, pode começar e terminar apenas com caracteres alfanuméricos e está limitado a 128 caracteres.

Detalhes da propriedade

isSearchTokenizer

Um valor que indica como o tokenizer é usado. Defina como true se usado como o tokenizador de pesquisa, defina como false se usado como o tokenizador de indexação. O padrão é false.

isSearchTokenizer?: boolean

Valor da propriedade

boolean

language

O idioma a ser usado. O padrão é inglês.

language?: MicrosoftTokenizerLanguage

Valor da propriedade

MicrosoftTokenizerLanguage

maxTokenLength

O comprimento máximo do token. Tokens maiores do que o tamanho máximo são divididos. O comprimento máximo do token que pode ser usado é de 300 caracteres. Tokens com mais de 300 caracteres são divididos primeiro em tokens de comprimento 300 e, em seguida, cada um desses tokens é dividido com base no conjunto de comprimento máximo do token. O padrão é 255.

maxTokenLength?: number

Valor da propriedade

number

odatatype

Discriminatório polimórfico, que especifica os diferentes tipos que esse objeto pode ser

odatatype: "#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Valor da propriedade

"#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Detalhes das propriedades herdadas

name

O nome do tokenizer. Deve conter apenas letras, números, espaços, traços ou sublinhados, pode começar e terminar apenas com caracteres alfanuméricos e está limitado a 128 caracteres.

name: string

Valor da propriedade

string

Herdado deBaseLexicalTokenizer.name