Limites de serviço no Azure AI Search

Os limites máximos de armazenamento, cargas de trabalho e quantidades de índices e outros objetos dependem da criação da Pesquisa de IA do Azure nos tipos de preço Gratuito, Básico, Standard ou Otimizado para Armazenamento.

• Gratuito é um serviço compartilhado multilocatário fornecido com sua assinatura do Azure.

• Básico fornece recursos de computação dedicados para cargas de trabalho de produção em menor escala, mas compartilha alguma infraestrutura de rede com outros locatários.

• Standard é executado em computadores dedicados, com mais capacidade de armazenamento e processamento em cada nível. Standard vem em quatro níveis: S1, S2, S3 e S3 HD. O S3 HD (S3 de Alta Densidade) foi projetado para multilocatário e grandes quantidades de índices pequenos (3.000 índices por serviço). O S3 HD não fornece o recurso de indexador e a ingestão de dados deve utilizar APIs que enviam dados da origem para o índice.

• Otimizado para Armazenamento é executado em computadores dedicados com mais armazenamento total, largura de banda de armazenamento e memória do o Standard. Essa camada tem como alvo índices grandes e de alteração lenta. Otimizado para Armazenamento vem em dois níveis: L1 e L2.

Limites de assinatura

Você pode criar vários serviços de pesquisa faturáveis (Básico e superior), até o número máximo de serviços permitidos em cada nível, por região. Por exemplo, você pode criar até 16 serviços na camada Básico e outros 16 serviços na camada S1 dentro da mesma assinatura e região. Em seguida, você pode criar mais 16 serviços Básicos em outra região para um total combinado de 32 serviços Básicos na mesma assinatura. Para obter mais informações sobre as camadas, confira Escolher uma camada (ou um SKU) para a Pesquisa de IA do Azure.

Os limites de serviço máximos podem ser aumentados mediante solicitação. Se você precisar de mais serviços na mesma assinatura, apresente uma solicitação de suporte.

¹ Você pode ter um serviço de pesquisa gratuito por assinatura do Azure. A camada gratuita baseia-se na infraestrutura compartilhada com outros clientes. Como o hardware não é dedicado, não há suporte para escalar verticalmente e o armazenamento é limitado a 50 MB. Um serviço de pesquisa gratuito pode ser excluído após longos períodos de inatividade para abrir espaço para mais serviços.

² As SU (unidades de pesquisa) são unidades faturáveis, alocadas como uma réplica ou como uma partição. Você precisa das duas. Para saber mais sobre combinações de SU, consulte Estimar e gerenciar a capacidade de um serviço de pesquisa.

Limites de serviço

A tabela a seguir abrange SLA, contagens de partições e contagens de réplicas no nível do serviço.

¹ A camada Básico dá suporte a três partições e três réplicas, totalizando nove unidades de pesquisa (SU) em novos serviços de pesquisa criados após 3 de abril de 2024. Os serviços básicos mais antigos são limitados a uma partição e três réplicas.

Um serviço de pesquisa está sujeito a um limite máximo de armazenamento (tamanho de partição multiplicado pelo número de partições) ou por um limite rígido no número máximo de índices ou indexadores, o que ocorrer primeiro.

Os SLAs (contratos de nível de serviço) se aplicam a serviços faturáveis com duas ou mais réplicas para cargas de trabalho de consulta ou três ou mais réplicas para cargas de trabalho de consulta e indexação. O número de partições não é uma consideração de SLA. Para obter mais informações, consulte Confiabilidade no Pesquisa de IA do Azure.

Os serviços gratuitos não têm partições ou réplicas fixas e compartilham recursos com outros assinantes.

Armazenamento de partição (GB)

Os limites de armazenamento por serviço variam de acordo com duas coisas: data de criação do serviço e região. Há limites mais altos para serviços mais novos na maioria das regiões com suporte.

Esta tabela mostra a progressão de aumentos da cota de armazenamento em GB ao longo do tempo. Partições de maior capacidade foram disponibilizadas online a partir de abril de 2024, nas regiões listadas nas notas de rodapé. A capacidade maior é limitada a novos serviços de pesquisa. Não há nenhuma atualização in-loco no momento.

¹ Armazenamento de capacidade maior para Básico, S1, S2 e S3 nessas regiões. Américas: Sul do Brasil, Canadá Central, Leste do Canadá, Leste dos EUA​, Leste dos EUA 2, ​EUA Central, Centro-Norte dos EUA, Centro-Sul dos EUA, Oeste dos EUA, Oeste dos EUA 2, Oeste dos EUA 3, Centro-Oeste dos EUA. Europa: França Central. Norte da Itália, Norte da Europa, Leste da Noruega, Polônia Central, Norte da Suíça, Suécia Central, Sul do Reino Unido, Oeste do Reino Unido. Oriente Médio: Norte dos EAU. África: Norte da África do Sul. Pacífico Asiático: Leste da Austrália, Sudeste da Austrália, Índia Central, Oeste da Índia JIO, Leste da Ásia, Sudeste da Ásia, Leste do Japão, Oeste do Japão, Coreia Central, Sul da Coreia.

² Armazenamento de capacidade maior para L1 e L2. Mais regiões fornecem capacidade maior em cada camada faturável. Europa: Norte da Alemanha, Centro-Oeste da Alemanha, Oeste da Suíça. Azure Governamental: Texas, Arizona e Virgínia. África: Norte da África do Sul. Pacífico Asiático: Norte da China 3, Leste da Ásia 3.

Algumas regiões ainda operam em infraestruturas mais antigas, sujeitas aos limites de 3 de abril. Antes de criar um novo serviço, verifique as regiões com suporte para garantir que a região escolhida ofereça a capacidade extra.

Limites de índice

¹ Serviços básicos criados antes de dezembro de 2017 têm menos limites (5 em vez de 15) em índices. A camada Básico é a única que tem um limite inferior de 100 campos por índice.

² o limite superior dos campos inclui campos de primeiro nível e subcampos aninhados em uma coleção complexa. Por exemplo, se um índice contiver 15 campos e duas coleções complexas com 25 subcampos cada, a contagem de campos dele será 25. Índices com uma coleção muito grande de campos podem ser lentos. Limite os campos e atributos apenas aos que você precisa e execute a indexação e o teste de consulta para verificar se o desempenho está aceitável.

³ há um limite superior para os elementos porque ter um grande número deles aumenta significativamente o armazenamento necessário para o índice. Um elemento de uma coleção complexa é definido como um membro dessa coleção. Por exemplo, suponha um documento de Hotel com uma coleção complexa de salas, cada sala na coleção de salas é considerada um elemento. Durante a indexação, o mecanismo de indexação pode processar com segurança um máximo de 3.000 elementos no documento como um todo. Esse limite foi introduzido em api-version=2019-05-06 e se aplica apenas a coleções complexas e não a coleções de cadeias de caracteres ou a campos complexos.

⁴ Na maioria das camadas, o tamanho máximo do índice é todo o armazenamento disponível em seu serviço de pesquisa. Para S2, S3 e S3 HD, o tamanho máximo de qualquer índice é o número fornecido na tabela. Aplica-se aos serviços de pesquisa criados após 3 de abril de 2024.

É possível encontrar alguma variação em limites máximos se o serviço for provisionado em um cluster mais potente. Os limites aqui representam o denominador comum. Os índices criados nas especificações acima são portáteis em todas as camadas de serviço equivalentes em qualquer região.

Limites do documento

O número máximo de documentos por índice são:

• 24 bilhões no Básico, S1, S2, S3
• 2 bilhões no S3 HD
• 288 bilhões em L1
• 576 bilhões em L2

Cada instância de uma coleção complexa conta como um documento separado em termos desses limites.

O tamanho máximo de cada documento é de aproximadamente 16 megabytes. O tamanho do documento é, na verdade, um limite no tamanho da carga de solicitação de API de indexação, que é de 16 megabytes. Esse conteúdo pode ser apenas um documento ou um lote de documentos. Para um lote com um único documento, o tamanho máximo de documentos é de 16 MB de JSON.

O tamanho do documento se aplica à indexação do modo push que carrega documentos em um serviço de pesquisa. Se você estiver usando um indexador para indexação de modo pull, seus arquivos de origem poderão ter qualquer tamanho de arquivo, sujeito aos limites do indexador. Para o indexador de blob, os limites de tamanho do arquivo são maiores para camadas mais altas. Por exemplo, o limite S1 é de 128 megabytes, o limite S2 é de 256 megabytes e assim por diante.

Ao estimar o tamanho do documento, lembre-se de indexar apenas os campos que adicionam valor aos cenários de pesquisa e excluir todos os campos de origem que não tenham nenhuma finalidade nas consultas que você pretende executar.

Limites de tamanho do índice de vetor

Ao indexar documentos com campos de vetor, a Pesquisa de IA do Azure constrói os índices de vetor internos usando os parâmetros de algoritmo que você fornece. O tamanho desses índices de vetor é restrito pela memória reservada para busca em vetores para sua camada de serviço (ou SKU). Para obter diretrizes sobre como gerenciar e maximizar o armazenamento de vetores, confira Tamanho do índice vetor e como manter-se abaixo dos limites.

Os limites de vetor variam de acordo com:

• data de criação do serviço
• região

Há limites de vetor mais altos a partir de abril de 2024 em novos serviços de pesquisa em regiões que fornecem a capacidade extra, que é a maioria delas.

Esta tabela mostra a progressão de aumentos da cota de vetor em GB ao longo do tempo. A cota é por partição, portanto, se você escalar um novo serviço Standard (S1) para 6 partições, a cota total de vetores será 35 multiplicada por 6.

¹ Limites iniciais de vetor durante a versão prévia antecipada.

² Limites de vetor durante o período de versão prévia posterior. Três regiões não tinham os limites mais altos: Centro-Oeste da Alemanha, Oeste da Índia e Catar Central.

³ Cota de vetor maior com base nas partições maiores para camadas e regiões com suporte.

⁴ Cota de vetor maior para mais camadas e regiões com base nas atualizações de tamanho de partição.

O serviço impõe uma cota de tamanho de índice de vetor para cada partição em seu serviço de pesquisa. Cada partição extra aumenta a cota de tamanho do índice de vetor disponível. Essa cota é um limite rígido para garantir que seu serviço permaneça íntegro, o que significa que novas tentativas de indexação depois que o limite é excedido resultarão em falha. Você pode retomar a indexação depois de liberar a cota disponível excluindo alguns documentos de vetor ou escalando verticalmente em partições.

Limites de indexador

Os tempos máximos de execução existem para fornecer balanceamento e estabilidade ao serviço como um todo, mas conjuntos de dados maiores podem precisar de mais tempo de indexação do que o máximo permitido. Se não for possível concluir um trabalho de indexação no tempo máximo permitido, tente executá-lo de maneira agendada. O agendador mantém monitora o status da indexação. Se um trabalho de indexação agendado for interrompido por algum motivo, o indexador poderá continuar de onde parou na próxima execução agendada.

¹ Os serviços gratuitos têm um tempo máximo de execução do indexador de 3 minutos para fontes do blob e 1 minuto para todas as outras fontes de dados. A invocação do indexador é uma vez a cada 180 segundos. Para a indexação de IA que chama o Azure AI Search, os serviços gratuitos são limitados a 20 transações gratuitas por indexador por dia, em que uma transação é definida como um documento que passa com sucesso pelo pipeline de enriquecimento (dica: é possível redefinir um indexador para redefinir sua contagem).

² Serviços básicos criados antes de dezembro de 2017 têm menos limites (5 em vez de 15) em indexadores, fontes de dados e conjuntos de habilidades.

³ Os serviços do S3 HD não incluem suporte ao indexador.

⁴ Máximo de 30 habilidades por conjunto de habilidades.

⁵ Em relação à duração máxima de duas ou 24 horas para indexadores: um máximo de duas horas é o mais comum e é para isso que você deve se planejar. Refere-se aos indexadores executados no ambiente público, usados para descarregar o processamento computacionalmente intensivo e deixar mais recursos para consultas. O limite de 24 horas se aplicará se você configurar o indexador para ser executado em um ambiente privado usando apenas a infraestrutura alocada ao serviço de pesquisa. Observe que alguns indexadores mais antigos são incapazes de executar no ambiente público e esses indexadores sempre têm um intervalo de processamento de 24 horas. Se você tiver indexadores não programados que são executados continuamente por 24 horas, é porque esses indexadores não puderam ser migrados para a infraestrutura mais recente. Como regra geral, para indexar trabalhos que não podem ser concluídos dentro de duas horas coloque o indexador em uma programação de 5 minutos, para que o indexador possa retomar rapidamente de onde parou. Na camada Gratuita, o tempo máximo de execução de 3 a 10 minutos é para indexadores com conjuntos de habilidades.

⁶ O número máximo de caracteres é baseado em unidades de código Unicode, especificamente UTF-16.

Limites do recurso do link privado compartilhado

Os indexadores podem acessar outros recursos do Azure por meio de pontos de extremidade privados gerenciados por meio da API de recurso de link privado compartilhado. Esta seção descreve os limites associados a esse recurso.

¹ O enriquecimento da IA e a análise de imagem fazem uso intensivo dos recursos de computação e consomem uma quantidade desproporcional da capacidade de processamento disponível. Por esse motivo, as conexões privadas são desabilitadas em camadas inferiores para garantir o desempenho e a estabilidade do serviço de pesquisa propriamente dito.

² Serviços de alta capacidade criados após 3 de abril de 2024 nas regiões listadas em Armazenamento de Partições e executando cargas de trabalho de vetorização integrada em tempo de indexação dão suporte a links privados compartilhados em camadas pagas. O sistema precisa detectar pelo menos uma habilidade que esteja inserindo dados.

³ O número de tipos de recursos distintos é calculado como o número de valores groupId exclusivos usados em todos os recursos de link privado compartilhado para um determinado serviço de pesquisa, independentemente do status do recurso.

Limites de sinônimos

O número máximo de mapas de sinônimos varia por camada. Cada regra pode ter até 20 expansões, onde uma expansão é um termo equivalente. Por exemplo, dado “gato”, associação com “gatinho”, “felino” e “felis” (o gênero para gatos) contaria como 3 expansões.

Limites de aliases de índice

O número máximo de aliases de índice varia de acordo com a camada e a data de criação do serviço. Em todas as camadas, se o serviço foi criado após outubro de 2022, o número máximo de aliases é o dobro em relação ao número máximo de índices permitidos. Se o serviço tiver sido criado antes de outubro de 2022, o limite será o número de índices permitidos.

¹ Serviços básicos criados antes de dezembro de 2017 têm menos limites (5 em vez de 15) em índices

Limites de dados (enriquecimento de IA)

Um pipeline de enriquecimento de IA que faz chamadas a um recurso da Linguagem de IA do Azure para reconhecimento de entidade, vinculação de entidade, extração de frases-chave, análise de sentimento, detecção de idioma, e detecção de informações pessoais está sujeito a limites de dados. O tamanho máximo de um registro deve ser de 50.000 caracteres conforme medido por String.Length. Se você precisar interromper o backup de seus dados antes de enviá-lo ao analisador de sentimentos, use a habilidade Text Split.

Barreiras de limitação

Solicitações de API são limitadas à medida que o sistema se aproxima da capacidade máxima. A limitação se comporta de maneira diferente para diferentes APIs. As APIs de consulta (pesquisa/sugestão/preenchimento automático) e as APIs de indexação são limitadas dinamicamente com base na carga no serviço. As APIs de índice e a API de operações de serviço têm limites de taxa de solicitação estáticos.

Limites de solicitação de taxa estática para operações relacionadas a um índice:

• Listar índices (GET/índices): 3 por segundo por unidade de pesquisa
• Obter índice (GET /índices/meuíndice): 10 por segundo por unidade de pesquisa
• Criar índice (POST/índices): 12 por minuto por unidade de pesquisa
• Criar ou atualizar índice (PUT /índices/meuíndice): seis por segundo por unidade de pesquisa
• Excluir índice (DELETE /índices/meuíndice): 12 por minuto por unidade de pesquisa

Limites de solicitação de taxa estática para operações relacionadas a um serviço:

• Estatísticas de serviço (GET/servicestats): 4 por segundo por unidade de pesquisa

Limites de limitação do classificador semântico

O classificador semântico usa um sistema de enfileiramento para gerenciar solicitações simultâneas. Esse sistema permite que os serviços de pesquisa obtenham o maior número de consultas por segundo possível. Quando o limite de solicitações simultâneas é atingido, solicitações adicionais são colocadas em uma fila. Se a fila estiver cheia, outras solicitações serão rejeitadas e deverão ser repetidas.

O total de consultas do classificador semântico por segundo varia de acordo com os seguintes fatores:

• A camada do serviço de pesquisa. A capacidade da fila e os limites de solicitação simultânea variam de acordo com a camada de serviço.
• O número de unidades de pesquisa no serviço de pesquisa. A maneira mais simples de aumentar o número máximo de consultas simultâneas do classificador semântico é adicionar unidades de pesquisa adicionais ao serviço de pesquisa.
• A capacidade total do classificador semântico disponível na região.
• O tempo necessário para atender a uma consulta usando o classificador semântico. Isso varia de acordo com o quão ocupado é o serviço de pesquisa.

A tabela a seguir descreve os limites de limitação do classificador semântico, sujeitos à capacidade disponível na região. Você pode entrar em contato com o suporte da Microsoft para solicitar um aumento de limite.

Limites de solicitação de API

Existem limites de consultas porque consultas não associadas podem desestabilizar seu serviço de pesquisa. Em geral, essas consultas são criadas programaticamente. Se seu aplicativo gerar consultas de pesquisa por meio de programação, é recomendável criá-lo de forma que não gere consultas de tamanho ilimitado.

Os limites de cargas existem por motivos semelhantes, garantindo a estabilidade do serviço de pesquisa. O limite se aplica a toda a solicitação, incluindo todos os seus componentes. Por exemplo, se a solicitação reunir vários documentos ou comandos, toda a solicitação deverá se ajustar ao limite com suporte.

Se você precisar exceder um limite com suporte, teste sua carga de trabalho para saber o que esperar.

Exceto quando observado, as solicitações de API a seguir se aplicam a todas as interfaces programáveis, incluindo os SDKs do Azure.

Geral:

• O limite máximo de carga com suporte é de 16 MB para indexação e solicitação de consulta por meio da API REST e SDKs.
• Comprimento máximo de URL de 8 KB (aplica-se somente às APIs REST).

APIs de indexação:

• Máximo de 1,000 documentos suportados por lote de carregamentos, mesclagens ou exclusões de índice.

APIs de consulta:

• Máximo de 32 campos na cláusula $orderby.
• Máximo de 100.000 caracteres em uma cláusula de pesquisa.
• O número máximo de cláusulas na pesquisa é de 3.000.
• Limites máximos em caractere curinga e de expressão regular, conforme imposto por Lucene. Ele limita o número de padrões, variações ou correspondências a 1.000 instâncias. Esse limite está em vigor para evitar a sobrecarga do mecanismo.

Termos de Pesquisa:

• O tamanho máximo do termo de pesquisa com suporte é de 32.766 bytes (32 KB menos 2 bytes) de texto codificado em UTF-8. Aplica-se à pesquisa de palavra-chave e à propriedade de texto da busca em vetores.
• O tamanho máximo do termo de pesquisa com suporte é de 1.000 caracteres para pesquisa de prefixo e pesquisa regex.

Limites de resposta da API

• Máximo de 1.000 documentos retornados por página de resultados da pesquisa
• Máximo de 100 sugestões retornadas por solicitação de Sugerir API

O mecanismo de pesquisa retorna 50 resultados por padrão, mas você pode substituir esse parâmetro até o limite máximo.

Limites de chave de API

As chaves de API são usadas para autenticação de serviço. Há dois tipos. Chaves de administração são especificadas no cabeçalho da solicitação e concedem acesso completo de leitura/gravação ao serviço. Chaves de consulta são somente leitura, especificadas na URL, e, geralmente, são distribuídas para aplicativos cliente.

• Máximo de duas chaves de administração por serviço
• Máximo de 50 chaves de consulta por serviço