Limites de serviço na Pesquisa de IA do Azure

Os limites máximos de armazenamento, cargas de trabalho e quantidades de índices e outros objetos dependem da criação do Azure AI Search nos níveis de preços Gratuito, Básico, Standard ou Otimizado para Armazenamento .

• Free é um serviço compartilhado multilocatário que vem com sua assinatura do Azure.

• O Basic fornece recursos de computação dedicados para cargas de trabalho de produção em menor escala, mas compartilha alguma infraestrutura de rede com outros locatários.

• O padrão é executado em máquinas dedicadas com mais capacidade de armazenamento e processamento em todos os níveis. O padrão vem em quatro níveis: S1, S2, S3 e S3 HD. O S3 High Density (S3 HD) foi projetado para multilocação e grandes quantidades de pequenos índices (3.000 índices por serviço). O S3 HD não fornece o recurso de indexador e a ingestão de dados deve usar APIs que enviam dados da fonte para o índice.

• O Storage Optimized é executado em máquinas dedicadas com mais armazenamento total, largura de banda de armazenamento e memória do que o Standard. Esta camada tem como alvo índices grandes e de mudança lenta. O Storage Optimized vem em dois níveis: L1 e L2.

Limites da subscrição

Você pode criar vários serviços de pesquisa faturáveis (básicos e superiores), até o número máximo de serviços permitidos em cada camada, por região. Por exemplo, você pode criar até 16 serviços na camada Basic e outros 16 serviços na camada S1 dentro da mesma assinatura e região. Em seguida, você pode criar 16 serviços básicos adicionais em outra região para um total combinado de 32 serviços básicos sob a mesma assinatura. Para obter mais informações sobre camadas, consulte Escolher uma camada (ou SKU) para o Azure AI Search.

Os limites máximos de serviço podem ser aumentados mediante solicitação. Se você precisar de mais serviços dentro da mesma assinatura, registre uma solicitação de suporte.

1 Você pode ter um serviço de pesquisa gratuito por assinatura do Azure. O nível gratuito é baseado na infraestrutura compartilhada com outros clientes. Como o hardware não é dedicado, a expansão não é suportada e o armazenamento é limitado a 50 MB. Um serviço de pesquisa gratuito pode ser excluído após longos períodos de inatividade para abrir espaço para mais serviços.

2 As unidades de pesquisa (SU) são unidades de faturação, alocadas como uma réplica ou uma partição. Você precisa de ambos. Para saber mais sobre combinações de SU, consulte Estimar e gerenciar a capacidade de um serviço de pesquisa.

Limites de serviço

A tabela a seguir aborda SLA, contagens de partições e contagens de réplicas no nível de serviço.

1 A camada básica suporta três partições e três réplicas, para um total de nove unidades de pesquisa (SU) em novos serviços de pesquisa criados após 3 de abril de 2024. Os serviços básicos mais antigos são limitados a uma partição e três réplicas.

Um serviço de pesquisa está sujeito a um limite máximo de armazenamento (tamanho da partição multiplicado pelo número de partições) ou a um limite rígido do número máximo de índices ou indexadores, o que ocorrer primeiro.

Os contratos de nível de serviço (SLAs) aplicam-se a serviços faturáveis com duas ou mais réplicas para cargas de trabalho de consulta ou três ou mais réplicas para cargas de trabalho de consulta e indexação. O número de partições não é uma consideração de SLA. Para obter mais informações, consulte Confiabilidade na Pesquisa de IA do Azure.

Os serviços gratuitos não têm partições ou réplicas fixas e partilham recursos com outros subscritores.

Armazenamento de partições (GB)

Os limites de armazenamento por serviço variam em duas coisas: data de criação do serviço e região. Existem limites mais elevados para serviços mais recentes na maioria das regiões suportadas.

Esta tabela mostra a progressão dos aumentos da quota de armazenamento em GB ao longo do tempo. As partições de maior capacidade foram colocadas online a partir de abril de 2024, nas regiões listadas nas notas de rodapé. A maior capacidade está limitada aos novos serviços de pesquisa. Não há nenhuma atualização in-loco no momento.

1 Armazenamento de maior capacidade para Basic, S1, S2, S3 nessas regiões. Américas: Brasil Sul, Canadá Central, Leste do Canadá, Leste dos EUA, Leste dos EUA 2, Centro dos EUA, Centro-Norte dos EUA, Centro-Sul dos EUA, Oeste dos EUA, Oeste dos EUA 2, Oeste dos EUA 3, Centro-Oeste dos EUA. Europa: France Central. Itália Norte, Norte da Europa, Noruega Leste, Polónia Central, Suíça Norte, Suécia Central, Reino Unido Sul, Reino Unido Oeste. Médio Oriente: Norte dos Emirados Árabes Unidos. África: África do Sul Norte. Ásia-Pacífico: Austrália Leste, Austrália Sudeste, Índia Central, Jio Índia Oeste, Ásia Oriental, Sudeste Asiático, Leste do Japão, Oeste do Japão, Coreia Central, Coreia do Sul.

2 Armazenamento de maior capacidade para L1 e L2. Mais regiões oferecem maior capacidade em todos os níveis faturáveis. Europa: Alemanha Norte, Alemanha Centro-Oeste, Suíça Oeste. Azure Government: Texas, Arizona, Virgínia. África: África do Sul Norte. Ásia-Pacífico: China Norte 3, China Leste 3.

Algumas regiões ainda funcionam com infraestruturas mais antigas, sujeitas aos limites de 3 de abril. Antes de criar um novo serviço, verifique as regiões suportadas para se certificar de que a região da sua escolha fornece a capacidade extra.

Limites de índice

1 Os serviços básicos criados antes de dezembro de 2017 têm limites mais baixos (5 em vez de 15) nos índices. A camada básica é a única camada com um limite inferior de 100 campos por índice.

2 O limite superior de campos inclui campos de primeiro nível e subcampos aninhados em uma coleção complexa. Por exemplo, se um índice contiver 15 campos e tiver duas coleções complexas com cinco subcampos cada, a contagem de campos do índice será 25. Os índices com uma coleção de campos muito grande podem ser lentos. Limite campos e atributos apenas àqueles de que você precisa e execute indexação e teste de consulta para garantir que o desempenho seja aceitável.

3 Existe um limite superior para elementos porque ter um grande número deles aumenta significativamente o armazenamento necessário para o seu índice. Um elemento de uma coleção complexa é definido como um membro dessa coleção. Por exemplo, suponha que um documento de Hotel com uma coleção de quartos complexos, cada quarto na coleção Rooms é considerado um elemento. Durante a indexação, o mecanismo de indexação pode processar com segurança um máximo de 3.000 elementos no documento como um todo. Esse limite foi introduzido e api-version=2019-05-06 se aplica apenas a coleções complexas, e não a coleções de cadeia de caracteres ou campos complexos.

4 Na maioria dos níveis, o tamanho máximo do índice é todo o armazenamento disponível no seu serviço de pesquisa. Para S2, S3 e S3 HD, o tamanho máximo de qualquer índice é o número fornecido na tabela. Aplica-se a serviços de pesquisa criados após 3 de abril de 2024.

Você pode encontrar alguma variação nos limites máximos se o serviço for provisionado em um cluster mais poderoso. Os limites aqui representam o denominador comum. Os índices criados de acordo com as especificações acima são portáteis em níveis de serviço equivalentes em qualquer região.

Limites de documentos

O número máximo de documentos por índice é:

• 24 mil milhões em Basic, S1, S2, S3
• 2 mil milhões no S3 HD
• 288 mil milhões em L1
• 576 mil milhões em L2

Cada instância de uma coleção complexa conta como um documento separado em termos desses limites.

O tamanho máximo de cada documento é de aproximadamente 16 megabytes. O tamanho do documento é, na verdade, um limite no tamanho da carga útil da solicitação da API de indexação, que é de 16 megabytes. Essa carga pode ser um único documento ou um lote de documentos. Para um lote com um único documento, o tamanho máximo do documento é de 16 MB de JSON.

O tamanho do documento aplica-se à indexação em modo push que carrega documentos para um serviço de pesquisa. Se você estiver usando um indexador para indexação em modo pull, seus arquivos de origem podem ser de qualquer tamanho de arquivo, sujeitos aos limites do indexador. Para o indexador de blob, os limites de tamanho de arquivo são maiores para camadas mais altas. Por exemplo, o limite S1 é de 128 megabytes, o limite S2 é de 256 megabytes e assim por diante.

Ao estimar o tamanho do documento, lembre-se de indexar apenas os campos que agregam valor aos cenários de pesquisa e excluir quaisquer campos de origem que não tenham finalidade nas consultas que você pretende executar.

Limites de tamanho do índice vetorial

Quando você indexa documentos com campos vetoriais, o Azure AI Search constrói índices vetoriais internos usando os parâmetros de algoritmo fornecidos. O tamanho desses índices vetoriais é restrito pela memória reservada para a pesquisa vetorial para a camada (ou SKU) do seu serviço. Para obter orientações sobre como gerenciar e maximizar o armazenamento vetorial, consulte Tamanho do índice vetorial e permanecer abaixo dos limites.

Os limites vetoriais variam por:

• Data de criação do serviço
• região

Limites vetoriais mais altos a partir de abril de 2024 existem em novos serviços de busca em regiões que fornecem a capacidade extra, que é a maioria deles.

Esta tabela mostra a progressão dos aumentos de cota vetorial em GB ao longo do tempo. A cota é por partição, portanto, se você dimensionar um novo serviço Standard (S1) para 6 partições, a cota vetorial total será 35 multiplicada por 6.

1 Limites vetoriais iniciais durante a pré-visualização.

2 Limites vetoriais durante o período de visualização posterior. Três regiões não tinham os limites mais altos: Alemanha Centro-Oeste, Índia Ocidental, Qatar Central.

3 Cota vetorial mais alta com base nas partições maiores para camadas e regiões suportadas.

4 Cota vetorial mais alta para mais camadas e regiões com base em atualizações de tamanho de partição.

O serviço impõe uma cota de tamanho de índice vetorial para cada partição em seu serviço de pesquisa. Cada partição extra aumenta a cota de tamanho do índice vetorial disponível. Essa cota é um limite rígido para garantir que seu serviço permaneça íntegro, o que significa que novas tentativas de indexação quando o limite é excedido resultam em falha. Você pode retomar a indexação depois de liberar a cota disponível excluindo alguns documentos vetoriais ou aumentando a escala em partições.

Limites do indexador

Os tempos de execução máximos existem para proporcionar equilíbrio e estabilidade ao serviço como um todo, mas conjuntos de dados maiores podem precisar de mais tempo de indexação do que o máximo permite. Se um trabalho de indexação não puder ser concluído dentro do tempo máximo permitido, tente executá-lo em um cronograma. O agendador acompanha o status da indexação. Se um trabalho de indexação agendado for interrompido por qualquer motivo, o indexador poderá continuar de onde parou pela última vez na próxima execução agendada.

1 Os serviços gratuitos têm um tempo máximo de execução do indexador de 3 minutos para fontes de blob e 1 minuto para todas as outras fontes de dados. A invocação do indexador é feita uma vez a cada 180 segundos. Para indexação de IA que chama os serviços de IA do Azure, os serviços gratuitos são limitados a 20 transações gratuitas por indexador por dia, em que uma transação é definida como um documento que passa com êxito pelo pipeline de enriquecimento (dica: você pode redefinir um indexador para redefinir sua contagem).

2 Os serviços básicos criados antes de dezembro de 2017 têm limites mais baixos (5 em vez de 15) para indexadores, fontes de dados e conjuntos de competências.

3 Os serviços S3 HD não incluem suporte a indexadores.

4 Máximo de 30 competências por conjunto de competências.

5 Em relação à duração máxima de 2 ou 24 horas para indexadores: um máximo de 2 horas é o mais comum e é o que você deve planejar. Refere-se a indexadores que são executados no ambiente público, usados para descarregar o processamento computacionalmente intensivo e deixar mais recursos para consultas. O limite de 24 horas se aplica se você configurar o indexador para ser executado em um ambiente privado usando apenas a infraestrutura alocada ao seu serviço de pesquisa. Observe que alguns indexadores mais antigos são incapazes de serem executados no ambiente público, e esses indexadores sempre têm um intervalo de processamento de 24 horas. Se você tiver indexadores não agendados que são executados continuamente por 24 horas, pode presumir que esses indexadores não puderam ser migrados para a infraestrutura mais recente. Como regra geral, para trabalhos de indexação que não podem terminar dentro de duas horas, coloque o indexador em um cronograma de 5 minutos para que o indexador possa retomar rapidamente de onde parou. No nível Gratuito, o tempo máximo de execução de 3 a 10 minutos é para indexadores com conjuntos de habilidades.

6 O número máximo de caracteres é baseado em unidades de código Unicode, especificamente UTF-16.

Limites de recursos de links privados compartilhados

Os indexadores podem aceder a outros recursos do Azure através de pontos de extremidade privados geridos através da API de recurso de ligação privada partilhada. Esta seção descreve os limites associados a esse recurso.

1 O enriquecimento da IA e a análise de imagens são computacionalmente intensivos e consomem quantidades desproporcionadas de poder de processamento disponível. Por esse motivo, as conexões privadas são desativadas em níveis mais baixos para garantir o desempenho e a estabilidade do próprio serviço de pesquisa.

2 Serviços de alta capacidade criados após 3 de abril de 2024 nas regiões listadas em Armazenamento de partições e executando cargas de trabalho de vetorização integradas no momento da indexação oferecem suporte a links privados compartilhados em níveis pagos. O sistema deve detetar pelo menos uma habilidade que esteja incorporando dados.

3 O número de tipos de recursos distintos é calculado como o número de valores únicos groupId utilizados em todos os recursos de ligação privada partilhada para um determinado serviço de pesquisa, independentemente do estado do recurso.

Limites de sinónimos

O número máximo de mapas de sinónimos varia consoante o nível. Cada regra pode ter até 20 expansões, onde uma expansão é um termo equivalente. Por exemplo, dado "gato", a associação com "gatinho", "felino" e "felis" (o gênero para gatos) contaria como 3 expansões.

Limites de alias de índice

O número máximo de aliases de índice varia de acordo com a camada e a data de criação do serviço. Em todas as camadas, se o serviço tiver sido criado após outubro de 2022, o número máximo de aliases é o dobro do número máximo de índices permitidos. Se o serviço foi criado antes de outubro de 2022, o limite é o número de índices permitidos.

1 Os serviços básicos criados antes de dezembro de 2017 têm limites mais baixos (5 em vez de 15) nos índices

Limites de dados (enriquecimento de IA)

Um pipeline de enriquecimento de IA que faz chamadas para um recurso da Linguagem de IA do Azure para reconhecimento de entidade, vinculação de entidade, extração de frases-chave, análise de sentimento, deteção de idioma e deteção de informações pessoais está sujeito a limites de dados. O tamanho máximo de um registo deve ser de 50 000 carateres, medido por String.Length. Se você precisar dividir seus dados antes de enviá-los para o analisador de sentimento, use a habilidade Divisão de texto.

Limites de limitação

As solicitações de API são limitadas à medida que o sistema se aproxima da capacidade máxima. A limitação se comporta de forma diferente para APIs diferentes. As APIs de consulta (Pesquisa/Sugestão/Preenchimento automático) e as APIs de indexação são limitadas dinamicamente com base na carga no serviço. As APIs de índice e a API de operações de serviço têm limites de taxa de solicitação estática.

Limites de solicitação de taxa estática para operações relacionadas a um índice:

• Listar índices (GET /indexes): 3 por segundo por unidade de pesquisa
• Obter índice (GET /indexes/myindex): 10 por segundo por unidade de pesquisa
• Criar índice (POST /indexes): 12 por minuto por unidade de pesquisa
• Criar ou atualizar índice (PUT /indexes/myindex): 6 por segundo por unidade de pesquisa
• Excluir índice (DELETE /indexes/myindex): 12 por minuto por unidade de pesquisa

Limites de solicitação de taxa estática para operações relacionadas a um serviço:

• Estatísticas de serviço (GET /servicestats): 4 por segundo por unidade de pesquisa

Limites de limitação semântica do ranker

O classificador semântico usa um sistema de enfileiramento para gerenciar solicitações simultâneas. Este sistema permite que os serviços de pesquisa obtenham o maior número possível de consultas por segundo. Quando o limite de solicitações simultâneas é atingido, solicitações adicionais são colocadas em uma fila. Se a fila estiver cheia, outras solicitações serão rejeitadas e deverão ser repetidas.

O total de consultas semânticas por segundo varia com base nos seguintes fatores:

• A camada do serviço de pesquisa. A capacidade da fila e os limites de solicitação simultânea variam de acordo com a camada.
• O número de unidades de pesquisa no serviço de pesquisa. A maneira mais simples de aumentar o número máximo de consultas simultâneas de classificação semântica é adicionar mais unidades de pesquisa ao seu serviço de pesquisa.
• A capacidade total disponível do ranker semântico na região.
• A quantidade de tempo que leva para servir uma consulta usando o classificador semântico. Isso varia de acordo com o quão ocupado o serviço de pesquisa está.

A tabela a seguir descreve os limites de limitação do ranker semântico por camada, sujeito à capacidade disponível na região. Você pode entrar em contato com o suporte da Microsoft para solicitar um aumento de limite.

Limites de solicitação de API

Existem limites para consultas porque consultas ilimitadas podem desestabilizar seu serviço de pesquisa. Normalmente, essas consultas são criadas programaticamente. Se seu aplicativo gera consultas de pesquisa programaticamente, recomendamos projetá-lo de tal forma que não gere consultas de tamanho ilimitado.

Existem limites de cargas úteis por razões semelhantes, garantindo a estabilidade do seu serviço de pesquisa. O limite aplica-se a todo o pedido, incluindo todos os seus componentes. Por exemplo, se a solicitação agrupar vários documentos ou comandos, toda a solicitação deverá caber dentro do limite suportado.

Se tiver de exceder um limite suportado, deve testar a sua carga de trabalho para saber o que esperar.

Exceto onde indicado, as seguintes solicitações de API se aplicam a todas as interfaces programáveis, incluindo os SDKs do Azure.

Geral:

• O limite máximo de carga útil suportado é de 16 MB para indexação e solicitação de consulta via API REST e SDKs.
• Comprimento máximo de URL de 8 KB (aplica-se apenas a APIs REST).

APIs de indexação:

• Máximo suportado de 1.000 documentos por lote de uploads, mesclagens ou exclusões de índice.

APIs de consulta:

• Máximo de 32 campos em $orderby cláusula.
• Máximo de 100.000 caracteres em uma cláusula de pesquisa.
• O número máximo de cláusulas na pesquisa é de 3.000.
• Limites máximos em consultas curinga e expressão regular, conforme imposto por Lucene. Ele limita o número de padrões, variações ou correspondências a 1.000 instâncias. Este limite está em vigor para evitar sobrecarga do motor.

Termos de pesquisa:

• O tamanho máximo do termo de pesquisa suportado é de 32.766 bytes (32 KB menos 2 bytes) de texto codificado em UTF-8. Aplica-se à pesquisa por palavra-chave e à propriedade text da pesquisa vetorial.
• O tamanho máximo do termo de pesquisa suportado é de 1.000 caracteres para pesquisa de prefixo e pesquisa regex.

Limites de resposta da API

• Máximo de 1.000 documentos retornados por página de resultados da pesquisa
• Máximo de 100 sugestões retornadas por solicitação de API de sugestão

O mecanismo de pesquisa retorna 50 resultados por padrão, mas você pode substituir esse parâmetro até o limite máximo.

Limites de chave da API

As chaves de API são usadas para autenticação de serviço. Existem dois tipos. As chaves de administrador são especificadas no cabeçalho da solicitação e concedem acesso total de leitura e gravação ao serviço. As chaves de consulta são somente leitura, especificadas na URL e normalmente distribuídas para aplicativos cliente.

• Máximo de 2 chaves de administração por serviço
• Máximo de 50 chaves de consulta por serviço