Anexar um recurso multisserviço de IA do Azure a um conjunto de habilidades na Pesquisa de IA do Azure

Ao configurar um pipeline de enriquecimento de IA opcional no Azure AI Search, você pode enriquecer um pequeno número de documentos gratuitamente, limitado a 20 transações diárias por índice. Para cargas de trabalho maiores e mais frequentes, você deve anexar um recurso multisserviço faturável do Azure AI.

Uma conta multisserviço fornece uma coleção de serviços de IA do Azure, em vez de serviços individuais. Fornecer uma conta em um conjunto de habilidades do Azure AI Search permite que a Microsoft cobre pelo uso destes serviços:

• Azure AI Vision para análise de imagem, reconhecimento ótico de carateres (OCR) e incorporação multimodal de texto e imagem.
• Azure AI Language para deteção de idioma, reconhecimento de entidade, análise de sentimento e extração de frases-chave
• Azure AI Speech para fala para texto e texto para fala
• Azure AI Translator para tradução automática de texto

Você deve fornecer informações de conexão para o multi-recurso da IA do Azure no conjunto de habilidades. O Azure AI Search não usa a conexão para cargas de trabalho do conjunto de habilidades, mas usa a conexão para acessar os medidores de faturamento no recurso. Como tal, a sua conta de serviços de IA do Azure é utilizada para faturação, não para processamento de competências. O Azure AI Search usa recursos dedicados separados para processamento de habilidades.

Você pode usar uma chave na conexão ou implementar uma abordagem sem chave que está atualmente em visualização.

Pré-requisitos

• Conectividade através de um ponto de extremidade público, a menos que seu serviço de pesquisa atenda aos requisitos de data de criação, camada e região para conexões privadas com uma conta multisserviço do Azure AI.

Faturar através de uma ligação sem chave

Usando o portal do Azure ou APIs REST de visualização mais recentes e pacotes SDK beta, você pode anexar um recurso multisserviço do Azure AI usando uma identidade gerenciada e permissões. A vantagem desta abordagem é que a faturação não tem chave e não depende de regiões.

1. Configure a Pesquisa de IA do Azure para usar uma identidade gerenciada.

2. No recurso multisserviço da IA do Azure, atribua a identidade à função Usuário dos Serviços Cognitivos.

3. Usando o portal do Azure ou a API REST do Skillset 2024-11-01-preview ou um pacote beta do SDK do Azure que fornece a sintaxe, configure um conjunto de habilidades para usar uma identidade:

   • A identidade gerenciada usada na conexão pertence ao serviço de pesquisa.
   • A identidade pode ser gerenciada pelo sistema ou atribuída pelo usuário.
   • A identidade deve ter permissões de Usuário dos Serviços Cognitivos no recurso de IA do Azure.
   • @odata.type é sempre #Microsoft.Azure.Search.AIServicesByIdentity.
   • subdomainUrl é o ponto de extremidade do seu recurso multisserviço do Azure AI. Pode estar em qualquer região que seja suportada conjuntamente pelo Azure AI Search e pelos serviços Azure AI.

Tal como acontece com as chaves, os detalhes fornecidos sobre o recurso dos Serviços de IA do Azure são utilizados para faturação, não para ligações. Todas as solicitações de API feitas pelo Azure AI Search para serviços de IA do Azure para processamento de habilidades interno continuam a ser internas e gerenciadas pela Microsoft.

Exemplo: identidade gerenciada atribuída ao sistema

Identity é definido como null.

POST https://[service-name].search.windows.net/skillsets/[skillset-name]?api-version=2024-11-01-Preview  

{  
    "name": "my skillset name",  
    "skills":   
    [  
      // skills definition goes here 
    ],  
    "cognitiveServices": {  
        "@odata.type": "#Microsoft.Azure.Search.AIServicesByIdentity",  
        "description": "",  
        "subdomainUrl": “https://[subdomain-name].cognitiveservices.azure.com",  
        "identity": null 
    }  
} 

Exemplo: identidade gerenciada atribuída pelo usuário

A identidade é definida como a ID do recurso da identidade gerenciada atribuída pelo usuário. Para localizar uma identidade gerenciada atribuída pelo usuário existente, consulte Gerenciar identidades gerenciadas atribuídas pelo usuário.

Para uma identidade gerenciada atribuída pelo usuário, defina as @odata.type e as userAssignedIdentity propriedades.

POST https://[service-name].search.windows.net/skillsets/[skillset-name]?api-version=2024-11-01-Preview  

{  
    "name": "my skillset name",  
    "skills":   
    [  
      // skills definition goes here 
    ],  
    "cognitiveServices": {  
        "@odata.type": "#Microsoft.Azure.Search.AIServicesByIdentity",  
        "description": "",  
        "subdomainUrl": “https://[subdomain-name].cognitiveservices.azure.com",  
        "identity": {   
            "@odata.type":  "#Microsoft.Azure.Search.DataUserAssignedIdentity",   
            "userAssignedIdentity": ""/subscriptions/{subscription-ID}/resourceGroups/{resource-group-name}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{user-assigned-managed-identity-name}"" 
        }
    } 
}

Faturar através de uma chave de recurso

O Azure AI Search também pode cobrar pela transação usando a chave de recurso multisserviço do Azure AI. Essa abordagem é o padrão e está geralmente disponível. Você pode usar o portal do Azure, a API REST ou um SDK do Azure para adicionar a chave a um conjunto de habilidades.

Há dois tipos de chave suportados: #Microsoft.Azure.Search.CognitiveServicesByKey que chama o ponto de extremidade regional e "#Microsoft.Azure.Search.AIServicesByKey que chama o subdomínio. Recomendamos o uso AIServicesByKey para seu suporte de link privado compartilhado e capacidade de funcionar sem requisitos regionais em relação ao serviço de pesquisa.

Se você deixar a cognitiveServices propriedade não especificada, seu serviço de pesquisa tentará usar os enriquecimentos gratuitos disponíveis para seu indexador diariamente. A execução de habilidades faturáveis para em 20 transações por invocação do indexador e uma mensagem "Time out" aparece no histórico de execução do indexador.

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2024-11-01-Preview
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.AIServicesByKey",
        "description": "mycogsvcs",
        "subdomainUrl": “https://[subdomain-name].cognitiveservices.azure.com",
        "key": "<your key goes here>"
    }
}

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Remova a chave

Os enriquecimentos são operações faturáveis. Se você não precisar mais chamar os serviços de IA do Azure, siga estas instruções para remover a chave multisserviço e impedir o uso do recurso externo. Sem a chave, o conjunto de habilidades reverte para a alocação padrão de 20 transações gratuitas por indexador, por dia. A execução de habilidades faturáveis para em 20 transações e uma mensagem "Time out" aparece no histórico de execução do indexador quando a alocação é esgotada.

Como a chave é usada

A cobrança entra em vigor quando as chamadas de API para os recursos de serviços de IA do Azure excedem 20 chamadas de API por indexador, por dia. Você pode redefinir o indexador para redefinir a contagem de API.

As conexões sem chave e baseadas em chave são usadas para faturamento, mas não para conexões de operações de enriquecimento. Para conexões, um serviço de pesquisa se conecta pela rede interna a um recurso de serviços de IA do Azure localizado na mesma região física. A maioria das regiões que oferecem o Azure AI Search também oferece outros serviços de IA do Azure, como o Language. Se você tentar enriquecimento de IA em uma região que não tenha os dois serviços, verá esta mensagem: "A chave fornecida não é uma chave de tipo CognitiveServices válida para a região do seu serviço de pesquisa".

Os indexadores podem ser configurados para serem executados em um ambiente de execução privado para processamento dedicado usando apenas os nós de pesquisa do seu próprio serviço de pesquisa. Mesmo se você estiver usando o ambiente de execução privada, o Azure AI Search ainda usa seu recurso multisserviço Azure AI provisionado internamente para executar todos os enriquecimentos de habilidades.

Requisitos de ligação pública

Dependendo de quando seu serviço de pesquisa foi criado e de sua camada e região, a cobrança de habilidades internas pode exigir uma conexão pública da Pesquisa de IA do Azure para o multisserviço de IA do Azure. A desativação do acesso à rede pública interrompe a faturação em alguns cenários. Analise os requisitos para conexões por meio de um link privado compartilhado para determinar se seu serviço de pesquisa requer uma conexão pública.

Se não puder usar a rede pública, você poderá configurar uma habilidade de API Web personalizada implementada com uma Função do Azure que ofereça suporte a pontos de extremidade privados e adicionar o recurso de serviços de IA do Azure à mesma VNET. Dessa forma, você pode chamar o recurso de serviços de IA do Azure diretamente da habilidade personalizada usando pontos de extremidade privados.

Principais requisitos casos especiais

A Pesquisa de Entidade Personalizada é medida pelo Azure AI Search, não pelos serviços de IA do Azure, mas requer uma chave de recurso multisserviço do Azure AI para desbloquear transações além de 20 por indexador, por dia. Apenas para essa habilidade, a chave de recurso desbloqueia o número de transações, mas não está relacionada ao faturamento.

Enriquecimento gratuito

O enriquecimento de IA oferece uma pequena quantidade de processamento gratuito de enriquecimentos faturáveis para que você possa concluir exercícios curtos sem ter que anexar um recurso multisserviço de IA do Azure. Os enriquecimentos gratuitos são 20 documentos por dia, por indexador. Você pode redefinir o indexador para redefinir o contador se quiser repetir um exercício.

Alguns enriquecimentos são sempre gratuitos:

• As habilidades de utilidade que não chamam os serviços de IA do Azure (ou seja, habilidades Condicionais, Extração de Documentos, Shaper, Mesclagem de Texto e Divisão de Texto) não são faturáveis.

• A extração de texto de documentos PDF e outros arquivos de aplicativos não pode ser faturável. A extração de texto, que ocorre durante a quebra de documentos, não é um enriquecimento de IA, mas ocorre durante o enriquecimento de IA e, portanto, é notada aqui.

Enriquecimento faturável

Durante o enriquecimento de IA, o Azure AI Search chama as APIs de serviços de IA do Azure para habilidades internas baseadas no Azure AI Vision, no Translator e na Linguagem de IA do Azure.

As habilidades internas faturáveis que fazem chamadas de back-end para os serviços de IA do Azure incluem Vinculação de Entidade, Reconhecimento de Entidade, Análise de Imagem, Extração de Frases-Chave, Deteção de Idioma, OCR, Deteção de Informações de Identificação Pessoal (PII), Sentimento e Tradução de Texto.

A extração de imagem é uma operação de Pesquisa de IA do Azure que ocorre quando os documentos são quebrados antes do enriquecimento. A extração de imagens é faturável em todos os níveis, exceto para 20 extrações diárias gratuitas no nível gratuito. Os custos de extração de imagem aplicam-se a arquivos de imagem dentro de blobs, imagens incorporadas em outros arquivos (PDF e outros arquivos de aplicativo) e para imagens extraídas usando a Extração de Documentos. Para obter preços de extração de imagem, consulte a página de preços do Azure AI Search.

Exemplo: Estimar custos

Para estimar os custos associados à indexação do Azure AI Search, comece com uma ideia da aparência de um documento médio para que você possa executar alguns números. Por exemplo, você pode aproximar:

• 1.000 PDFs.
• Seis páginas cada.
• Uma imagem por página (6.000 imagens).
• 3.000 caracteres por página.

Suponha um pipeline que consiste em quebra de documentos de cada PDF, extração de imagem e texto, reconhecimento ótico de caracteres (OCR) de imagens e reconhecimento de entidades de organizações.

Os preços apresentados neste artigo são hipotéticos. Eles são usados para ilustrar o processo de estimativa. Os seus custos podem ser mais baixos. Para obter o preço real das transações, consulte Preços dos serviços de IA do Azure.

1. Para quebra de documentos com conteúdo de texto e imagem, a extração de texto é atualmente gratuita. Para 6.000 imagens, assuma $1 para cada 1.000 imagens extraídas. Esse é um custo de US $ 6,00 para esta etapa.

2. Para OCR de 6.000 imagens em inglês, a habilidade cognitiva OCR usa o melhor algoritmo (DescribeText). Supondo um custo de US $ 2,50 por 1.000 imagens a serem analisadas, você pagaria US $ 15,00 por esta etapa.

3. Para extração de entidade, você teria um total de três registros de texto por página. Cada registro tem 1.000 caracteres. Três registos de texto por página multiplicados por 6 000 páginas equivalem a 18 000 registos de texto. Supondo US $ 2,00 por 1.000 registros de texto, essa etapa custaria US $ 36,00.

Juntando tudo, você pagaria cerca de US $ 57,00 para ingerir 1.000 documentos PDF desse tipo com o conjunto de habilidades descrito.

Próximos passos

• Página de preços do Azure AI Search
• Como definir um conjunto de competências
• Criar conjunto de habilidades (REST)
• Como mapear campos enriquecidos