Guia de início rápido: vetorizar texto e imagens usando o portal do Azure

Este guia de início rápido ajuda você a começar com a vetorização integrada usando o assistente Importar e vetorizar dados no portal do Azure. O assistente fragmenta seu conteúdo e chama um modelo de incorporação para vetorizar o conteúdo durante a indexação e para consultas.

Principais pontos sobre o assistente:

• As fontes de dados com suporte são o Armazenamento de Blobs do Azure, o Azure Data Lake Storage (ADLS) Gen2 ou arquivos e atalhos do OneLake.

• Os modelos de incorporação suportados são alojados no Azure OpenAI, no catálogo de modelos do Azure AI Studio, no Azure AI Vision multimodal.

• O esquema de índice fornece campos vetoriais e não vetoriais para dados em partes.

• Você pode adicionar campos, mas não pode excluir ou modificar campos gerados.

• O modo de análise de documentos cria blocos (um documento de pesquisa por bloco).

• O fragmento não é configurável. As configurações efetivas são:

  "textSplitMode": "pages",
  "maximumPageLength": 2000,
  "pageOverlapLength": 500,
  "maximumPagesToTake": 0, #unlimited
  "unit": "characters",
  

Pré-requisitos

• Uma subscrição do Azure. Crie um gratuitamente.

• Serviço Azure AI Search na mesma região que o Azure AI. Recomendamos a camada Básica ou superior.

• Azure Blob Storage, Azure Data Lake Storage (ADLS) Gen2 (uma conta de armazenamento com um namespace hierárquico) ou um OneLake lakehouse.

  O Armazenamento do Azure deve ser uma conta de desempenho padrão (finalidade geral v2). As camadas de acesso podem ser quentes, frias e frias.

• Um modelo de incorporação em uma plataforma de IA do Azure na mesma região do Azure AI Search. As instruções de implantação estão neste artigo.

  Provider	Modelos suportados
  Azure OpenAI Service	text-embedding-ada-002, text-embedding-3-large ou text-embedding-3-small.
  Catálogo de modelos do Azure AI Studio	Modelos de incorporação do Azure, Cohere e Facebook.
  Conta multisserviço de serviços de IA do Azure	Azure AI Vision multimodal para vetorização de imagem e texto. O Azure AI Vision multimodal está disponível em regiões selecionadas. Consulte a documentação para obter uma lista atualizada. Para usar esse recurso, a conta deve estar em uma região disponível e na mesma região do Azure AI Search.

Se estiver usando o Serviço OpenAI do Azure, ele deve ter um subdomínio personalizado associado. Se o serviço tiver sido criado através do portal do Azure, este subdomínio é gerado automaticamente como parte da configuração do serviço. Certifique-se de que seu serviço inclua um subdomínio personalizado antes de usá-lo com a integração do Azure AI Search.

Os recursos do Serviço OpenAI do Azure (com acesso a modelos de incorporação) criados no AI Studio não são suportados. Somente os recursos do Serviço OpenAI do Azure criados no portal do Azure são compatíveis com a integração de habilidades do Azure OpenAI Embedding .

Requisitos do ponto final público

Todos os recursos anteriores devem ter acesso público habilitado para que os nós do portal possam acessá-los. Caso contrário, o assistente falhará. Depois que o assistente for executado, você poderá habilitar firewalls e pontos de extremidade privados nos componentes de integração para segurança. Para obter mais informações, consulte Conexões seguras nos assistentes de importação.

Se os pontos de extremidade privados já estiverem presentes e você não puder desativá-los, a opção alternativa é executar o respetivo fluxo de ponta a ponta de um script ou programa em uma máquina virtual. A máquina virtual deve estar na mesma rede virtual que o ponto de extremidade privado. Aqui está um exemplo de código Python para vetorização integrada. O mesmo repositório GitHub tem exemplos em outras linguagens de programação.

Requisitos de controle de acesso baseado em função

Recomendamos atribuições de função para conexões de serviço de pesquisa com outros recursos.

1. Na Pesquisa de IA do Azure, habilite funções.

2. Configure seu serviço de pesquisa para usar uma identidade gerenciada.

3. Em sua plataforma de fonte de dados e provedor de modelo de incorporação, crie atribuições de função que permitam que o serviço de pesquisa acesse dados e modelos. Preparar dados de exemplo fornece instruções para configurar funções.

Um serviço de pesquisa gratuito suporta RBAC em ligações ao Azure AI Search, mas não suporta identidades geridas em ligações de saída ao Armazenamento do Azure ou ao Azure AI Vision. Esse nível de suporte significa que você deve usar a autenticação baseada em chave em conexões entre um serviço de pesquisa gratuito e outros serviços do Azure.

Para ligações mais seguras:

• Use a camada Básica ou superior.
• Configure uma identidade gerenciada e use funções para acesso autorizado.

Verificar o espaço

Se você está começando com o serviço gratuito, está limitado a três índices, fontes de dados, conjuntos de habilidades e indexadores. Limite básico a 15. Certifique-se de que tem espaço para itens adicionais antes de começar. Este guia de início rápido cria um de cada objeto.

Verificar se há classificador semântico

O assistente suporta classificação semântica, mas apenas na camada Básica e superior, e somente se o classificador semântico já estiver habilitado no seu serviço de pesquisa. Se você estiver usando uma camada faturável, verifique se o classificador semântico está habilitado.

Preparar dados de exemplo

Esta seção aponta para os dados que funcionam para este início rápido.

Configurar modelos de incorporação

O assistente pode usar modelos de incorporação implantados do Azure OpenAI, Azure AI Vision ou do catálogo de modelos no Azure AI Studio.

Iniciar o assistente

1. Entre no portal do Azure com sua conta do Azure e vá para seu serviço Azure AI Search.

2. Na página Visão geral, selecione Importar e vetorizar dados.

   

Ligar aos dados

A próxima etapa é conectar-se a uma fonte de dados para usar no índice de pesquisa.

Vetorizar o texto

Nesta etapa, especifique o modelo de incorporação para vetorização de dados em partes.

1. Na página Vetorizar seu texto, escolha a origem do modelo de incorporação:

   • Azure OpenAI
   • Catálogo de modelos do Azure AI Studio
   • Um recurso multimodal existente do Azure AI Vision na mesma região que o Azure AI Search. Se não houver uma conta multisserviço dos Serviços de IA do Azure na mesma região, essa opção não estará disponível.

2. Escolha a assinatura do Azure.

3. Faça seleções de acordo com o recurso:

   • Para o Azure OpenAI, escolha uma implantação existente de text-embedding-ada-002, text-embedding-3-large ou text-embedding-3-small.

   • Para o catálogo do AI Studio, escolha uma implantação existente de um modelo de incorporação do Azure, Cohere e Facebook.

   • Para incorporações multimodais do AI Vision, selecione a conta.

   Para obter mais informações, consulte Configurar modelos de incorporação anteriormente neste artigo.

4. Especifique se deseja que seu serviço de pesquisa se autentique usando uma chave de API ou identidade gerenciada.

   • A identidade deve ter uma função de Usuário OpenAI de Serviços Cognitivos na conta multisserviços do Azure AI.

5. Marque a caixa de seleção que reconhece o impacto no faturamento do uso desses recursos.

6. Selecione Seguinte.

Vetorize e enriqueça as suas imagens

Se o seu conteúdo incluir imagens, pode aplicar a IA de duas formas:

• Use um modelo de incorporação de imagem com suporte do catálogo ou escolha a API de incorporações multimodais do Azure AI Vision para vetorizar imagens.

• Use o reconhecimento ótico de caracteres (OCR) para reconhecer texto em imagens. Esta opção invoca a habilidade OCR para ler texto de imagens.

O Azure AI Search e seu recurso de IA do Azure devem estar na mesma região.

1. Na página Vetorizar suas imagens, especifique o tipo de conexão que o assistente deve fazer. Para vetorização de imagem, o assistente pode se conectar a modelos de incorporação no Azure AI Studio ou no Azure AI Vision.

2. Especifique a assinatura.

3. Para o catálogo de modelos do Azure AI Studio, especifique o projeto e a implantação. Para obter mais informações, consulte Configurar modelos de incorporação anteriormente neste artigo.

4. Opcionalmente, você pode quebrar imagens binárias (por exemplo, arquivos de documentos digitalizados) e usar OCR para reconhecer texto.

5. Marque a caixa de seleção que reconhece o impacto no faturamento do uso desses recursos.

6. Selecione Seguinte.

Adicionar classificação semântica

Na página Configurações avançadas, você pode, opcionalmente, adicionar classificação semântica para reclassificar os resultados no final da execução da consulta. A reclassificação promove as correspondências semanticamente mais relevantes para o topo.

Mapear novos campos

Na página Configurações avançadas, você pode, opcionalmente, adicionar novos campos. Por padrão, o assistente gera os seguintes campos com esses atributos:

Não é possível modificar os campos gerados ou seus atributos, mas é possível adicionar novos campos se a fonte de dados fornecê-los. Por exemplo, o Armazenamento de Blobs do Azure fornece uma coleção de campos de metadados.

1. Selecione Adicionar novo.

2. Escolha um campo de origem na lista de campos disponíveis, forneça um nome de campo para o índice e aceite o tipo de dados padrão ou a substituição, conforme necessário.

   Os campos de metadados são pesquisáveis, mas não recuperáveis, filtráveis, compatíveis ou classificáveis.

3. Selecione Redefinir se quiser restaurar o esquema para sua versão original.

Indexação de agendas

Na página Configurações avançadas, você pode, opcionalmente, especificar uma agenda de execução para o indexador.

1. Selecione Avançar quando terminar a página Configurações avançadas.

Concluir o assistente

1. Na página Revisar sua configuração, especifique um prefixo para os objetos criados pelo assistente. Um prefixo comum ajuda-o a manter-se organizado.

2. Selecione Criar.

Quando o assistente conclui a configuração, ele cria os seguintes objetos:

• Conexão da fonte de dados.

• Índice com campos vetoriais, vetorizadores, perfis vetoriais e algoritmos vetoriais. Não é possível projetar ou modificar o índice padrão durante o fluxo de trabalho do assistente. Os índices estão em conformidade com a API REST 2024-05-01-preview.

• Conjunto de habilidades com a habilidade Text Split para fragmentação e uma habilidade de incorporação para vetorização. A habilidade de incorporação é a habilidade AzureOpenAIEmbeddingModel para o Azure OpenAI ou a habilidade AML para o catálogo de modelos do Azure AI Studio. O conjunto de habilidades também tem a configuração de projeções de índice que permite que os dados sejam mapeados de um documento na fonte de dados para seus blocos correspondentes em um índice "filho".

• Indexador com mapeamentos de campo e mapeamentos de campo de saída (se aplicável).

Ver resultados

O Gerenciador de Pesquisa aceita cadeias de caracteres de texto como entrada e, em seguida, vetoriza o texto para execução de consulta vetorial.

1. No portal do Azure, vá para Índices de Gerenciamento de>Pesquisa e selecione o índice que você criou.

2. Opcionalmente, selecione Opções de consulta e oculte valores de vetor nos resultados da pesquisa. Esta etapa facilita a leitura dos resultados da pesquisa.

   

3. No menu Exibir, selecione Exibição JSON para que você possa inserir texto para sua consulta vetorial no text parâmetro de consulta vetorial.

   

   O assistente oferece uma consulta padrão que emite uma consulta vetorial no vector campo e retorna os cinco vizinhos mais próximos. Se você optou por ocultar valores de vetor, sua consulta padrão inclui uma select instrução que exclui o vector campo dos resultados da pesquisa.

   {
      "select": "chunk_id,parent_id,chunk,title",
      "vectorQueries": [
          {
             "kind": "text",
             "text": "*",
             "k": 5,
             "fields": "vector"
          }
       ]
   }
   

4. Para o valor, substitua text o asterisco (*) por uma pergunta relacionada aos planos de saúde, como Which plan has the lowest deductible?.

5. Selecione Pesquisar para executar a consulta.

   

   Cinco partidas devem aparecer. Cada documento é um pedaço do PDF original. O title campo mostra de qual PDF vem o bloco.

6. Para ver todas as partes de um documento específico, adicione um filtro para o title campo de um PDF específico:

   {
      "select": "chunk_id,parent_id,chunk,title",
      "filter": "title eq 'Benefit_Options.pdf'",
      "count": true,
      "vectorQueries": [
          {
             "kind": "text",
             "text": "*",
             "k": 5,
             "fields": "vector"
          }
       ]
   }
   
   

Limpeza

O Azure AI Search é um recurso faturável. Se já não precisar dele, elimine-o da sua subscrição para evitar cobranças.

Próximo passo

Este guia de início rápido apresentou o assistente Importar e vetorizar dados que cria todos os objetos necessários para vetorização integrada. Se você quiser explorar cada etapa em detalhes, tente uma amostra de vetorização integrada.