Usar modelos de incorporação do catálogo de modelos do Azure AI Foundry para vetorização integrada

Neste artigo, saiba como acessar os modelos de incorporação no catálogo de modelos do Azure AI Foundry para conversões de vetores durante a indexação e em consultas na Pesquisa de IA do Azure.

O fluxo de trabalho inclui etapas de implantação de modelos. O catálogo de modelos inclui a incorporação de modelos da Microsoft e de outras empresas. A implantação de um modelo é cobrada de acordo com a estrutura de cobrança de cada provedor.

Depois que o modelo for implantado, você poderá usá-lo para vetorização integrada durante a indexação ou com o vetor do Azure AI Foundry para consultas.

Pré-requisitos

• Pesquisa de IA do Azure, qualquer região ou tipo.

• Azure AI Foundry e um projeto do Azure AI Foundry.

Modelos de inserção com suporte

A vetorização integrada e o Assistente de importação e vetorização de dados dão suporte aos seguintes modelos de incorporação no catálogo de modelos:

Para incorporações de texto:

• Cohere-embed-v3-english
• Cohere-embed-v3-multilingual

Para incorporações de imagens:

• Facebook-DinoV2-Image-Embeddings-ViT-Base
• Facebook-DinoV2-Image-Embeddings-ViT-Giant

Implantar um modelo de incorporação do catálogo de modelos do Azure AI Foundry

1. Abra o catálogo de modelos do Azure AI Foundry. Crie um projeto se você ainda não tiver um.

2. Aplique um filtro para mostrar apenas os modelos de inserção. Em Tarefas de inferência, selecione Inserções:

   

3. Selecione um modelo com suporte e, em seguida, selecione Implantar.

   

4. Aceite os padrões ou modifique conforme necessário e, a seguir, selecione Implantar. Os detalhes da implantação variam de acordo com o modelo que você selecionar.

5. Aguarde até que o modelo termine a implantação, monitorando o Estado de Provisionamento. Ele deve ser alterado de "Provisionamento" para "Atualização" para "Bem-sucedido". Talvez seja necessário selecionar Atualizar a cada poucos minutos para ver a atualização do status.

6. Anote o URI de destino, a chave e o nome do modelo. Você precisa desses valores para a definição do vetorizador em um índice de pesquisa e para o conjunto de habilidades que chama os pontos de extremidade do modelo durante a indexação.

   Opcionalmente, você pode alterar seu ponto de extremidade para usar a autenticação de Token em vez da autenticação de Chave. Se habilitar a autenticação por token, você só precisará copiar o URI e o nome do modelo e anotar em qual região o modelo está implantado.

   

7. Agora você pode configurar um índice de pesquisa e um indexador para usar o modelo implantado.

   • Para usar o modelo durante a indexação, consulte as etapas para habilitar a vetorização integrada. Certifique-se de usar a habilidade Azure Machine Learning (AML), e não a habilidade AzureOpenAIEmbedding. A próxima seção descreve a configuração da habilidade.

   • Para usar o modelo como um vetorizador no momento da consulta, consulte Configurar um vetorizador. Certifique-se de usar o vetorizador do catálogo de modelos do Azure AI Foundry para essa etapa.

Exemplos de payloads de habilidades do AML

Ao implantar modelos de incorporação do catálogo de modelos do Azure AI Foundry, você se conecta a eles usando a habilidade do AML na Pesquisa de IA do Azure para cargas de trabalho de indexação.

Esta seção descreve a definição da habilidade do AML e os mapeamentos de índice. Ela inclui payloads de amostra que já estão configuradas para funcionar com seus pontos de extremidade implantados correspondentes. Para obter mais detalhes técnicos sobre como esses payloads funcionam, leia sobre o contexto de Habilidade e linguagem de anotação de entrada.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/normalized_images/*",
  "uri": "https://myproject-1a1a-abcd.eastus.inference.ml.azure.com/score",
  "timeout": "PT1M",
  "key": "bbbbbbbb-1c1c-2d2d-3e3e-444444444444",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/normalized_images/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[[$(/document/normalized_images/*/data), '']]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "image_features"
    }
  ]
}

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "https://cohere-embed-v3-multilingual-hin.eastus.models.ai.azure.com/v1/embed",
  "key": "aaaaaaaa-0b0b-1c1c-2d2d-333333333333",
  "inputs": [
    {
      "name": "texts",
      "source": "=[$(/document/pages/*)]"
    },
    {
      "name": "input_type",
      "source": "='search_document'"
    },
    {
      "name": "truncate",
      "source": "='NONE'"
    },
    {
      "name": "embedding_types",
      "source": "=['float']"
    }
  ],
  "outputs": [
    {
      "name": "embeddings",
      "targetName": "aml_vector_data"
    }
  ]
}

"indexProjections": {
  "selectors": [
    {
      "targetIndexName": "<YOUR_TARGET_INDEX_NAME_HERE>",
      "parentKeyFieldName": "ParentKey", // Change this to the name of the field in your index definition where the parent key will be stored
      "sourceContext": "/document/pages/*",
      "mappings": [
        {
          "name": "aml_vector", // Change this to the name of the field in your index definition where the Cohere embedding will be stored
          "source": "/document/pages/*/aml_vector_data/float/0"
        }
      ]
    }
  ],
  "parameters": {}
}

Conteúdo de vetor do Azure AI Foundry de exemplo

O vetorizador do Azure AI Foundry, ao contrário da habilidade AML, é adaptado para funcionar somente com os modelos de inserção que são implantáveis por meio do catálogo de modelos do Azure AI Foundry. A principal diferença é que você não precisa se preocupar com a solicitação e o conteúdo da resposta, mas você precisa fornecer o modelName, que corresponde à "ID do modelo" copiada após a implantação do modelo no portal do Azure AI Foundry.

Aqui está um conteúdo de exemplo de como você configuraria o vetorizador em sua definição de índice, considerando as propriedades copiadas do Azure AI Foundry.

Para os modelos Cohere, você NÃO deve adicionar o caminho /v1/embed ao final da URL, como fez com a habilidade.

"vectorizers": [
    {
        "name": "<YOUR_VECTORIZER_NAME_HERE>",
        "kind": "aml",
        "amlParameters": {
            "uri": "<YOUR_URL_HERE>",
            "key": "<YOUR_PRIMARY_KEY_HERE>",
            "modelName": "<YOUR_MODEL_ID_HERE>"
        },
    }
]

Conecte-se usando a autenticação de token

Se você não puder usar a autenticação baseada em chave, poderá configurar a habilidade AML e a conexão do vetorizador do Azure AI Foundry para autenticação de token por meio do controle de acesso baseado em função no Azure. O serviço de busca deve ter uma identidade gerenciada atribuída pelo sistema ou pelo usuário, e a identidade deve ter permissões de Proprietário ou Colaborador para o espaço de trabalho do seu projeto do AML. Em seguida, você pode remover o campo de chave da sua definição de habilidade e vetorizador, substituindo-o pelo campo resourceId. Se o projeto do AML e o serviço de pesquisa estiverem em regiões diferentes, forneça também o campo da região.

"uri": "<YOUR_URL_HERE>",
"resourceId": "subscriptions/<YOUR_SUBSCRIPTION_ID_HERE>/resourceGroups/<YOUR_RESOURCE_GROUP_NAME_HERE>/providers/Microsoft.MachineLearningServices/workspaces/<YOUR_AML_WORKSPACE_NAME_HERE>/onlineendpoints/<YOUR_AML_ENDPOINT_NAME_HERE>",
"region": "westus", // Only need if AML project lives in different region from search service

Próximas etapas

• Configurar um vetorizador em um índice de pesquisa
• Configurar projeções de índice em um conjunto de habilidades
• Habilidade do AML
• Vetorizador do Azure AI Foundry
• Contexto de habilidades e idioma da anotação de entrada