Repositórios de vetores no Azure Machine Learning (visualização)
Importante
Esta funcionalidade está atualmente em pré-visualização pública. Esta versão de pré-visualização é fornecida sem um contrato de nível de serviço e não a recomendamos para cargas de trabalho de produção. Algumas funcionalidades poderão não ser suportadas ou poderão ter capacidades limitadas.
Para obter mais informações, veja Termos Suplementares de Utilização para Pré-visualizações do Microsoft Azure.
Este artigo descreve índices vetoriais no Aprendizado de Máquina do Azure que você pode usar para executar a geração aumentada de recuperação (RAG). Um índice vetorial armazena incorporações que são representações numéricas de conceitos (dados) convertidos em sequências numéricas. As incorporações permitem que grandes modelos de linguagem (LLMs) compreendam as relações entre os conceitos. Você pode criar repositórios vetoriais para conectar seus dados com LLMs como GPT-4 e recuperar os dados de forma eficiente.
O Azure Machine Learning dá suporte a dois repositórios vetoriais que contêm seus dados suplementares usados em um fluxo de trabalho RAG:
| Arquivo de vetores | Description | Características e utilização |
|---|---|---|
| Faiss | Biblioteca de código aberto | - Use o armazenamento local baseado em arquivos - Incorrer em custos mínimos - Suporte somente dados vetoriais - Suporte ao desenvolvimento e testes |
| Azure AI Search | Recurso de PaaS do Azure | - Armazenar dados de texto no índice de pesquisa - Hospedar grande número de índices com um único serviço - Suporte aos requisitos de negócios de nível empresarial - Acesso à recuperação de informações híbridas |
As seções a seguir exploram considerações para trabalhar com esses repositórios vetoriais.
Biblioteca Faiss
O Faiss é uma biblioteca open-source que fornece um arquivo baseado em ficheiros locais. O índice de vetor é armazenado na conta de armazenamento do Azure do seu espaço de trabalho do Azure Machine Learning. Para trabalhar com o Faiss, faça o download da biblioteca e use-a como um componente da sua solução. Como o índice é armazenado localmente, os custos são mínimos.
Você pode usar a biblioteca Faiss como seu armazenamento de vetores e executar as seguintes ações:
Armazene dados vetoriais localmente, sem custos para criar um índice (apenas custo de armazenamento)
Criar e consultar um índice na memória
Compartilhar cópias para uso individual e configurar a hospedagem do índice para um aplicativo
Dimensionar com índice de carregamento de computação subjacente
Pesquisa de IA do Azure
O Azure AI Search (anteriormente Cognitive Search) é um recurso dedicado de PaaS do Azure que você cria em uma assinatura do Azure. O recurso suporta a recuperação de informações sobre seus dados vetoriais e textuais armazenados em índices de pesquisa. Um fluxo de prompt pode criar, preencher e consultar seus dados vetoriais armazenados no Azure AI Search. Um único serviço de pesquisa pode hospedar um grande número de índices, que podem ser consultados e usados em um padrão RAG.
Aqui estão alguns pontos-chave sobre como usar o Azure AI Search para seu repositório de vetores:
Ofereça suporte aos requisitos de negócios de nível empresarial para escala, segurança e disponibilidade.
Acesse a recuperação de informações híbridas. Os dados vetoriais podem coexistir com dados não vetoriais, o que significa que você pode usar qualquer um dos recursos do Azure AI Search para indexação e consultas, incluindo pesquisa híbrida e reclassificação semântica.
Tenha em mente que o suporte a vetores está em visualização. Atualmente, os vetores devem ser gerados externamente e, em seguida, passados para o Azure AI Search para indexação e codificação de consulta. O fluxo de prompt lida com essas transições para você.
Para usar a Pesquisa de IA como um repositório de vetores para o Aprendizado de Máquina do Azure, você deve ter um serviço de pesquisa. Depois que o serviço existir e você conceder acesso aos desenvolvedores, poderá escolher o Azure AI Search como um índice vetorial em um fluxo de prompt. O fluxo de prompt cria o índice na Pesquisa de IA do Azure, gera vetores a partir dos dados de origem, envia os vetores para o índice, invoca a pesquisa de semelhança na Pesquisa de IA e retorna a resposta.