Classificação semântica no Azure AI Search
Na Pesquisa de IA do Azure, o classificador semântico semântica é um recurso que melhora de forma mensurável a relevância da pesquisa usando os modelos de reconhecimento de linguagem da Microsoft para reclassificar os resultados da pesquisa. Este artigo traz uma introdução de alto nível para ajudar você a entender melhor sobre os comportamentos e benefícios do classificador semântico.
O classificador semântico é um recurso Premium cobrado pelo uso. Recomendamos a leitura deste artigo para obter mais contexto, mas se preferir começar agora mesmo, siga estas etapas.
Observação
O classificador semântico não usa IA generativa ou vetores. Se você estiver procurando vetores e busca por similaridade, confira o artigo Busca em vetores na Pesquisa de IA do Azure para mais informações.
O que é a classificação semântica?
O classificador semântico é um conjunto de recursos do lado da consulta que melhora a qualidade de um resultado de pesquisa inicial classificado como BM25 ou RRF para consultas baseadas em texto, consultas vetoriais e híbridas. Quando habilitada no serviço de pesquisa, a classificação semântica estende o pipeline de execução de consulta de duas maneiras:
Primeiro, ela adiciona a classificação secundária sobre um conjunto de resultados iniciais que foi pontuado usando BM25 ou RRF (fusão de classificação recíproca). Esta classificação secundária usa modelos de aprendizado detalhados e multilíngues adaptados do Microsoft Bing para promover os resultados mais semanticamente relevantes.
Em segundo lugar, ele extrai e retorna legendas e itens na resposta, que você pode renderizar em uma página de pesquisa para melhorar a experiência de pesquisa do usuário.
Aqui estão os recursos do reclassificador semântico.
| Capacidade | Descrição |
|---|---|
| Classificação L2 | Usa o contexto ou o significado semântico de uma consulta para calcular uma nova pontuação de relevância sobre os resultados pré-classificados. |
| Legendas semânticas e destaques | Extrai orações e frases verbatim de campos que resumem o conteúdo, com destaques em passagens importantes para facilitar a verificação. As legendas que resumem um resultado são úteis quando campos de conteúdo individuais são muito densos para a página de resultados da pesquisa. O texto realçado destaca os termos e frases mais relevantes para que os usuários possam determinar rapidamente por que uma correspondência foi considerada relevante. |
| Respostas semânticas | Uma subestrutura opcional e adicional retornada de uma consulta semântica. Ela oferece uma resposta direta para uma consulta que se parece com uma pergunta. Ela requer que um documento tenha um texto com as características de uma resposta. |
Como funciona o classificador semântico
O classificador semântico alimenta uma consulta e os resultados em modelos de reconhecimento de linguagem hospedados pela Microsoft, buscando correspondências melhores.
A ilustração a seguir explica o conceito. Considere o termo "capital". Tem significados diferentes dependendo de se o contexto é sobre finanças, direito, geografia ou gramática. Por meio do reconhecimento de linguagem, o classificador semântico pode detectar o contexto e promover resultados que se ajustem à intenção de consulta.
A classificação semântica é demorada tando em recurso quanto em tempo. Para concluir o processamento dentro da latência esperada de uma operação de consulta, as entradas para o classificador semântico são consolidadas e reduzidas para que a etapa de reclassificação possa ser concluída o mais rápido possível.
O processo de classificação semântica envolve três etapas:
- Coletar e resumir entradas
- Pontuar resultados usando o classificador semântico
- Produzir respostas, legendas e resultados reclassificados
Como as entradas são coletadas e resumidas
Na classificação semântica, o subsistema de consulta passa os resultados da pesquisa como uma entrada para resumir e classificar modelos. Como os modelos de classificação têm restrições de tamanho de entrada e exigem muito processamento, os resultados da pesquisa devem ser dimensionados e estruturados (resumidos) para fins de manipulação eficiente.
O classificador semântico começa com um resultado classificado por BM25 de uma consulta de texto ou um resultado classificado por RRF de uma consulta vetorial ou híbrida. Somente os campos de texto são usados no exercício de reclassificação e apenas os 50 principais resultados avançam para a classificação semântica, mesmo que os resultados incluam mais de 50. Normalmente, os campos usados na classificação semântica são informativos e descritivos.
Para cada documento no resultado da pesquisa, o modelo de resumo aceita até 2.000 tokens, em que um token tem aproximadamente 10 caracteres. As entradas são montadas a partir dos campos "title", "keyword" e "content" listados na configuração semântica.
Aas cadeias de caracteres excessivamente longas são cortadas para garantir que o comprimento geral atenda aos requisitos de entrada da etapa de resumo. Esse exercício de corte é o motivo pelo qual é importante adicionar campos à sua configuração semântica em ordem de prioridade. Se você tiver documentos muito grandes com campos cheios de texto, qualquer coisa além do limite máximo será ignorada.
Campo semântico Limite de token "title" 128 tokens "keywords" 128 tokens "content" tokens restantes A saída de resumo é uma cadeia de caracteres de resumo para cada documento, composta pelas informações mais relevantes de cada campo. As cadeias de caracteres de resumo são enviadas ao classificador para pontuação e para modelos de compreensão de leitura de computador para legendas e respostas.
A partir de novembro de 2024, o comprimento máximo de cada cadeia de caracteres de resumo gerada passada para o classificador semântico é de 2024 tokens. Anteriormente, eram 256 tokens.
Como a classificação é pontuada
A pontuação é feita na legenda e qualquer outro conteúdo da cadeia de caracteres de resumo que preenche o comprimento de 2.048 do token.
As legendas são avaliadas quanto à relevância conceitual e semântica, em relação à consulta fornecida.
O @search.rerankerScore é atribuído para cada documento com base na relevância semântica do documento para a consulta determinada. As pontuações variam de 4 a 0 (alta a baixa), em que uma pontuação mais alta indica maior relevância.
Pontuação Significado 4,0 O documento é altamente relevante e responde completamente à pergunta, mesmo que o trecho inclua textos adicionais que não estejam relacionados à pergunta. 3.0 O documento é relevante, mas falta detalhes para deixá-lo completo. 2,0 O documento é parcialmente relevante, respondendo de forma incompleta ou abordando apenas alguns aspectos da pergunta. 1.0 O documento está relacionado à pergunta, mas só responde uma pequena parte dela. 0,0 O documento é irrelevante. As correspondências são listadas em ordem decrescente por pontuação e incluídos no conteúdo da resposta da consulta. O conteúdo inclui respostas, texto sem formatação, legendas realçadas e todos os campos marcados como recuperáveis ou especificados em uma cláusula SELECT.
Observação
Para qualquer consulta específica, as distribuições de @search.rerankerScore podem apresentar pequenas variações devido às condições no nível da infraestrutura. As atualizações do modelo de classificação também são conhecidas por afetar a distribuição. Por esses motivos, se estiver escrevendo um código personalizado para limites mínimos ou definindo a propriedade de limite para consultas de vetores e híbridas, não torne os limites muito granulares.
Saídas de classificador semântico
Em cada cadeia de caracteres de resumo, os modelos de compreensão de leitura do computador encontram passagens que são as mais representativas.
As saídas são:
Uma legenda semântica para o documento. Cada legenda está disponível em uma versão de texto sem formatação e uma versão realçada, e ela geralmente tem menos de 200 palavras por documento.
Uma resposta semântica opcional, supondo que você especificou o parâmetro
answers, a consulta foi colocada como uma pergunta e uma passagem é encontrada na cadeia de caracteres longa que fornece uma resposta provável para a pergunta.
As legendas e respostas são sempre textos verbatim do índice. Não há modelos de IA generativa neste fluxo de trabalho que crie ou componha o novo conteúdo.
Funcionalidades semânticas e limitações
O classificador semântico é uma tecnologia mais nova, portanto, é importante definir expectativas sobre o que ela pode ou não fazer. O que pode fazer:
Promover as correspondências semanticamente mais próximas da intenção da consulta original.
Encontrar cadeias de caracteres a serem usadas como legendas e respostas. As legendas e respostas são retornadas na resposta e podem ser renderizadas em uma página de resultados da pesquisa.
O classificador semântico não pode executar novamente a consulta em todo o corpus para encontrar resultados semanticamente relevantes. A classificação semântica reclassifica o conjunto de resultados existentes, que consiste nos primeiros 50 resultados, conforme pontuado pelo algoritmo de classificação padrão. Além disso, o classificador semântico não pode criar novas informações ou cadeias de caracteres. As legendas e as respostas são extraídas literalmente do seu conteúdo. Portanto, se os resultados não incluírem textos de resposta, os modelos de idioma não produzirão um texto de resposta.
Embora a classificação semântica não seja benéfica em todos os cenários, alguns conteúdos podem ter grandes benefícios com os seus recursos. Os modelos de linguagem no classificador semântico funcionam melhor em conteúdos pesquisáveis, que sejam ricos em informações e estruturado como prosa. Bases de dados de conhecimento, documentações online ou documentos com conteúdo descritivo são os que mais se beneficiam dessas funcionalidades.
A tecnologia subjacente é do Bing e do Microsoft Research e se integra à infraestrutura do Azure AI Search como um recurso complementar. Para obter mais informações sobre os investimentos em pesquisa e IA que respaldam o classificador semântico, confira o artigo: Como a IA do Bing está capacitando a Pesquisa de IA do Azure (blog Microsoft Research).
O seguinte vídeo apresenta uma visão geral dos recursos.
Disponibilidade e preços
O classificador semântico está disponível nos serviços de pesquisa nas camadas Básica e superior, sujeita à disponibilidade regional.
Ao habilitar o classificador semântico, escolha um plano de preços para o recurso:
- Em volumes de consulta inferiores (menos de 1.000 mensais), a classificação semântica é gratuita.
- Em volumes de consulta mais altos, escolha o plano de preços padrão.
A página de preços do Azure AI Search mostra a taxa de cobrança em diferentes moedas e intervalos.
Os encargos pelo uso classificador semântico são cobrados quando as solicitações de consulta incluírem queryType=semantic e a cadeia de caracteres de pesquisa não estiver vazia (por exemplo, search=pet friendly hotels in New York). Se a cadeia de caracteres de pesquisa estiver vazia (search=*), você não será cobrado, mesmo que o queryType esteja definido como semantic.
Como começar a usar o classificador semântico
Entre no portal do Azure para verificar se o serviço de pesquisa é Básico ou superior.
Habilite o classificador semântico e escolha um plano de preços.
Configure o classificador semântico em um índice de pesquisa.
Configure as consultas para retornar legendas semânticas e destaques.