O que é um espaço AI/BI Genie

Este artigo apresenta o AI/BI Genie, um recurso do Azure Databricks que permite que as equipes de negócios interajam com seus dados usando linguagem natural. Ele usa IA generativa adaptada à terminologia e aos dados da sua organização, com a capacidade de monitorar e refinar seu desempenho por meio do feedback dos usuários.

Descrição geral

Especialistas em domínio, como analistas de dados, configuram espaços do Genie com conjuntos de dados, consultas de exemplo e diretrizes de texto para ajudar o Genie a traduzir perguntas de negócios em consultas analíticas. Após a configuração, os usuários corporativos podem fazer perguntas e gerar visualizações para entender os dados operacionais. Você pode atualizar continuamente o conhecimento semântico do Genie à medida que seus dados mudam e os usuários fazem novas perguntas. Para obter informações adicionais sobre DatabricksIQ, consulte Recursos com tecnologia DatabricksIQ.

O A/BI Genie seleciona nomes e descrições relevantes de tabelas e colunas anotadas para converter perguntas de linguagem natural em uma consulta SQL equivalente. Em seguida, ele responde com a consulta gerada e a tabela de resultados, se possível. Se o Genie não conseguir gerar uma resposta, ele pode fazer perguntas de acompanhamento para esclarecer antes de fornecer uma resposta.

Casos de utilização de exemplo

Você pode criar diferentes espaços Genie para atender a vários públicos não técnicos. Os cenários a seguir descrevem dois possíveis casos de uso.

Exemplo 1: Visualizar o status da oportunidade

Um gerente de vendas quer obter o status atual de oportunidades abertas e fechadas por estágio em seu funil de vendas. Eles podem interagir com o espaço Genie usando linguagem natural e gerar automaticamente uma visualização.

O gif a seguir mostra essa interação:

Exemplo 2: Logística de rastreamento

Uma empresa de logística quer usar os espaços Genie para ajudar os usuários empresariais de diferentes departamentos a rastrear detalhes operacionais e financeiros. Eles criaram um espaço Genie para seus gerentes de instalações de embarque rastrearem as remessas e outro para seus executivos financeiros entenderem sua saúde financeira.

Como o Genie gera uma resposta

O Genie usa um sistema de IA composto para interpretar perguntas de negócios e gerar respostas. Em vez de usar modelos de IA, que são modelos estatísticos simples, os sistemas compostos de IA processam tarefas em aplicações de IA combinando vários componentes interagindo. Os sistemas compostos de IA são um padrão de design cada vez mais comum para aplicações de IA devido ao seu desempenho e flexibilidade. Para obter mais informações, consulte The Shift from Models to Compound AI Systems .

Quando um usuário envia uma pergunta, o Genie analisa a solicitação, identifica fontes de dados relevantes e determina como responder ao prompt. As instruções que você fornece, combinadas com os metadados do Catálogo Unity, permitem que o Genie infera a lógica comercial e técnica. O Genie filtra de forma inteligente exemplos de consultas SQL, metadados de tabelas e colunas e histórico de bate-papo para selecionar as informações mais relevantes para responder à solicitação.

O Genie usa os seguintes componentes para gerar respostas:

• Metadados da tabela: Inclui nomes de tabelas, descrições e relações de chave primária (PK) e chave estrangeira (FK) definidas. O Genie usa esses dados enquanto analisa a solicitação e converte o prompt de linguagem natural em SQL.
• Nomes e descrições de colunas: O Genie filtra de forma inteligente os nomes e descrições de colunas relevantes a serem incluídos.
• Exemplo de consultas SQL: O Genie seleciona de forma inteligente exemplos SQL relevantes a partir de Instruções.
• funções SQL: Todas as funções SQL que foram adicionadas no espaço.
• Instruções: As notas de texto simples fornecidas como Instruções gerais são incluídas como contexto.
• Histórico de solicitações e respostas: Solicitações e respostas da conversa atual são incluídas como contexto. Se necessário, devido aos limites de tokens definidos em , as partes mais antigas do registo de bate-papo são excluídas.

Se o Genie retornar uma consulta como resultado, ela será executada no SQL warehouse designado. As novas tentativas são tratadas automaticamente e o SQL warehouse lida com simultaneidade e escala.

Que dados devo utilizar?

Um espaço Genie pode incluir uma ou mais tabelas registradas no Unity Catalog, incluindo tabelas gerenciadas, tabelas externas, tabelas estrangeiras e exibições materializadas. O AI/BI Genie usa os metadados anexados aos objetos do Unity Catalog para gerar respostas. Conjuntos de dados bem anotados, combinados com instruções específicas que você fornece, são fundamentais para criar uma experiência positiva para os usuários finais.

A Databricks recomenda o seguinte:

• Organize dados para consumo analítico: visualizações de camada para reduzir o número de colunas e adicionar informações específicas de casos de uso para aumentar a qualidade da resposta.
• Minimizar o número de tabelas e colunas em um espaço Genie: Inclua apenas as tabelas e colunas necessárias para responder a perguntas de um determinado domínio. Tabelas ou colunas desnecessárias podem fazer com que o Genie forneça respostas confusas ou incorretas ou exiba uma mensagem de erro.
• Definir relações de chave primária (PK)/chave estrangeira (FK): Use o Unity Catalog para definir relações PK/FK para que o Genie entenda como seus dados estão conectados.

Ativos confiáveis

Ativos confiáveis transmitem uma camada extra de garantia na precisão de um resultado para um usuário do espaço. Quando o texto exato de uma consulta de exemplo parametrizada ou função SQL é usado para gerar uma resposta, o Genie marca a resposta como um ativo confiável. Consulte Usar ativos confiáveis em espaços do AI/BI Genie.

Tópicos de bate-papo

A maioria das interações espaciais do Genie ocorre em uma janela de bate-papo. Os tópicos de bate-papo salvam um registro das interações de cada usuário. Cada tópico de bate-papo mantém o contexto sobre as perguntas anteriores que foram feitas. O Genie usa o contexto no histórico de bate-papo encadeado para aprender à medida que os usuários fazem perguntas de acompanhamento para explorar mais ou redirecionar um conjunto de resultados.

Os usuários com pelo menos acesso CAN VIEW a um espaço podem ver seu próprio histórico de bate-papo. Os utilizadores com pelo menos privilégios CAN EDIT podem rever todas as perguntas e respostas no separador Histórico de do espaço.

Revisão de respostas

A maioria das respostas inclui uma explicação em linguagem natural e uma tabela que mostra o conjunto de resultados relevante. A estrutura precisa da resposta varia de acordo com a pergunta. Todas as respostas incluem a consulta SQL que foi gerada para responder à pergunta.

Os utilizadores e autores do espaço podem rever as respostas às suas perguntas. Eles podem classificar cada resposta com um polegar para cima ou polegar para baixo ou pedir que uma resposta seja revista. Os editores e autores do espaço podem rever este feedback usando o ícone guia Histórico no espaço Genie.

Avalie as respostas com benchmarks

Os benchmarks permitem ampliar os testes e a avaliação de respostas individuais em um espaço Genie. Ao contrário das instruções, os benchmarks destinam-se a avaliar, e não a informar, o seu espaço Genie. O Genie não usa perguntas de benchmark ou SQL de exemplo para melhorar o contexto do Genie.

Usando benchmarks, você pode executar uma coleção de perguntas de teste e usar as respostas para medir a precisão do Genie. Opcionalmente, você pode incluir uma instrução SQL que retorna os resultados esperados. Quando a pergunta de benchmark é executada, a resposta do Genie é comparada com os resultados fornecidos pela instrução SQL e pontuada quanto à precisão. A pergunta é marcada para revisão se nenhuma resposta SQL tiver sido fornecida.

Consulte Usar benchmarks em um espaço Genie.

Privacidade e segurança

P: Qual modelo o Genie usa?

O Genie usa o modelo OpenAI do Azure.

P: Que dados estão a ser enviados para o modelo?

Os espaços Genie geram respostas a perguntas de linguagem natural usando metadados e instruções. O Genie não tem acesso a dados em nível de linha.

Para processar respostas, o Genie usa o seguinte:

• O prompt de linguagem natural enviado pelo usuário
• Nomes e descrições de tabelas
• Títulos e descrições das colunas
• Instruções gerais
• Exemplo de consultas SQL
• Funções SQL

P: O Azure OpenAI recolhe os meus dados?

N.º A Databricks optou pela isenção do programa de monitoramento de abuso e revisão humana, sob o qual a Microsoft não armazena solicitações e conclusões enviadas para o serviço Azure OpenAI. Para obter mais informações, consulte a documentação da Microsoft.