Crie um espaço Genie eficaz

O objetivo da curadoria de um espaço Genie é criar um ambiente onde os usuários de negócios possam fazer perguntas em linguagem natural e receber respostas precisas e consistentes com base em seus dados. Os espaços Genie usam modelos avançados que geram consultas sofisticadas e compreendem o conhecimento geral do mundo.

A maioria das questões de negócios são específicas do domínio, então o papel de um curador de espaço é preencher a lacuna entre esse conhecimento geral do mundo e a linguagem especializada usada em um domínio específico ou por uma empresa em particular. Os curadores usam metadados e instruções para ajudar o Genie a interpretar e responder com precisão às perguntas dos usuários corporativos. Este artigo descreve as melhores práticas e princípios para guiá-lo no desenvolvimento de um espaço de sucesso.

Melhores práticas para definir um novo espaço

As seções a seguir recomendam práticas para criar um espaço eficaz.

Comece pequeno

A curadoria de um espaço Genie é um processo iterativo. Ao criar um novo espaço, comece o menor possível, com instruções mínimas e um conjunto limitado de perguntas para responder. Em seguida, você pode adicionar à medida que itera com base no feedback e no monitoramento. Esta abordagem ajuda a agilizar a criação e manutenção do seu espaço e permite-lhe organizá-lo de forma eficaz em resposta às necessidades reais dos utilizadores.

Use as seguintes diretrizes para ajudar a criar um pequeno espaço Genie:

• Mantenha o foco: inclua apenas as tabelas necessárias para responder às perguntas que você deseja que o espaço trate. Aponte para cinco ou menos tabelas. Quanto mais focada for a sua seleção, melhor. Manter seu espaço estritamente focado em uma pequena quantidade de dados é ideal, portanto, limite o número de colunas em suas tabelas incluídas.
• Planeje iterar: comece com uma configuração mínima para o seu espaço, concentrando-se em tabelas essenciais e instruções básicas. Adicione orientações e exemplos mais detalhados à medida que refina o espaço ao longo do tempo, em vez de visar a perfeição inicialmente.
• Crie com base em tabelas bem anotadas: o Genie usa nomes e descrições de colunas do Unity Catalog para gerar respostas. Nomes de colunas claros e descrições ajudam a produzir respostas de alta qualidade. As descrições das colunas devem oferecer informações contextuais precisas. Evite detalhes ambíguos ou desnecessários. Inspecione todas as descrições geradas por IA quanto à precisão e clareza, e use-as somente se elas estiverem alinhadas com o que você forneceria manualmente.

Peça a um especialista em domínio que defina o espaço

Um criador de espaço eficaz precisa entender os dados e os insights que podem ser extraídos deles. Os analistas de dados que são proficientes em SQL normalmente têm o conhecimento e as habilidades para organizar o espaço.

Defina o propósito do seu espaço

Identificar o público e a finalidade específicos do seu espaço ajuda você a decidir quais dados, instruções e perguntas de teste usar. Um espaço deve responder a perguntas para um determinado tópico e público, não a perguntas gerais em vários domínios.

Testar e ajustar

Deve ser o primeiro utilizador do seu espaço. Depois de criar um novo espaço, comece a fazer perguntas. Examine cuidadosamente o SQL gerado em resposta às suas perguntas. Se o Genie interpretar incorretamente os dados, perguntas ou jargão comercial, você pode intervir editando o SQL gerado ou fornecendo outras instruções específicas. Continue testando e editando até obter respostas confiáveis.

Depois de revisar uma pergunta, você pode adicioná-la como uma pergunta de referência que pode ser usada para testar e pontuar sistematicamente seu espaço para obter precisão geral. Você pode usar variações e diferentes frases de perguntas para testar as respostas do Genie. Consulte Usar benchmarks em um espaço Genie.

Consulte Solução de problemas para obter ideias sobre como corrigir respostas incorretas.

Efetuar testes de utilizador

Depois de verificar a qualidade da resposta através de testes, recrute um utilizador empresarial para experimentar o espaço Genie. Use as diretrizes a seguir para fornecer uma jornada do usuário suave e coletar feedback para melhoria contínua:

• Estabeleça expectativas de que seu trabalho é ajudar a refinar a sala.
• Peça-lhes que concentrem os seus testes no tópico específico e nas perguntas a que o espaço foi concebido para responder.
• Se receberem uma resposta incorreta, incentive os usuários a adicionar instruções e esclarecimentos adicionais no bate-papo para refinar a resposta. Quando uma resposta correta é fornecida, eles devem votar a consulta final para minimizar erros semelhantes em interações futuras.
• Diga aos usuários para votar para votar para cima ou para baixo respostas usando o mecanismo de feedback integrado.
• Convide os usuários a compartilhar comentários adicionais e perguntas não resolvidas diretamente com os autores do espaço. Autores e editores podem usar comentários para refinar instruções, exemplos e ativos confiáveis.

Considere fornecer materiais de treinamento ou um documento escrito com diretrizes para testar a sala e fornecer feedback. À medida que os utilizadores empresariais testam o espaço, verá as perguntas que fizeram no separador Histórico . Continue adicionando instruções para ajudar o Genie a interpretar corretamente as perguntas e os dados para fornecer respostas precisas. Consulte Histórico de revisões e comentários para saber mais sobre como monitorar espaços do Genie.

Resolução de Problemas

As seções a seguir descrevem como resolver problemas comuns.

Jargão empresarial incompreendido

A maioria das empresas ou domínios tem uma abreviatura específica que usam para comunicar sobre eventos específicos do negócio. Por exemplo, quando se refere a um ano, pode sempre significar o ano fiscal, e este ano fiscal pode começar em fevereiro ou março em vez de janeiro. Para permitir que o Genie responda a essas perguntas de forma natural e precisa, inclua instruções que mapeiam explicitamente o jargão do seu negócio para palavras e conceitos que o Genie pode entender. Consulte Fornecer instruções.

Uso incorreto de tabelas ou colunas

Se o Genie estiver tentando extrair dados de uma tabela incorreta ou executar análises em colunas incorretas, você poderá ajustar os dados de uma das seguintes maneiras:

• Forneça descrições claras e precisas: verifique suas tabelas e metadados associados para verificar se a terminologia usada corresponde à terminologia dos usuários nas perguntas enviadas. Caso contrário, refine a descrição ou adicione uma instrução que mapeie a terminologia usada na tabela para a terminologia usada na pergunta.
• Adicionar consultas de exemplo: forneça consultas SQL de exemplo que o Genie pode usar para aprender a responder a determinadas perguntas. Consulte Fornecer instruções.
• Remover tabelas ou colunas do espaço: algumas tabelas podem incluir colunas ou conceitos sobrepostos que tornam difícil para o Genie saber quais dados usar em uma resposta. Se possível, remova tabelas ou colunas desnecessárias ou sobrepostas. Talvez você queira criar um modo de exibição que inclua apenas as colunas necessárias.

Erros de filtragem

As consultas geradas geralmente incluem uma WHERE cláusula para filtrar os resultados de acordo com um valor específico. Como o Genie não tem visibilidade dos dados reais, ele pode definir a WHERE cláusula para filtrar o valor errado. Por exemplo, ele pode tentar corresponder ao nome "Califórnia" quando a tabela usa abreviaturas como "CA".

Para situações como esta, tente uma das seguintes estratégias:

• Se o conjunto de valores de coluna for razoavelmente pequeno, enumere as cadeias de caracteres válidas para cada descrição de coluna. Coloque aspas em torno de valores de cadeia de caracteres, especialmente se eles tiverem espaços ou números. Às vezes, para enumerações comuns, basta dizer: "Use o código ISO do país de três letras" em vez de listar todos os valores de estado.

Junções incorretas

Se as referências de chave estrangeira não estiverem definidas no seu Catálogo Unity, seu espaço pode não saber como diferentes tabelas devem ser unidas.

Tente implementar uma ou mais das seguintes soluções:

• Defina referências de chaves estrangeiras em seu catálogo Unity quando possível. Consulte a cláusula CONSTRAINT.
• Forneça consultas de exemplo em que você une tabelas de maneiras padrão.
• Se as relações de chave estrangeira de suas tabelas não estiverem especificadas no Catálogo Unity, documente-as nas instruções.

Se nenhum deles resolver o problema, pré-junte a tabela em um modo de exibição e use-o como entrada para o espaço. Essa estratégia é útil para cenários de junção mais complexos, como autoingressões.

Problemas de cálculo métrico

A maneira como as métricas são calculadas e acumuladas pode ser arbitrariamente complicada e abranger muitos detalhes de negócios que seu espaço não entende. Isso pode levar a relatórios incorretos.

Tente implementar uma ou mais das seguintes soluções:

• Se suas métricas forem agregadas a partir de tabelas base, forneça exemplos de consultas SQL computando cada valor de roll-up.
• Se suas métricas foram pré-calculadas e estão em tabelas agregadas, explique isso nos comentários da tabela. Especifique agregações válidas para cada métrica se as métricas nessa tabela puderem ser acumuladas.
• Se o SQL que você está tentando gerar for muito complicado, tente criar exibições que já tenham agregado suas métricas para o seu espaço.

Ignorando instruções

Mesmo que você tenha explicado suas tabelas e colunas nos comentários e fornecido instruções gerais, seu espaço ainda pode não estar usando-as corretamente.

Tente uma ou mais das seguintes estratégias:

• Forneça exemplos de consultas que usam suas tabelas corretamente. Exemplos de consultas são especialmente eficazes para ensinar o seu espaço a utilizar os seus dados.
• Crie vistas a partir das suas tabelas que fornecem uma vista mais simplificada dos seus dados.
• Reveja as suas instruções e tente concentrar o espaço removendo tabelas ou instruções irrelevantes.
• Tente iniciar um novo bate-papo. Interações anteriores podem influenciar as respostas do Genie em qualquer chat, mas iniciar um novo bate-papo oferece um ponto de partida em branco para testar novas instruções.

Problemas de desempenho

Quando o Genie precisa gerar consultas excepcionalmente longas ou respostas de texto, pode levar muito tempo para responder ou até mesmo tempo limite durante a fase de pensamento.

Tente uma ou mais das seguintes ações para melhorar o desempenho:

• Use ativos ou exibições confiáveis para encapsular consultas complexas. Consulte Usar ativos confiáveis em espaços do AI/BI Genie.
• Reduza o comprimento de suas consultas SQL de exemplo sempre que possível.
• Inicie um novo bate-papo se o Genie começar a gerar respostas lentas ou com falha.

Respostas não confiáveis a perguntas de missão crítica

Use ativos confiáveis para fornecer respostas verificadas a perguntas específicas que você espera que os usuários façam. Consulte Usar ativos confiáveis em espaços do AI/BI Genie.

Aviso de limite de token

Os tokens são as unidades básicas de texto que o Genie usa para processar e entender a linguagem. O texto incluído como instruções ou metadados em um espaço Genie é convertido em tokens. Se o número de tokens no seu espaço estiver perto do limite, o produto notificará você com avisos. O Genie aplica filtragem de contexto inteligente para selecionar os tokens que representam os metadados e alguns tipos de instruções incluídas no espaço Genie. Mesmo que ultrapasse o limite, o espaço deve continuar a gerar respostas às perguntas.

Se o espaço do Genie se aproximar do limite de tokens, o Genie poderá priorizar a inclusão apenas das partes do esquema da tabela e das instruções mais relevantes para a pergunta. Isso pode reduzir a qualidade da resposta se o contexto importante for filtrado. Considere as seguintes práticas para reduzir a contagem de tokens:

• Remover colunas desnecessárias: colunas desnecessárias em suas tabelas podem contribuir significativamente para o uso de tokens. Crie vistas para excluir campos redundantes ou não essenciais das suas tabelas brutas.
• Simplifique as descrições das colunas: embora as descrições das colunas sejam importantes, evite duplicar as informações já transmitidas pelos nomes das colunas. Por exemplo, se uma coluna for nomeada account_name, uma descrição como "o nome da sua conta" pode ser redundante e pode ser omitida.
• Simplifique as instruções: verifique se as instruções são claras e concisas. Evite palavras desnecessárias.
• Prune exemplos de instruções SQL: inclua uma gama diversificada de instruções SQL de exemplo para cobrir vários tipos de perguntas, mas remova exemplos sobrepostos ou redundantes.

A sua conta não está ativada para processamento geográfico cruzado

O Genie é um Serviço Designado gerenciado pelo Azure Databricks. Os Serviços Designados usam o Databricks Geos para gerenciar a residência de dados. Para algumas regiões, os dados não podem ser processados na mesma área geográfica do espaço de trabalho. Se o espaço de trabalho estiver em uma dessas regiões, o processamento geográfico cruzado deverá ser habilitado pelo administrador da conta.