Solução de problemas de qualidade de dados

Todas as perguntas, sintomas de erros são descritos com possível resolução abaixo:

Por que motivo estou a ver um erro de origem inválido na tarefa de análise.

• Pode haver duas razões pelas quais vê este erro:
  • A tabela delta não existe na localização
  • Os dados no ficheiro não estão num formato delta válido.

Estou a configurar análises de qualidade de dados para as minhas tabelas delta de Recursos de Infraestrutura. Vejo todos os recursos de dados na vista de qualidade dos dados, selecionei um recurso e apliquei regras para análise da qualidade dos dados, mas a análise está a falhar.

• Pode haver vários motivos pelos quais a análise da qualidade dos dados está a falhar:
  • Os dados em tabelas não são o formato delta correto. Certifique-se de que os seus dados estão no formato delta.
  • Certifique-se de que a análise do mapa de dados foi executada com êxito, caso contrário, volte a executar a análise do mapa de dados.
  • Elimine todas as execuções de qualidade de dados anteriores para o recurso de dados.

Por que motivo estou a ver esta mensagem de erro: não é possível utilizar nenhuma ligação. Tenta criar a ligação primeiro?

• Para criar perfis de dados ou para executar a análise da qualidade dos dados, primeiro tem de configurar a ligação à origem de dados. Este alerta desaparece depois de criar uma ligação de origem de dados.

Porque é que a contagem total de dados criados com perfis mostra menos do que a contagem total na minha tabela delta Azure Data Lake Storage Gen2?

• Qualidade de Dados do Microsoft Purview está a utilizar 1 Milhão de tamanhos de amostra para criação de perfis. Este exemplo é recolhido aleatoriamente. Se a sua tabela delta tiver mais de um milhão de registos, a contagem total não corresponderá.

Por que motivo vejo uma ação sobre a classificação de qualidade dos dados em falta para um produto de dados? Vejo a classificação no produto de dados quando naveguei na vista de produto de dados.

• Quando a ação foi criada, não havia nenhuma classificação de qualidade de dados para esse produto de dados. A análise da qualidade dos dados foi executada após a ação ter sido criada e a classificação publicada para o produto de dados. Recomendamos que feche a ação assim que a remediação for feita para evitar confusões.

A criação de regras de qualidade de dados a partir de "Sugerir regras" gera um erro sobre uma coluna "data" ao tentar adicionar todas as 30 regras sugeridas

• Isto deve-se ao facto de o tipo de dados de esquema não ser suportado na vista de esquema de qualidade de dados. Pode alterar o tipo de dados para data ao selecionar o botão de alternar gestão de esquemas e guardá-lo. Depois de alterar o tipo de dados, deverá conseguir adicionar a regra.

Ao tentar adicionar todas as regras sugeridas, gera um erro sobre "O ObserverId já existe"

• Muito provavelmente, a mesma regra/regra idêntica já foi adicionada a uma coluna. Quando tenta adicionar a mesma regra/regra idêntica a uma coluna, a aplicação gera esta mensagem de erro.

Por que motivo a minha tarefa agendada está a ser ignorada em vez de ser executada? Vejo As tarefas de análise de qualidade de dados Ignoradas

• A Tarefa DQ tem uma funcionalidade para marcar e executar o DQ apenas se ocorrerem alterações desde a última execução, que é efetuada para marcar histórico delta. Ignorado significa apenas que não houve alterações nos dados desde a última execução e que a execução do Spark para DQ não é efetuada. Ignorado!= Falha

Quando seleciono o separador dados do perfil, vejo o número de colunas pré-selecionadas. Posso alterar as colunas selecionadas?

• Qualidade de Dados do Microsoft Purview está a utilizar uma solução de criação de perfis assistido de IA. As colunas pré-selecionadas são selecionadas com a IA de Criação de Perfis de Dados do Microsoft Purview. Pode desselecionar colunas pré-selecionadas e voltar a selecionar com base na criticidade das colunas e selecionar guardar e executar para executar a criação de perfis.

Por que motivo não consigo selecionar alguns dos recursos de dados da página da lista de recursos de qualidade de dados para perfil e análise?

• Podem existir algumas razões:
  • Esses recursos de dados são publicados a partir de origens de dados não suportadas
  • O formato de ficheiro desses recursos de dados não é suportado

Por que motivo a minha tarefa de criação de perfis está a falhar para as origens de dados suportadas?

• Verifique o esquema para se certificar de que não existe nenhum nome de coluna com espaços. A versão atual não suporta o nome da coluna com espaços. Os nossos engenheiros estão a trabalhar para lançar uma correção.

Por que motivo não consigo executar a análise da qualidade dos dados e a criação de perfis de dados para ficheiros de CSV, parquet e texto?

• Qualidade de Dados do Microsoft Purview atualmente só suporta o formato delta do parquet. A Qualidade de Dados do Purview não suporta CSV, texto e parquet (sem delta).

Por que motivo não vejo a regra de atualização da qualidade dos dados na lista de regras?

• A atualização da qualidade dos dados não é suportada para tabelas SQL do Azure. Se o recurso de dados for uma tabela de SQL do Azure, a regra de atualização não será listada para selecionar e aplicar ao recurso de dados.

A minha tarefa de análise de DQ falhou. Vejo uma mensagem de erro "Ocorreu um erro de serviço interno, tente novamente ou contacte o suporte da Microsoft.". O que devo fazer para resolver problemas?

• Pode haver muitas razões pelas quais a análise está a falhar com esta mensagem de erro:
  • O utilizador não está autorizado a executar a operação atual para a área de trabalho à qual o utilizador está a tentar aceder para a análise da qualidade dos dados.
  • Código de erro 403, o que significa que o acesso às origens de dados é proibido temporariamente.
  • O acesso concedido à origem de dados para a identidade gerida (MSI) expirou.
  • A identidade gerida (MSI) do Purview precisa de contribuidor acesso à área de trabalho do Microsoft Fabric. Se o acesso contribuidor para o MSI do Microsoft Purview não tiver sido fornecido à área de trabalho do Microsoft Fabric, a análise da qualidade dos dados falhará.

Por que motivo estou a receber um erro de formato delta, apesar de estar a utilizar o formato delta?

• Suportamos o Spark 3.4 Delta 2.4. Certifique-se de que está a utilizar a versão 2.4 do Delta Lake.

Por que motivo estou a ver o erro quando selecionei um recurso de dados de referência para configurar a regra de pesquisa de tabelas

• O motivo é que selecionou um recurso de dados que não faz parte da ligação ou se referiu a um produto de dados no mesmo domínio de governação. Para selecionar o recurso de dados correto:

  • Clique em selecionar tabela de referência (veja a seguinte captura de ecrã)

    

  • Cancelar seleção atual (veja a captura de ecrã abaixo)

    

  • Depois de cancelar a seleção atual, selecione outro recurso.

Como posso configurar o acesso à origem de dados para o Microsoft Purview MSI?

• Eis o guia de configuração do MSI. Encontrará os detalhes neste documento.

Todas as nossas origens de dados estão protegidas pelo ponto final privado (na vNet), o Purview pode aceder aos dados na vNet para análise da qualidade dos dados?

• Sim, o Purview suporta a vNet gerida para análise de DQ. Aqui, encontrará o documento de configuração da vNet gerida do Purview.

Onde posso encontrar uma boa documentação sobre a função de expressão para criar regras personalizadas?

• Pode encontrar as referências e exemplos da documentação na página regra de Qualidade dos Dados.

Por que motivo a análise de DQ da tabela Fabric Lakehouse está a falhar?

• O suporte do Mapa de dados do Purview para recursos de infraestrutura Lakehouse está em pré-visualização privada. Precisamos de listar o seu inquilino do Purview para o mapa de dados do Purview e o Fabric One Lake para ativar a análise de DQ da tabela Fabric Lakehouse com o DQ do Purview. Contacte a equipa da sua conta Microsoft para permitir a lista de permissões do seu inquilino para obter suporte do Fabric Lakehouse.