Understand and resolve errors received from WebHCat on HDInsight (Compreender e resolver erros recebidos do WebHCat no HDInsight)
Saiba mais sobre os erros recebidos ao usar o WebHCat com o HDInsight e como resolvê-los. O WebHCat é usado internamente por ferramentas do lado do cliente, como o Azure PowerShell e as Ferramentas Data Lake para Visual Studio.
O que é WebHCat
WebHCat é uma API REST para HCatalog, uma tabela e camada de gerenciamento de armazenamento para Apache Hadoop. O WebHCat é habilitado por padrão em clusters HDInsight e é usado por várias ferramentas para enviar trabalhos, obter status de trabalho e assim por diante, sem fazer login no cluster.
Modificando a configuração
Vários dos erros listados neste documento ocorrem porque um máximo configurado foi excedido. Quando a etapa de resolução mencionar que você pode alterar um valor, use o Apache Ambari (web ou API REST) para modificar o valor. Para obter mais informações, consulte Gerenciar o HDInsight usando o Apache Ambari
Configuração predefinida
Se os seguintes valores padrão forem excedidos, isso pode degradar o desempenho do WebHCat ou causar erros:
| Definição | O que faz | Default value |
|---|---|---|
| [yarn.scheduler.capacity.maximum-applications][aplicações máximas] | O número máximo de trabalhos que podem estar ativos simultaneamente (pendentes ou em execução) | 10.000 |
templeton.exec.max-procs |
O número máximo de solicitações que podem ser atendidas simultaneamente | 20 |
| [mapreduce.jobhistory.max-idade-ms][máx-idade-ms] | O número de dias em que o histórico de trabalho é retido | sete dias |
Demasiados pedidos
Código de status HTTP: 429
| Causa | Resolução |
|---|---|
| Você excedeu o máximo de solicitações simultâneas atendidas pelo WebHCat por minuto (padrão 20) | Reduza sua carga de trabalho para garantir que você não envie mais do que o número máximo de solicitações simultâneas ou aumente o limite de solicitações simultâneas modificando templeton.exec.max-procso . Para obter mais informações, consulte Modificando a configuração |
Servidor indisponível
Código de status HTTP: 503
| Causa | Resolução |
|---|---|
| Esse código de status geralmente ocorre durante o failover entre o HeadNode primário e secundário para o cluster | Aguarde dois minutos e, em seguida, tente novamente a operação |
Conteúdo de solicitação incorreta: não foi possível encontrar emprego
Código de status HTTP: 400
| Causa | Resolução |
|---|---|
| Os detalhes do trabalho foram limpos pelo limpador do histórico de trabalho | O período de retenção padrão para o histórico de trabalhos é de sete dias. O período de retenção padrão pode ser alterado modificando mapreduce.jobhistory.max-age-mso . Para obter mais informações, consulte Modificando a configuração |
| Trabalho morto devido a um failover | Repetir o envio do trabalho por até dois minutos |
| Foi utilizado um ID de trabalho inválido | Verifique se o ID do trabalho está correto |
Gateway ruim
Código de status HTTP: 502
| Causa | Resolução |
|---|---|
| A coleta interna de lixo está ocorrendo dentro do processo WebHCat | Aguarde até que a coleta de lixo termine ou reinicie o serviço WebHCat |
| Tempo limite de espera em uma resposta do serviço Gerenciador de Recursos. Este erro pode ocorrer quando o número de aplicativos ativos atinge o máximo configurado (padrão 10.000) | Aguarde até que os trabalhos em execução sejam concluídos ou aumentem o limite de trabalhos simultâneos modificando yarn.scheduler.capacity.maximum-applicationso . Para obter mais informações, consulte a seção Modificando a configuração . |
Tentar recuperar todos os trabalhos através da chamada GET /jobs enquanto Fields está definido como * |
Não recupere todos os detalhes do trabalho. Em vez disso, use jobid para recuperar detalhes de trabalhos apenas maiores do que determinado ID de trabalho. Ou, não use Fields |
| O serviço WebHCat está inativo durante o failover do HeadNode | Aguarde dois minutos e tente novamente a operação |
| Há mais de 500 trabalhos pendentes enviados através do WebHCat | Aguarde até que os trabalhos pendentes no momento tenham sido concluídos antes de enviar mais trabalhos |
Próximos passos
Se não viu o problema ou não conseguiu resolvê-lo, visite um dos seguintes canais para obter mais suporte:
Obtenha respostas de especialistas do Azure através do Suporte da Comunidade do Azure.
Conecte-se com o @AzureSupport - a conta oficial do Microsoft Azure para melhorar a experiência do cliente. Ligar a comunidade do Azure aos recursos certos: respostas, suporte e especialistas.
Se precisar de mais ajuda, você pode enviar uma solicitação de suporte do portal do Azure. Selecione Suporte na barra de menus ou abra o hub Ajuda + suporte . Para obter informações mais detalhadas, consulte Como criar uma solicitação de suporte do Azure. O acesso ao suporte para Gestão de Subscrições e faturação está incluído na sua subscrição do Microsoft Azure e o Suporte Técnico é disponibilizado através de um dos Planos de Suporte do Azure.