New-AzureHDInsightPigJobDefinition
Define um novo trabalho do Pig para um serviço HDInsight.
Observação
Os cmdlets mencionados nesta documentação são para gerenciar recursos herdados do Azure que usam APIs do Azure Service Manager (ASM). Este módulo herdado do PowerShell não é recomendado ao criar novos recursos, já que o ASM está programado para desativação. Para obter mais informações, consulte Aposentadoria do Azure Service Manager.
O módulo Az PowerShell é o módulo do PowerShell recomendado para gerenciar recursos do Azure Resource Manager (ARM) com o PowerShell.
Sintaxe
New-AzureHDInsightPigJobDefinition
[-Arguments <String[]>]
[-File <String>]
[-Files <String[]>]
[-Query <String>]
[-StatusFolder <String>]
[-Profile <AzureSMProfile>]
[<CommonParameters>]
Description
Esta versão do Azure PowerShell HDInsight foi preterida. Esses cmdlets serão removidos até 1º de janeiro de 2017. Use a versão mais recente do Azure PowerShell HDInsight.
Para obter informações sobre como usar o novo HDInsight para criar um cluster, consulte Criar clusters baseados em Linux no HDInsight usando o Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Para obter informações sobre como enviar trabalhos usando o Azure PowerShell e outras abordagens, consulte Enviar trabalhos do Hadoop no HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Para obter informações de referência sobre o Azure PowerShell HDInsight, consulte Cmdlets do Azure HDInsight.
O New-AzureHDInsightPigJobDefinition define um trabalho Pig para um serviço do Azure HDInsight.
Exemplos
Exemplo 1: Definir um novo trabalho do Pig
PS C:\>$0 = '$0';
PS C:\> $QueryString = "LOGS = LOAD 'wasb:///example/data/sample.log';" + "LEVELS = foreach LOGS generate REGEX_EXTRACT($0, '(TRACE|DEBUG|INFO|WARN|ERROR|FATAL)', 1) as LOGLEVEL;" + "FILTEREDLEVELS = FILTER LEVELS by LOGLEVEL is not null;" + "GROUPEDLEVELS = GROUP FILTEREDLEVELS by LOGLEVEL;" + "FREQUENCIES = foreach GROUPEDLEVELS generate group as LOGLEVEL, COUNT(FILTEREDLEVELS.LOGLEVEL) as COUNT;" + "RESULT = order FREQUENCIES by COUNT desc;" + "DUMP RESULT;"
PS C:\> $PigJobDefinition = New-AzureHDInsightPigJobDefinition -Query $QueryString
O primeiro comando declara um valor de cadeia de caracteres e, em seguida, armazena na variável $0.
O segundo comando cria uma consulta de trabalho do Pig e a armazena na variável $QueryString.
O comando final cria uma definição de trabalho Pig que usa a consulta em $QueryString e, em seguida, armazena a definição de trabalho na variável $PigJobDefinition.
Parâmetros
-Arguments
Especifica uma matriz de argumentos para um trabalho do Pig. Os argumentos são passados como argumentos de linha de comando para cada tarefa.
Tipo: | String[] |
Aliases: | Args |
Cargo: | Named |
Valor padrão: | None |
Obrigatório: | False |
Aceitar a entrada de pipeline: | False |
Aceitar caracteres curinga: | False |
-File
Especifica o caminho para um arquivo que contém uma consulta a ser executada. Você pode usar esse parâmetro em vez do parâmetro Query .
Tipo: | String |
Aliases: | QueryFile |
Cargo: | Named |
Valor padrão: | None |
Obrigatório: | False |
Aceitar a entrada de pipeline: | False |
Aceitar caracteres curinga: | False |
-Files
Especifica uma coleção de arquivos associados a um trabalho do Pig.
Tipo: | String[] |
Cargo: | Named |
Valor padrão: | None |
Obrigatório: | False |
Aceitar a entrada de pipeline: | False |
Aceitar caracteres curinga: | False |
-Profile
Especifica o perfil do Azure a partir do qual este cmdlet lê. Se você não especificar um perfil, esse cmdlet será lido a partir do perfil padrão local.
Tipo: | AzureSMProfile |
Cargo: | Named |
Valor padrão: | None |
Obrigatório: | False |
Aceitar a entrada de pipeline: | False |
Aceitar caracteres curinga: | False |
-Query
Especifica uma consulta de trabalho do Pig.
Tipo: | String |
Aliases: | QueryText |
Cargo: | Named |
Valor padrão: | None |
Obrigatório: | False |
Aceitar a entrada de pipeline: | False |
Aceitar caracteres curinga: | False |
-StatusFolder
Especifica o local da pasta que contém saídas padrão e saídas de erro para um trabalho, incluindo seu código de saída e logs de tarefas.
Tipo: | String |
Cargo: | Named |
Valor padrão: | None |
Obrigatório: | False |
Aceitar a entrada de pipeline: | False |
Aceitar caracteres curinga: | False |