Partager via

New-AzureHDInsightMapReduceJobDefinition

  • Référence
Module:
Azure

Définit un nouveau travail MapReduce.

Remarque

Les cmdlets mentionnées dans cette documentation servent à gérer les ressources Azure héritées qui utilisent les API Azure Service Manager (ASM). Ce module PowerShell hérité n’est pas recommandé lors de la création de ressources, car ASM est planifié pour la mise hors service. Pour plus d’informations, consultez la mise hors service d’Azure Service Manager.

Le module Az PowerShell est le module PowerShell recommandé pour la gestion des ressources Azure Resource Manager (ARM) avec PowerShell.

Syntaxe

New-AzureHDInsightMapReduceJobDefinition
   [-Arguments <String[]>]
   -ClassName <String>
   [-Defines <Hashtable>]
   [-Files <String[]>]
   -JarFile <String>
   [-JobName <String>]
   [-LibJars <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Description

Cette version d’Azure PowerShell HDInsight est déconseillée. Ces applets de commande seront supprimées le 1er janvier 2017. Utilisez la version plus récente d’Azure PowerShell HDInsight.

Pour plus d’informations sur l’utilisation du nouveau HDInsight pour créer un cluster, consultez Créer des clusters Linux dans HDInsight à l’aide d’Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Pour plus d’informations sur l’envoi de travaux à l’aide d’Azure PowerShell et d’autres approches, consultez Envoyer des tâches Hadoop dans HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Pour obtenir des informations de référence sur Azure PowerShell HDInsight, consultez les applets de commande Azure HDInsight.

L’applet de commande New-AzureHDInsightMapReduceJobDefinition définit une nouvelle tâche MapReduce à exécuter sur un cluster Azure HDInsight.

Exemples

Exemple 1 : Définir un travail MapReduce, exécuter le travail et obtenir la sortie

PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
    | Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
    | Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardError

La première commande obtient l’ID de l’abonnement actuel, puis la stocke dans la variable $SubId.

La deuxième commande affecte le nom MyCluster à la variable $Clustername.

La troisième commande utilise l’applet de commande New-AzureHDInsightMapReduceJobDefinition pour créer une définition de travail MapReduce, puis la stocker dans la variable $WordCountJob.

La quatrième commande effectue une séquence d’opérations à l’aide de ces applets de commande :

  • Start-AzureHDInsightJob pour démarrer le travail sur $ClusterName.
  • Attendez qu’AzureHDInsightJob attende que le travail se termine et affiche la progression vers l’achèvement.
  • Get-AzureHDInsightJobOutput pour obtenir la sortie du travail.

Paramètres

-Arguments

Spécifie un tableau d’arguments pour un travail Hadoop. Les arguments sont passés sous la forme d’arguments de ligne de commande à chaque tâche.

Type:String[]
Alias:Args
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-ClassName

Spécifie le nom de la classe de travail dans le fichier JAR (Java Archive).

Type:String
Alias:Class
Position:Named
Valeur par défaut:None
Obligatoire:True
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-Defines

Spécifie les valeurs de configuration Hadoop à définir lors de l’exécution du travail.

Type:Hashtable
Alias:Params
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-Files

Spécifie un tableau de fichiers WASB requis pour un travail.

Type:String[]
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-JarFile

Spécifie le nom complet d’un fichier JAR qui contient le code et les dépendances d’un travail MapReduce.

Type:String
Alias:Jar
Position:Named
Valeur par défaut:None
Obligatoire:True
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-JobName

Spécifie le nom d’un travail MapReduce. Ce paramètre est facultatif. Si vous ne spécifiez pas ce paramètre, la valeur du paramètre ClassName est utilisée.

Type:String
Alias:Name
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-LibJars

Spécifie un tableau de références LibJar du travail.

Type:String[]
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-Profile

Spécifie le profil Azure à partir duquel cette applet de commande lit. Si vous ne spécifiez pas de profil, cette applet de commande lit le profil par défaut local.

Type:AzureSMProfile
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-StatusFolder

Spécifie l’emplacement du dossier qui contient des sorties standard et des sorties d’erreur pour un travail, y compris son code de sortie et ses journaux de tâches.

Type:String
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False