Freigeben über

New-AzureHDInsightMapReduceJobDefinition

  • Referenz
Modul:
Azure

Definiert einen neuen MapReduce-Auftrag.

Hinweis

Die Cmdlets, auf die in dieser Dokumentation verwiesen wird, dienen zum Verwalten von Azure-Legacyressourcen, die Azure Dienst-Manager (ASM) APIs verwenden. Dieses ältere PowerShell-Modul wird beim Erstellen neuer Ressourcen nicht empfohlen, da ASM für den Ruhestand geplant ist. Weitere Informationen finden Sie unter Einstellung des Azure Service Manager.

Das Az PowerShell-Modul ist das empfohlene PowerShell-Modul zum Verwalten von Azure Resource Manager (ARM)-Ressourcen mit PowerShell.

Syntax

New-AzureHDInsightMapReduceJobDefinition
   [-Arguments <String[]>]
   -ClassName <String>
   [-Defines <Hashtable>]
   [-Files <String[]>]
   -JarFile <String>
   [-JobName <String>]
   [-LibJars <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Beschreibung

Diese Version von Azure PowerShell HDInsight ist veraltet. Diese Cmdlets werden bis zum 1. Januar 2017 entfernt. Verwenden Sie die neuere Version von Azure PowerShell HDInsight.

Informationen zur Verwendung des neuen HDInsight zum Erstellen eines Clusters finden Sie unter Erstellen linuxbasierter Cluster in HDInsight mithilfe von Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Informationen zum Übermitteln von Aufträgen mithilfe von Azure PowerShell und anderen Ansätzen finden Sie unter Submit Hadoop jobs in HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Referenzinformationen zu Azure PowerShell HDInsight finden Sie unter Azure HDInsight-Cmdlets.

Das Cmdlet New-AzureHDInsightMapReduceJobDefinition definiert einen neuen MapReduce-Auftrag, der auf einem Azure HDInsight-Cluster ausgeführt werden soll.

Beispiele

Beispiel 1: Definieren eines MapReduce-Auftrags, Ausführen des Auftrags und Abrufen der Ausgabe

PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
    | Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
    | Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardError

Der erste Befehl ruft die ID des aktuellen Abonnements ab und speichert sie dann in der variablen $SubId.

Der zweite Befehl weist der variablen $Clustername den Namen MyCluster zu.

Der dritte Befehl verwendet das Cmdlet New-AzureHDInsightMapReduceJobDefinition , um eine MapReduce-Auftragsdefinition zu erstellen und dann in der $WordCountJob Variablen zu speichern.

Der vierte Befehl führt eine Abfolge von Vorgängen mithilfe der folgenden Cmdlets aus:

  • Start-AzureHDInsightJob , um den Auftrag auf $ClusterName zu starten.
  • Wait-AzureHDInsightJob wartet auf den Abschluss des Auftrags und zeigt den Fortschritt zum Abschluss an.
  • Get-AzureHDInsightJobOutput zum Abrufen der Auftragsausgabe.

Parameter

-Arguments

Gibt ein Array von Argumenten für einen Hadoop-Auftrag an. Die Argumente werden als Befehlszeilenargumente an jeden Vorgang übergeben.

Typ:String[]
Aliase:Args
Position:Named
Standardwert:None
Erforderlich:False
Pipelineeingabe akzeptieren:False
Platzhalterzeichen akzeptieren:False

-ClassName

Gibt den Namen der Auftragsklasse in der Java-Archivdatei (JAR) an.

Typ:String
Aliase:Class
Position:Named
Standardwert:None
Erforderlich:True
Pipelineeingabe akzeptieren:False
Platzhalterzeichen akzeptieren:False

-Defines

Gibt Hadoop-Konfigurationswerte an, die beim Ausführen des Auftrags festgelegt werden sollen.

Typ:Hashtable
Aliase:Params
Position:Named
Standardwert:None
Erforderlich:False
Pipelineeingabe akzeptieren:False
Platzhalterzeichen akzeptieren:False

-Files

Gibt ein Array von WASB-Dateien an, die für einen Auftrag erforderlich sind.

Typ:String[]
Position:Named
Standardwert:None
Erforderlich:False
Pipelineeingabe akzeptieren:False
Platzhalterzeichen akzeptieren:False

-JarFile

Gibt den vollqualifizierten Namen einer JAR-Datei an, die den Code und die Abhängigkeiten eines MapReduce-Auftrags enthält.

Typ:String
Aliase:Jar
Position:Named
Standardwert:None
Erforderlich:True
Pipelineeingabe akzeptieren:False
Platzhalterzeichen akzeptieren:False

-JobName

Gibt den Namen eines MapReduce-Auftrags an. Dieser Parameter ist optional. Wenn Sie diesen Parameter nicht angeben, wird der Wert des ClassName-Parameters verwendet.

Typ:String
Aliase:Name
Position:Named
Standardwert:None
Erforderlich:False
Pipelineeingabe akzeptieren:False
Platzhalterzeichen akzeptieren:False

-LibJars

Gibt ein Array von LibJar-Verweisen des Auftrags an.

Typ:String[]
Position:Named
Standardwert:None
Erforderlich:False
Pipelineeingabe akzeptieren:False
Platzhalterzeichen akzeptieren:False

-Profile

Gibt das Azure-Profil an, aus dem dieses Cmdlet liest. Wenn Sie kein Profil angeben, liest dieses Cmdlet aus dem lokalen Standardprofil.

Typ:AzureSMProfile
Position:Named
Standardwert:None
Erforderlich:False
Pipelineeingabe akzeptieren:False
Platzhalterzeichen akzeptieren:False

-StatusFolder

Gibt den Speicherort des Ordners an, der Standardausgaben und Fehlerausgaben für einen Auftrag enthält, einschließlich des Ausgangscodes und der Aufgabenprotokolle.

Typ:String
Position:Named
Standardwert:None
Erforderlich:False
Pipelineeingabe akzeptieren:False
Platzhalterzeichen akzeptieren:False