Udostępnij za pośrednictwem

New-AzureHDInsightStreamingMapReduceJobDefinition

  • Odwołanie
Moduł:
Azure

Definiuje nowe zadanie mapreduce przesyłania strumieniowego.

Uwaga

Polecenia cmdlet, do których odwołuje się ta dokumentacja, służą do zarządzania starszymi zasobami platformy Azure korzystającymi z interfejsów API programu Azure Service Manager (ASM). Ten starszy moduł programu PowerShell nie jest zalecany podczas tworzenia nowych zasobów, ponieważ usługa ASM ma zostać wycofana. Aby uzyskać więcej informacji, zobacz Wycofywanie programu Azure Service Manager.

Moduł Az programu PowerShell jest zalecanym modułem programu PowerShell do zarządzania zasobami usługi Azure Resource Manager (ARM) przy użyciu programu PowerShell.

Składnia

New-AzureHDInsightStreamingMapReduceJobDefinition
   [-Arguments <String[]>]
   [-CmdEnv <String[]>]
   [-Combiner <String>]
   [-Defines <Hashtable>]
   [-Files <String[]>]
   [-InputPath <String>]
   [-JobName <String>]
   [-Mapper <String>]
   [-OutputPath <String>]
   [-Reducer <String>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Opis

Ta wersja usługi Azure PowerShell HDInsight jest przestarzała. Te polecenia cmdlet zostaną usunięte do 1 stycznia 2017 r. Użyj nowszej wersji usługi Azure PowerShell HDInsight.

Aby uzyskać informacje na temat używania nowej usługi HDInsight do tworzenia klastra, zobacz Tworzenie klastrów opartych na systemie Linux w usłudze HDInsight przy użyciu programu Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Aby uzyskać informacje na temat przesyłania zadań przy użyciu programu Azure PowerShell i innych podejść, zobacz Przesyłanie zadań hadoop w usłudze HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Aby uzyskać informacje referencyjne dotyczące usługi Azure PowerShell HDInsight, zobacz Azure HDInsight Cmdlets (Polecenia cmdlet usługi Azure HDInsight).

Polecenie cmdlet New-AzureHDInsightStreamingMapReduceJobDefinition definiuje nowy obiekt definicji zadania reprezentujący parametry zadania przesyłania strumieniowego usługi Hadoop.

Przykłady

Przykład 1. Tworzenie definicji zadania MapReduce przesyłania strumieniowego

PS C:\>$StreamingWordCount = New-AzureHDInsightStreamingMapReduceJobDefinition -Files "/Example/Apps/WordCount.exe", "/Example/Apps/Cat.exe" -InputPath "/Example/Data/Gutenberg/Davinci.txt" -OutputPath "/Example/Data/StreamingOutput/WordCount.txt" -Mapper "Cat.exe" -Reducer "WordCount.exe"

To polecenie tworzy określoną definicję zadania MapReduce przesyłania strumieniowego, a następnie zapisuje ją w zmiennej $StreamingWordCount.

Parametry

-Arguments

Określa tablicę argumentów dla zadania hadoop. Argumenty są przekazywane jako argumenty wiersza polecenia do każdego zadania.

Typ:String[]
Aliasy:Args
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-CmdEnv

Określa tablicę zmiennych środowiskowych wiersza polecenia, które mają być ustawiane, gdy zadanie jest uruchamiane w węzłach danych.

Typ:String[]
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-Combiner

Określa nazwę pliku łączenia.

Typ:String
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-Defines

Określa wartości konfiguracji usługi Hadoop, które mają być ustawiane podczas uruchamiania zadania.

Typ:Hashtable
Aliasy:Params
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-Files

Określa tablicę plików, które są wymagane dla zadania.

Typ:String[]
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-InputPath

Określa ścieżkę WASB do plików wejściowych.

Typ:String
Aliasy:Input
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-JobName

Określa nazwę nowej definicji zadania MapReduce. Ten parametr jest opcjonalny.

Typ:String
Aliasy:Name
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-Mapper

Określa nazwę pliku mapatora.

Typ:String
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-OutputPath

Określa ścieżkę WASB dla danych wyjściowych zadania.

Typ:String
Aliasy:Output
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-Profile

Określa profil platformy Azure, z którego to polecenie cmdlet odczytuje. Jeśli nie określisz profilu, to polecenie cmdlet odczytuje z lokalnego profilu domyślnego.

Typ:AzureSMProfile
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-Reducer

Określa nazwę pliku reduktora.

Typ:String
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-StatusFolder

Określa folder zawierający standardowe dane wyjściowe i dane wyjściowe błędów zadania, w tym jego kod zakończenia i dzienniki zadań.

Typ:String
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False