Add-AzureHDInsightConfigValues
Hadoop 構成値のカスタマイズまたは Hive 共有ライブラリのカスタマイズを HDInsight クラスター構成に追加します。
Note
このドキュメントで参照されているコマンドレットは、Azure Service Manager (ASM) API を使用するレガシ Azure リソースを管理するためのものです。 ASM の廃止が予定されているため、新しいリソースを作成する場合、このレガシ PowerShell モジュールは推奨されません。 詳細については、「Azure Service Manager の廃止」を参照してください。
Az PowerShell モジュールは、PowerShell を使用して Azure Resource Manager (ARM) リソースを管理するための推奨される PowerShell モジュールです。
構文
Add-AzureHDInsightConfigValues
-Config <AzureHDInsightConfig>
[-Core <Hashtable>]
[-Yarn <Hashtable>]
[-Hdfs <Hashtable>]
[-Hive <AzureHDInsightHiveConfiguration>]
[-MapReduce <AzureHDInsightMapReduceConfiguration>]
[-Oozie <AzureHDInsightOozieConfiguration>]
[-Storm <Hashtable>]
[-Spark <Hashtable>]
[-HBase <AzureHDInsightHBaseConfiguration>]
[-Profile <AzureSMProfile>]
[<CommonParameters>]
説明
このバージョンの Azure PowerShell HDInsight は非推奨です。 これらのコマンドレットは、2017 年 1 月 1 日までに削除されます。 新しいバージョンの Azure PowerShell HDInsight を使用してください。
新しい HDInsight を使用してクラスターを作成する方法については、「 Azure PowerShell を使用して HDInsight で Linux ベースのクラスターを作成するを参照してください。 Azure PowerShell やその他の方法を使用してジョブを送信する方法については、HDInsight の Submit Hadoop ジョブを参照してください。 Azure PowerShell HDInsight のリファレンス情報については、「 Azure HDInsight コマンドレットを参照してください。
Add-AzureHDInsightConfigValues コマンドレットは、Core-site.xmlやHive-site.xmlなどの Hadoop 構成値のカスタマイズ、または Hive 共有ライブラリのカスタマイズを Azure HDInsight クラスター構成に追加します。
コマンドレットは、指定した構成オブジェクトにカスタム構成値を追加します。 クラスターのデプロイ時に、関連する Hadoop サービスの構成ファイルにカスタム設定が追加されます。
例
例 1: クラスターを構成する
PS C:\>$HiveConfigValues = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightHiveConfiguration'
PS C:\> $HiveConfigValues.Configuration = @{ hive.exec.compress.output = true }
PS C:\> $HiveConfigValues.AdditionalLibraries = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightDefaultStorageAccount'
PS C:\> $HiveConfigValues.AdditionalLibraries.StorageAccountName = "MyStorageAccount.blob.core.windows.net"
PS C:\> $HiveConfigValues.AdditionalLibraries.StorageAccountKey = (Get-AzureStorageKey -StorageAccountName "MyStorageAccount").Primary
PS C:\> $HiveConfigValues.AdditionalLibraries.StorageContainerName = "MySharedLibContainer"
PS C:\> $OozieConfigValues = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightOozieConfiguration'
PS C:\> $OozieConfigValues.Configuration = @{ hive.exec.compress.output = true }
PS C:\> $MapredConfigValues = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightMapReduceConfiguration'
PS C:\> $MapredConfigValues.Configuration = @{ mapred.map.max.attempts = 2 }
PS C:\> $MapredConfigValues.CapacitySchedulerConfiguration = @{ mapred.capacity-scheduler.init-poll-interval = 1000 }
PS C:\> $Config = New-AzureHDInsightClusterConfig -ClusterSizeInNodes 4
| Set-AzureHDInsightDefaultStorage -StorageAccountName MyStorageAccount.blob.core.windows.net -StorageAccountKey (Get-AzureStorageKey -StorageAccountName "MyStorageAccount").Primary -StorageContainerName "MyStorageContainer"
| Add-AzureHDInsightConfigValues -Core @{ io.file.buffer.size = 300000 } -MapReduce $MapredConfigValues -Hive $HiveConfigValues -Oozie $OozieConfigValues
PS C:\> $Config | New-AzureHDInsightCluster -Subscription $SubId -Credential $Creds -Name "MyCluster" -Location "North Europe"
最初のコマンドは、新しい AzureHDInsightHiveConfiguration オブジェクトを作成し、$HiveConfigValues変数に格納します。
次の 5 つのコマンドでは、Hive の構成値を作成し、それらの値を$HiveConfigValuesのメンバーとして格納します。
7 番目のコマンドは、 AzureHDInsightOozieConfiguration オブジェクトを作成し、$OozieConfigValues変数に格納します。 8 番目のコマンドは Oozie の構成値を作成し、その値を$OozieConfigValuesのメンバーとして格納します。
9 番目のコマンドは、 AzureHDInsightMapReduceConfiguration オブジェクトを作成し、$MapredConfigValues変数に格納します。 次の 2 つのコマンドでは、MapReduce の構成値を作成し、それらの値を$MapredConfigValuesのメンバーとして格納します。
12 番目のコマンドは、 New-AzureHDInsightClusterConfig コマンドレットを使用して HDInsight クラスター構成を作成し、$Config変数に格納します。 このコマンドは、パイプライン 演算子を使用して、$Configを Set-AzureHDInsightDefaultStorage コマンドレットに渡して既定のストレージ設定を更新し、 Add-AzureHDInsightConfigValues コマンドレットに渡して新しい構成値をクラスター構成に追加します。
最後のコマンドでは、パイプライン オペレーターを使用して$Configを New-AzureHDInsightCluster コマンドレットに渡し、カスタマイズされた設定で新しい HDInsight クラスターを作成します。
パラメーター
-Config
Hadoop 構成を追加する構成オブジェクトを指定します。
型: | AzureHDInsightConfig |
配置: | Named |
規定値: | None |
必須: | True |
パイプライン入力を受け取る: | True |
ワイルドカード文字を受け取る: | False |
-Core
Core-site.xmlの Hadoop 構成値のセットを指定します。
型: | Hashtable |
配置: | Named |
規定値: | None |
必須: | False |
パイプライン入力を受け取る: | False |
ワイルドカード文字を受け取る: | False |
-HBase
Hbase-site.xmlの HBase 構成値のセットを指定します。
型: | AzureHDInsightHBaseConfiguration |
配置: | Named |
規定値: | None |
必須: | False |
パイプライン入力を受け取る: | False |
ワイルドカード文字を受け取る: | False |
-Hdfs
Hdfs-site.xmlの Hadoop 構成値のセットを指定します。
型: | Hashtable |
配置: | Named |
規定値: | None |
必須: | False |
パイプライン入力を受け取る: | False |
ワイルドカード文字を受け取る: | False |
-Hive
Hive-site.xmlおよび Hive 共有ライブラリの Hadoop 構成値のセットを含む、Hadoop Hive サービスのカスタマイズ オブジェクトを指定します。
型: | AzureHDInsightHiveConfiguration |
配置: | Named |
規定値: | None |
必須: | False |
パイプライン入力を受け取る: | False |
ワイルドカード文字を受け取る: | False |
-MapReduce
MapReduce と容量スケジューラのカスタマイズ オブジェクトを指定します。
型: | AzureHDInsightMapReduceConfiguration |
配置: | Named |
規定値: | None |
必須: | False |
パイプライン入力を受け取る: | False |
ワイルドカード文字を受け取る: | False |
-Oozie
Oozie-site.xmlの Hadoop 構成値のセットを含む、Hadoop Oozie サービスのカスタマイズ オブジェクトを指定します。
型: | AzureHDInsightOozieConfiguration |
配置: | Named |
規定値: | None |
必須: | False |
パイプライン入力を受け取る: | False |
ワイルドカード文字を受け取る: | False |
-Profile
このコマンドレットが読み取る Azure プロファイルを指定します。 プロファイルを指定しない場合、このコマンドレットはローカルの既定のプロファイルから読み取ります。
型: | AzureSMProfile |
配置: | Named |
規定値: | None |
必須: | False |
パイプライン入力を受け取る: | False |
ワイルドカード文字を受け取る: | False |
-Spark
Apache Spark のカスタマイズ オブジェクトを指定します。
型: | Hashtable |
配置: | Named |
規定値: | None |
必須: | False |
パイプライン入力を受け取る: | False |
ワイルドカード文字を受け取る: | False |
-Storm
Apache Storm のカスタマイズ オブジェクトを指定します。
型: | Hashtable |
配置: | Named |
規定値: | None |
必須: | False |
パイプライン入力を受け取る: | False |
ワイルドカード文字を受け取る: | False |
-Yarn
Hadoop YARN のカスタマイズ オブジェクトを指定し、Yarn-site.xmlのカスタマイズされた YARN 構成値のセットを指定します。
型: | Hashtable |
配置: | Named |
規定値: | None |
必須: | False |
パイプライン入力を受け取る: | False |
ワイルドカード文字を受け取る: | False |