Partager via

New-AzureHDInsightSqoopJobDefinition

  • Référence
Module:
Azure

Définit un nouveau travail Sqoop.

Remarque

Les cmdlets mentionnées dans cette documentation servent à gérer les ressources Azure héritées qui utilisent les API Azure Service Manager (ASM). Ce module PowerShell hérité n’est pas recommandé lors de la création de ressources, car ASM est planifié pour la mise hors service. Pour plus d’informations, consultez la mise hors service d’Azure Service Manager.

Le module Az PowerShell est le module PowerShell recommandé pour la gestion des ressources Azure Resource Manager (ARM) avec PowerShell.

Syntaxe

New-AzureHDInsightSqoopJobDefinition
   [-Command <String>]
   [-File <String>]
   [-Files <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Description

Cette version d’Azure PowerShell HDInsight est déconseillée. Ces applets de commande seront supprimées le 1er janvier 2017. Utilisez la version plus récente d’Azure PowerShell HDInsight.

Pour plus d’informations sur l’utilisation du nouveau HDInsight pour créer un cluster, consultez Créer des clusters Linux dans HDInsight à l’aide d’Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Pour plus d’informations sur l’envoi de travaux à l’aide d’Azure PowerShell et d’autres approches, consultez Envoyer des tâches Hadoop dans HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Pour obtenir des informations de référence sur Azure PowerShell HDInsight, consultez les applets de commande Azure HDInsight.

L’applet de commande New-AzureHDInsightSqoopJobDefinition crée un travail Sqoop à exécuter sur un cluster Azure HDInsight.

Sqoop est un outil permettant de transférer des données entre des clusters Hadoop et des bases de données relationnelles. Vous pouvez utiliser Sqoop pour importer des données à partir d’une base de données SQL Server vers un système de fichiers distribué Hadoop (HDFS), transformer les données avec Hadoop MapReduce, puis exporter les données à partir de HDFS vers la base de données SQL Server.

Exemples

Exemple 1 : Importer des données

PS C:\>$SqoopJobDef = New-AzureHDInsightSqoopJobDefinition -Command "import --connect jdbc:sqlserver://<SQLDatabaseServerName>.database.windows.net:1433;username=<SQLDatabasUsername>@<SQLDatabaseServerName>; password=<SQLDatabasePassword>; database=<SQLDatabaseDatabaseName> --table <TableName> --target-dir wasb://<ContainerName>@<WindowsAzureStorageAccountName>.blob.core.windows.net/<Path>"

Cette commande définit un travail Sqoop qui importe toutes les lignes d’une table d’une base de données AzureSQL Server vers un cluster HDInsight, puis stocke la définition du travail dans la variable $SqoopJobDef.

Paramètres

-Command

Spécifie une commande Sqoop et ses arguments.

Type:String
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-File

Spécifie le chemin d’accès à un fichier de script qui contient les commandes à exécuter. Le fichier de script doit se trouver sur WASB.

Type:String
Alias:QueryFile
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-Files

Spécifie la collection de fichiers WASB requis pour un travail.

Type:String[]
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-Profile

Spécifie le profil Azure à partir duquel cette applet de commande lit. Si vous ne spécifiez pas de profil, cette applet de commande lit le profil par défaut local.

Type:AzureSMProfile
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False

-StatusFolder

Spécifie l’emplacement du dossier qui contient des sorties standard et des sorties d’erreur pour un travail, y compris son code de sortie et ses journaux de tâches.

Type:String
Position:Named
Valeur par défaut:None
Obligatoire:False
Accepter l'entrée de pipeline:False
Accepter les caractères génériques:False