HDFSOutputDatasetConfig Classe
Représente la sortie vers un chemin HDFS et la promotion en FileDataset.
Initialisez un HDFSOutputDatasetConfig.
- Héritage
-
HDFSOutputDatasetConfigHDFSOutputDatasetConfig
Constructeur
HDFSOutputDatasetConfig(name=None, destination=None)Paramètres
| Nom | Description |
|---|---|
|
name
Obligatoire
|
Nom de la sortie spécifique à cette série. Il est généralement utilisé pour la traçabilité des données. Si la valeur est None, nous générons automatiquement un nom. |
|
destination
Obligatoire
|
Destination de la sortie. S’il est défini sur Aucun, il sera généré vers le magasin de données workspaceblobstore, sous le chemin /dataset/{run-id}/{nom-sortie}, où run-id est l’ID d’exécution et le nom de sortie est le nom de sortie du paramètre name ci-dessus. La destination est un tuple où le premier élément est le magasin de données et le deuxième élément est le chemin d’accès dans le magasin de données. |
Remarques
Vous pouvez passer hdFSOutputDatasetConfig comme argument d’une exécution et il sera automatiquement traduit en chemin HDFS.
Méthodes
| as_input |
Spécifie comment consommer la sortie en tant qu’entrée dans les étapes de pipeline suivantes. |
as_input
Spécifie comment consommer la sortie en tant qu’entrée dans les étapes de pipeline suivantes.
as_input(name=None)Paramètres
| Nom | Description |
|---|---|
|
name
Obligatoire
|
Nom de l’entrée spécifique à la série. |
Retours
| Type | Description |
|---|---|
|
Instance de DatasetConsumptionConfig décrivant la façon de fournir les données d’entrée. |