Aktivität „Metadaten abrufen“ in Azure Data Factory und Azure Synapse Analytics

GILT FÜR: Azure Data Factory Azure Synapse Analytics

Sie können die Aktivität „Metadaten abrufen“ verwenden, um Metadaten zu beliebigen Daten in Azure Data Factory oder einer Synapse-Pipeline abzurufen. Sie können die Ausgabe der Aktivität „Get Metadata“ (Metadaten abrufen) in bedingten Ausdrücken verwenden, um die Validierung durchzuführen oder die Metadaten in nachfolgenden Aktivitäten zu nutzen.

Erstellen einer Get Metadata-Aktivität über die Benutzeroberfläche

Führen Sie die folgenden Schritte aus, um eine Get Metadata-Aktivität in einer Pipeline zu verwenden:

1. Suchen Sie im Bereich mit den Pipelineaktivitäten nach Get Metadata, und ziehen Sie eine Get Metadata-Aktivität in den Pipelinebereich.

2. Wählen Sie auf der Canvas die neue Get Metadata-Aktivität aus, sofern sie noch nicht ausgewählt ist, und wählen Sie anschließend deren Registerkarte Einstellungen aus, um die Details zu bearbeiten.

3. Wählen Sie ein Dataset aus, oder erstellen Sie mit der Schaltfläche „Neu“ ein neues Dataset. Anschließend können Sie Filteroptionen angeben und dem Dataset Spalten aus den verfügbaren Metadaten hinzufügen.

   

4. Verwenden Sie die Ausgabe der Aktivität als Eingabe für eine andere Aktivität, beispielsweise für eine Switch-Aktivität wie in diesem Beispiel. Die Ausgabe der Metadata-Aktivität können Sie in jeder Aktivität referenzieren, solange diese dynamische Inhalte unterstützt.

   

5. Wählen Sie im Editor für dynamische Inhalte die Ausgabe der Get Metadata-Aktivität aus, um sie in der anderen Aktivität zu referenzieren.

   

Unterstützte Funktionen

Die Aktivität „Metadaten abrufen“ nutzt ein Dataset als Eingabe und gibt Metadateninformationen als Ausgabe zurück. Derzeit werden die folgenden Connectors und entsprechenden abrufbaren Metadaten unterstützt. Die maximale Größe der zurückgegebenen Metadaten beträgt 4 MB.

Unterstützte Connectors

File Storage

¹lastModified-Metadaten:

• Für Amazon S3, Amazon S3-kompatiblen Speicher, Google Cloud Storage und Oracle Cloud Storage gilt lastModified für den Bucket und den Schlüssel, aber nicht für den virtuellen Ordner. exists gilt für den Bucket und den Schlüssel, aber nicht für das Präfix oder den virtuellen Ordner.
• Für Azure Blob Storage gilt lastModified für den Container und das Blob, aber nicht für den virtuellen Ordner.

² Die Metadaten structure und columnCount werden beim Abrufen von Metadaten aus Binär-, JSON- oder XML-Dateien nicht unterstützt.

³exists-Metadaten: Für Amazon S3, Amazon S3-kompatiblen Speicher, Google Cloud Storage und Oracle Cloud Storage gilt exists für den Bucket und den Schlüssel, aber nicht für das Präfix oder den virtuellen Ordner.

Beachten Sie Folgendes:

• Wenn Sie die Aktivität „Metadaten abrufen“ für einen Ordner verwenden möchten, vergewissern Sie sich, dass Sie für den angegebenen Ordner über die Berechtigung zum Auflisten/Ausführen (LIST/EXECUTE) verfügen.

• Platzhalterfilter für Ordner/Dateien werden für die Aktivität „Metadaten abrufen" nicht unterstützt.

• Die Filter modifiedDatetimeStart und modifiedDatetimeEnd sind für den Connector festgelegt:

  • Diese zwei Eigenschaften werden beim Abrufen von Metadaten aus einem Ordner zum Filtern der untergeordneten Elemente verwendet. Sie werden beim Abrufen von Metadaten aus einer Datei nicht angewendet.
  • Wenn ein solcher Filter verwendet wird, enthält childItems in der Ausgabe nur die geänderten Dateien im festgelegten Bereich, aber keine Ordner.
  • Zum Anwenden eines solchen Filters durchläuft die GetMetadata-Aktivität alle Dateien im angegebenen Ordner und überprüft die Änderungszeit. Vermeiden Sie Verweise auf einen Ordner mit sehr vielen Dateien, selbst wenn Sie eine geringe Anzahl qualifizierter Dateien erwarten.

Relationale Datenbank

Metadatenoptionen

Sie können die folgenden Metadatentypen in der Feldliste der Aktivität „Metadaten abrufen“ angeben, um die entsprechenden Informationen abzurufen:

Syntax

Aktivität „Metadaten abrufen“

{
    "name":"MyActivity",
    "type":"GetMetadata",
    "dependsOn":[

    ],
    "policy":{
        "timeout":"7.00:00:00",
        "retry":0,
        "retryIntervalInSeconds":30,
        "secureOutput":false,
        "secureInput":false
    },
    "userProperties":[

    ],
    "typeProperties":{
        "dataset":{
            "referenceName":"MyDataset",
            "type":"DatasetReference"
        },
        "fieldList":[
            "size",
            "lastModified",
            "structure"
        ],
        "storeSettings":{
            "type":"AzureBlobStorageReadSettings"
        },
        "formatSettings":{
            "type":"JsonReadSettings"
        }
    }
}

Dataset

{
    "name":"MyDataset",
    "properties":{
        "linkedServiceName":{
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[

        ],
        "type":"Json",
        "typeProperties":{
            "location":{
                "type":"AzureBlobStorageLocation",
                "fileName":"file.json",
                "folderPath":"folder",
                "container":"container"
            }
        }
    }
}

Typeigenschaften

Die Aktivität „Metadaten abrufen“ kann zurzeit die folgenden Arten von Metadateninformationen zurückgeben:

Beispielausgabe

Die Ergebnisse von „Metadaten abrufen“ werden in der Ausgabe der Aktivität angezeigt. Im Folgenden zwei Beispiele für umfassende Metadatenoptionen. Um die Ergebnisse in nachfolgenden Aktivitäten zu nutzen, verwenden Sie das Muster @{activity('MyGetMetadataActivity').output.itemName}.

Abrufen der Metadaten einer Datei

{
  "exists": true,
  "itemName": "test.csv",
  "itemType": "File",
  "size": 104857600,
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
  "structure": [
    {
        "name": "id",
        "type": "Int64"
    },
    {
        "name": "name",
        "type": "String"
    }
  ],
  "columnCount": 2
}

Abrufen der Metadaten eines Ordners

{
  "exists": true,
  "itemName": "testFolder",
  "itemType": "Folder",
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "childItems": [
    {
      "name": "test.avro",
      "type": "File"
    },
    {
      "name": "folder hello",
      "type": "Folder"
    }
  ]
}

Zugehöriger Inhalt

Informationen zu weiteren unterstützten Ablaufsteuerungsaktivitäten:

• Aktivität „Pipeline ausführen“
• ForEach-Aktivität
• Lookup-Aktivität
• Webaktivität