Pipelineausführung und Trigger in Azure Data Factory oder Azure Synapse Analytics

GILT FÜR: Azure Data Factory Azure Synapse Analytics

Eine Pipelineausführung in Azure Data Factory und Azure Synapse Analytics definiert eine Instanz einer Pipelineausführung. Beispiel: Angenommen, Sie verfügen über eine Pipeline, die um 8:00, 9:00 und 10:00 Uhr ausgeführt wird. In diesem Fall erfolgen drei separate Ausführungen der Pipeline (oder Pipelineausführungen). Jede Pipelineausführung besitzt eine eindeutige Pipelineausführungs-ID. Eine Ausführungs-ID ist eine GUID, die die jeweilige Pipelineausführung eindeutig definiert.

Zur Instanziierung von Pipelineausführungen werden in der Regel Argumente an in der Pipeline definierte Parameter übergeben. Sie können eine Pipeline entweder manuell oder mithilfe eines Triggers ausführen. Dieser Artikel enthält Informationen zu beiden Möglichkeiten der Ausführung einer Pipeline.

Erstellen von Triggern über die Benutzeroberfläche

Wählen Sie oben im Pipeline-Editor „Trigger hinzufügen“ aus, um eine Pipeline manuell auszulösen oder ein neues geplantes rollierendes Fenster, ein Speicherereignis oder einen benutzerdefinierten Ereignistrigger zu konfigurieren.

Wenn Sie die Pipeline manuell auslösen möchten, wird sie sofort ausgeführt. Andernfalls werden Sie bei Auswahl von „Neu/Bearbeiten“ mit dem Fenster „Trigger hinzufügen“ aufgefordert, entweder einen vorhandenen zu bearbeitenden Trigger auszuwählen oder einen neuen Trigger zu erstellen.

Daraufhin wird das Triggerkonfigurationsfenster angezeigt, in dem Sie den Triggertyp auswählen können.

Weitere Informationen zu geplanten, rollierendes Fenster-, Speicherereignis- und benutzerdefiniertes Ereignis-Trigger erfahren Sie weiter unten.

Manuelle Ausführung mit JSON

Die manuelle Ausführung einer Pipeline wird auch als bedarfsgesteuerte Ausführung bezeichnet.

Beispiel: Angenommen, Sie haben eine allgemeine Pipeline mit dem Namen copyPipeline, die Sie ausführen möchten. Dabei handelt es sich um eine Pipeline mit einer einzelnen Aktivität, die Daten aus einem Azure Blob Storage-Quellordner in einen Zielordner im selben Speicher kopiert. Die folgende JSON-Definition zeigt diese Beispielpipeline:

{
    "name": "copyPipeline",
    "properties": {
        "activities": [
            {
                "type": "Copy",
                "typeProperties": {
                    "source": {
                        "type": "BlobSource"
                    },
                    "sink": {
                        "type": "BlobSink"
                    }
                },
                "name": "CopyBlobtoBlob",
                "inputs": [
                    {
                        "referenceName": "sourceBlobDataset",
                        "type": "DatasetReference"
                    }
                ],
                "outputs": [
                    {
                        "referenceName": "sinkBlobDataset",
                        "type": "DatasetReference"
                    }
                ]
            }
        ],
        "parameters": {
            "sourceBlobContainer": {
                "type": "String"
            },
            "sinkBlobContainer": {
                "type": "String"
            }
        }
    }
}

In der JSON-Definition nutzt die Pipeline nutzt zwei Parameter: sourceBlobContainer und sinkBlobContainer. Sie können Werte an diese Parameter zur Laufzeit übergeben.

Manuelle Ausführung mit anderen APIs/SDKs

Sie können Ihre Pipeline manuell mit einer der folgenden Methoden ausführen:

• .NET SDK
• Azure PowerShell-Modul
• REST-API
• Python SDK

.NET SDK

Der folgende Beispielaufruf zeigt, wie Ihre Pipeline mithilfe des .NET SDK manuell ausgeführt wird:

client.Pipelines.CreateRunWithHttpMessagesAsync(resourceGroup, dataFactoryName, pipelineName, parameters)

Ein vollständiges Beispiel finden Sie unter Schnellstart: Erstellen einer Data Factory mit dem .NET SDK.

Azure PowerShell

Der folgende Befehl zeigt, wie Ihre Pipeline manuell mithilfe von Azure PowerShell ausgeführt wird:

Invoke-AzDataFactoryV2Pipeline -DataFactory $df -PipelineName "Adfv2QuickStartPipeline" -ParameterFile .\PipelineParameters.json -ResourceGroupName "myResourceGroup"

Sie übergeben Parameter im Text in der Anforderungsnutzlast. Im .NET SDK, in Azure PowerShell und im Python SDK werden Werte in einem Wörterbuch übergeben, das als Argument an den Aufruf übergeben wird:

{
  "sourceBlobContainer": "MySourceFolder",
  "sinkBlobContainer": "MySinkFolder"
}

Die Antwortnutzlast ist eine eindeutige ID der Pipelineausführung:

{
  "runId": "0448d45a-a0bd-23f3-90a5-bfeea9264aed"
}

Ein vollständiges Beispiel finden Sie unter Schnellstart: Erstellen einer Data Factory mit Azure PowerShell.

Python SDK

Ein vollständiges Beispiel finden Sie unter Schnellstart: Erstellen einer Datenfactory und Pipeline mit Python.

REST-API

Der folgende Befehl zeigt, wie Ihre Pipeline mithilfe der REST-API manuell ausgeführt wird:

POST
https://management.azure.com/subscriptions/mySubId/resourceGroups/myResourceGroup/providers/Microsoft.DataFactory/factories/myDataFactory/pipelines/copyPipeline/createRun?api-version=2017-03-01-preview

Ein vollständiges Beispiel finden Sie unter Schnellstart: Erstellen einer Data Factory mit der REST-API.

Triggerausführung mit JSON

Eine Pipelineausführung kann auch mithilfe von Triggern erfolgen. Trigger stellen eine Verarbeitungseinheit dar, die bestimmt, wann eine Pipelineausführung initiiert werden soll. Derzeit unterstützt der Dienst drei Arten von Triggern:

• Zeitplantrigger: Ein Trigger, der eine Pipeline nach einem Realzeitplan aufruft.

• Trigger für ein rollierendes Fenster: Ein Trigger, der in einem regelmäßigen Intervall ausgeführt wird, während der Zustand beibehalten wird.

• Ereignisbasierter Trigger: Ein Trigger, der auf ein Ereignis reagiert.

Pipelines und Trigger haben eine m:m-Beziehung (außer beim Trigger mit rollierendem Fenster). Mehrere Trigger können eine einzelne Pipeline starten, oder ein einzelner Trigger kann mehrere Pipelines starten. In der folgenden Triggerdefinition bezieht sich die Pipelines-Eigenschaft auf eine Liste von Pipelines, die vom jeweiligen Trigger ausgelöst werden. Die Eigenschaftendefinition enthält Werte für die Pipelineparameter.

Grundlegende Triggerdefinition

{
    "properties": {
        "name": "MyTrigger",
        "type": "<type of trigger>",
        "typeProperties": {...},
        "pipelines": [
            {
                "pipelineReference": {
                    "type": "PipelineReference",
                    "referenceName": "<Name of your pipeline>"
                },
                "parameters": {
                    "<parameter 1 Name>": {
                        "type": "Expression",
                        "value": "<parameter 1 Value>"
                    },
                    "<parameter 2 Name>": "<parameter 2 Value>"
                }
            }
        ]
    }
}

Zeitplantrigger mit JSON

Ein Zeitplantrigger führt Pipelines nach einem Realzeitplan aus. Dieser Trigger unterstützt regelmäßige und erweiterte Kalenderoptionen. Der Auslöser unterstützt zum Beispiel Intervalle wie "wöchentlich" oder "Montag um 17:00 Uhr und Donnerstag um 21:00 Uhr". Der Zeitplan-Trigger ist flexibel, da das Datensatzmuster unabhängig ist und der Trigger nicht zwischen Zeitseriendaten und Nicht-Zeitseriendaten unterscheidet.

Weitere Informationen zu Zeitplantriggern und Beispiele finden Sie unter Erstellen eines Triggers zum Ausführen einer Pipeline gemäß einem Zeitplan.

Definition für Zeitplantrigger

Wenn Sie einen Zeitplantrigger erstellen, geben den Zeitplan und die Wiederholung mithilfe einer JSON-Definition an.

Damit der Zeitplantrigger die Ausführung der Pipeline startet, verwenden Sie in der Triggerdefinition einen Pipelineverweis auf die jeweilige Pipeline. Pipelines und Trigger haben eine m:m-Beziehung. Mehrere Trigger können eine einzelne Pipeline starten. Ein einzelnder Trigger kann mehrere Pipelines starten.

{
  "properties": {
    "type": "ScheduleTrigger",
    "typeProperties": {
      "recurrence": {
        "frequency": <<Minute, Hour, Day, Week>>,
        "interval": <<int>>, // How often to fire
        "startTime": <<datetime>>,
        "endTime": <<datetime>>,
        "timeZone": "UTC",
        "schedule": { // Optional (advanced scheduling specifics)
          "hours": [<<0-24>>],
          "weekDays": [<<Monday-Sunday>>],
          "minutes": [<<0-60>>],
          "monthDays": [<<1-31>>],
          "monthlyOccurrences": [
            {
              "day": <<Monday-Sunday>>,
              "occurrence": <<1-5>>
            }
          ]
        }
      }
    },
  "pipelines": [
    {
      "pipelineReference": {
        "type": "PipelineReference",
        "referenceName": "<Name of your pipeline>"
      },
      "parameters": {
        "<parameter 1 Name>": {
          "type": "Expression",
          "value": "<parameter 1 Value>"
        },
        "<parameter 2 Name>": "<parameter 2 Value>"
      }
    }
  ]}
}

Schemaübersicht

Die folgende Tabelle enthält eine allgemeine Übersicht über die wichtigsten Schemaelemente im Zusammenhang mit der Wiederholung und Zeitplanung eines Triggers:

Beispiel für Zeitplantrigger

{
  "properties": {
    "name": "MyTrigger",
    "type": "ScheduleTrigger",
    "typeProperties": {
      "recurrence": {
        "frequency": "Hour",
        "interval": 1,
        "startTime": "2017-11-01T09:00:00-08:00",
        "endTime": "2017-11-02T22:00:00-08:00"
      }
    },
    "pipelines": [{
        "pipelineReference": {
          "type": "PipelineReference",
          "referenceName": "SQLServerToBlobPipeline"
        },
        "parameters": {}
      },
      {
        "pipelineReference": {
          "type": "PipelineReference",
          "referenceName": "SQLServerToAzureSQLPipeline"
        },
        "parameters": {}
      }
    ]
  }
}

Schemastandards, Einschränkungen und Beispiele

startTime-Eigenschaft

Die folgende Tabelle zeigt, wie die startTime-Eigenschaft eine Triggerausführung steuert:

Das folgende Beispiel veranschaulicht, was passiert, wenn die Startzeit in der Vergangenheit liegt und nur eine Wiederholung, aber kein Zeitplan angegeben ist. Nehmen Sie beispielsweise an, dass die aktuelle Uhrzeit „2017-04-08 13:00“ und die Startzeit „2017-04-07 14:00“ ist und die Wiederholung alle zwei Tage erfolgt. (Der recurrence-Wert wird definiert, indem die frequency-Eigenschaft auf „day“ und die interval-Eigenschaft auf „2“ festgelegt wird.) Beachten Sie, dass der startTime-Wert in der Vergangenheit liegt.

Unter diesen Umständen erfolgt die erste Ausführung am 09.04.2017 um 14:00 Uhr. Die Scheduler-Engine berechnet die Ausführungen auf Grundlage der Startzeit. In der Vergangenheit liegende Instanzen werden verworfen. Die Engine verwendet die nächste in der Zukunft liegende Instanz. In diesem Szenario ist die Startzeit der 07.04.2017 um 14 Uhr. Die nächste Instanz folgt zwei Tage nach diesem Zeitpunkt, also um am 09.04.2017 um 14 Uhr.

Die erste Ausführungszeit ist auch dieselbe, wenn „2017-04-05 14:00“ oder „2017-04-01 14:00“ für startTime angegeben ist. Nach der ersten Ausführung werden nachfolgende Ausführungen anhand des Zeitplans berechnet. Daher erfolgen die weiteren Ausführungen am 11.04.2017 um 14 Uhr, am 13.04.2017 um 14 Uhr, am 15.04.2017 um 14 Uhr usw.

Wenn die Stunden oder Minuten im Zeitplan für einen Trigger nicht festgelegt sind, werden die Stunden oder Minuten der ersten Ausführung als Standardwerte verwendet.

schedule-Eigenschaft

Mithilfe von schedule lässt sich die Anzahl von Triggerausführungen begrenzen. Beispiel: Wenn für einen Trigger mit einer monatlichen Häufigkeit nur die Ausführung am 31. Tag geplant ist, wird der Trigger nur in Monaten mit 31 Tagen ausgeführt.

Mithilfe von schedule lässt sich die Anzahl von Triggerausführungen auch erweitern. Beispiel: Ein Trigger mit einem monatlichen Intervall, dessen Ausführung für die Monatstage 1 und 2 geplant ist, wird an den 1. und 2. Tagen des Monats anstatt einmal im Monat ausgeführt.

Bei Angabe mehrerer schedule-Elemente werden die Zeitplaneinstellungen in absteigender Reihenfolge ausgewertet – also von der Wochennummer über Monatstag und Wochentag bis hin zu Stunde und Minute.

Die folgende Tabelle enthält eine ausführliche Beschreibung der schedule-Elemente:

Trigger für ein rollierendes Fenster

Trigger für ein rollierendes Fenster werden ab einem angegebenen Startzeitpunkt in regelmäßigen Zeitintervallen ausgelöst, während der Zustand beibehalten wird. Bei rollierenden Fenstern handelt es sich um eine Reihe von nicht überlappenden, aneinandergrenzenden Zeitintervallen mit einer festen Größe.

Weitere Informationen zu Triggern für ein rollierendes Fenster und Beispiele finden Sie unter Erstellen eines Triggers zum Ausführen einer Pipeline für ein rollierendes Fenster.

Beispiele für Wiederholungszeitpläne von Triggern

Dieser Abschnitt enthält Beispiele für Wiederholungszeitpläne. Der Schwerpunkt liegt auf dem schedule-Objekt und seinen Elementen.

In den Beispielen wird angenommen, dass der interval-Wert „1“ festgelegt ist, und der frequency-Wert gemäß der Zeitplandefinition richtig ist. Beispielsweise können nicht gleichzeitig der frequency-Wert „day“ und die Änderung monthDays im schedule-Objekt angegeben werden. Diese Arten von Beschränkungen sind in der Tabelle im vorherigen Abschnitt beschrieben.

Vergleich von Triggertypen

Der Trigger für ein rollierendes Fenster und der Zeitplantrigger basieren jeweils auf Zeit-Heartbeats. Inwiefern unterscheiden sie sich?

In der folgenden Tabelle werden der Trigger für ein rollierendes Fenster und der Zeitplantrigger verglichen:

Ereignisbasierter Trigger

Ein ereignisbasierter Auslöser führt Pipelines als Reaktion auf ein Ereignis aus. Es gibt zwei Arten von ereignisbasierten Triggern.

• Ein Speicherereignisauslöser führt eine Pipeline bei Ereignissen aus, die in einem Speicherkonto auftreten, z. B. das Eintreffen einer Datei oder das Löschen einer Datei im Azure Blob Storage-Konto.
• Ein Auslöser für benutzerdefinierte Ereignisse verarbeitet und behandelt benutzerdefinierte Artikel in Event Grid.

Weitere Informationen zu ereignisbasierten Auslösern finden Sie unter Speicherereignis auslöser und Auslöser für benutzerdefinierte Ereignisse.

Zugehöriger Inhalt

Arbeiten Sie die folgenden Tutorials durch:

• Schnellstart: Erstellen einer Data Factory mit dem .NET SDK
• Erstellen eines Zeitplantriggers
• Erstellen eines Triggers für ein rollierendes Fenster