Esecuzione e trigger della pipeline in Azure Data Factory o Azure Synapse Analytics

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Un'esecuzione di pipeline in Azure Data Factory e Azure Synapse definisce un'istanza di un'esecuzione di pipeline. Se una pipeline viene eseguita alle ore 8:00, alle 9:00 e alle 10:00, ad esempio, si hanno tre esecuzioni di pipeline separate. ognuna con un ID di esecuzione pipeline univoco. Un ID di esecuzione è un GUID che definisce in modo univoco la specifica esecuzione della pipeline.

Le istanze delle esecuzioni di pipeline vengono in genere create passando argomenti ai parametri definiti nelle pipeline. È possibile eseguire una pipeline manualmente o tramite un trigger. Questo articolo fornisce informazioni dettagliate su entrambe le modalità di esecuzione di una pipeline.

Creare trigger con interfaccia utente

Per attivare manualmente una pipeline o per configurare un nuovo trigger periodico, di archiviazione o di evento personalizzato, selezionare Aggiungi trigger nella parte superiore dell'editor della pipeline.

Se si sceglie di attivare manualmente la pipeline, sarà eseguita immediatamente. Se invece si sceglie Nuovo/Modifica, verrà visualizzata una richiesta nella finestra Aggiungi trigger, per scegliere un trigger esistente da modificare o per creare un nuovo trigger.

Verrà visualizzata la finestra di configurazione del trigger, che consente di sceglierne il tipo.

Di seguito sono disponibili altre informazioni sui trigger pianificati, periodici, di evento di archiviazione e di evento personalizzato.

Esecuzione manuale con JSON

L'esecuzione manuale di una pipeline è detta anche esecuzione su richiesta.

Si supponga ad esempio che sia disponibile una pipeline denominata copyPipeline che si vuole eseguire. La pipeline ha una singola attività che esegue una copia da una cartella di origine in Archiviazione BLOB di Azure a una cartella di destinazione nella stessa risorsa di archiviazione. La definizione JSON seguente illustra questa pipeline di esempio:

{
    "name": "copyPipeline",
    "properties": {
        "activities": [
            {
                "type": "Copy",
                "typeProperties": {
                    "source": {
                        "type": "BlobSource"
                    },
                    "sink": {
                        "type": "BlobSink"
                    }
                },
                "name": "CopyBlobtoBlob",
                "inputs": [
                    {
                        "referenceName": "sourceBlobDataset",
                        "type": "DatasetReference"
                    }
                ],
                "outputs": [
                    {
                        "referenceName": "sinkBlobDataset",
                        "type": "DatasetReference"
                    }
                ]
            }
        ],
        "parameters": {
            "sourceBlobContainer": {
                "type": "String"
            },
            "sinkBlobContainer": {
                "type": "String"
            }
        }
    }
}

Nella definizione JSON la pipeline accetta due parametri: sourceBlobContainer e sinkBlobContainer. Passare valori a questi parametri in fase di esecuzione.

Esecuzione manuale con altre API/SDK

È possibile eseguire manualmente la pipeline usando uno dei metodi seguenti:

• .NET SDK
• Modulo di Azure PowerShell
• REST API
• Python SDK

.NET SDK

La chiamata di esempio seguente illustra come eseguire la pipeline usando .NET SDK manualmente:

client.Pipelines.CreateRunWithHttpMessagesAsync(resourceGroup, dataFactoryName, pipelineName, parameters)

Per un esempio completo, vedere Guida introduttiva: Creare una data factory e una pipeline con .NET SDK.

Azure PowerShell

Il comando di esempio seguente illustra come eseguire manualmente la pipeline usando Azure PowerShell:

Invoke-AzDataFactoryV2Pipeline -DataFactory $df -PipelineName "Adfv2QuickStartPipeline" -ParameterFile .\PipelineParameters.json -ResourceGroupName "myResourceGroup"

I parametri vengono passati nel corpo del payload della richiesta. In .NET SDK, Azure PowerShell e Python SDK passare i valori in un dizionario passato come argomento alla chiamata:

{
  "sourceBlobContainer": "MySourceFolder",
  "sinkBlobContainer": "MySinkFolder"
}

Il payload di risposta è un ID univoco dell'esecuzione della pipeline:

{
  "runId": "0448d45a-a0bd-23f3-90a5-bfeea9264aed"
}

Per un esempio completo, vedere Guida introduttiva: Creare una data factory con Azure PowerShell.

Python SDK

Per un esempio completo, vedere Avvio rapido: Creare una data factory e una pipeline con Python

REST API

Il comando di esempio seguente illustra come eseguire la pipeline usando l'API REST manualmente:

POST
https://management.azure.com/subscriptions/mySubId/resourceGroups/myResourceGroup/providers/Microsoft.DataFactory/factories/myDataFactory/pipelines/copyPipeline/createRun?api-version=2017-03-01-preview

Per un esempio completo, vedere Guida introduttiva: Creare una data factory usando l'API REST.

Attivare l'esecuzione con JSON

I trigger rappresentano una modalità alternativa per attivare una esecuzione di pipeline. I trigger rappresentano un'unità di elaborazione che determina quando deve essere avviata l'esecuzione di una pipeline. Attualmente, il servizio supporta tre tipi di trigger:

• Trigger di pianificazione: un trigger che richiama una pipeline con una pianificazione basata sul tempo reale.

• Trigger di finestra a cascata: un trigger che viene attivato a intervalli periodici, mantenendo al tempo stesso lo stato.

• Trigger basato su eventi: un trigger che risponde a un evento.

Le pipeline e i trigger hanno una relazione molti-a-molti (ad eccezione del trigger periodico). Più trigger possono avviare una singola pipeline e un singolo trigger può avviare più pipeline. Nella definizione di trigger seguente la proprietà pipelines fa riferimento a un elenco di pipeline attivate dal trigger specifico. La definizione della proprietà include i valori dei parametri della pipeline.

Definizione del trigger di base

{
    "properties": {
        "name": "MyTrigger",
        "type": "<type of trigger>",
        "typeProperties": {...},
        "pipelines": [
            {
                "pipelineReference": {
                    "type": "PipelineReference",
                    "referenceName": "<Name of your pipeline>"
                },
                "parameters": {
                    "<parameter 1 Name>": {
                        "type": "Expression",
                        "value": "<parameter 1 Value>"
                    },
                    "<parameter 2 Name>": "<parameter 2 Value>"
                }
            }
        ]
    }
}

Pianificare il trigger con JSON

Un trigger di pianificazione esegue le pipeline con una pianificazione basata sul tempo reale. Questo trigger supporta opzioni di calendario periodiche e avanzate. Il trigger supporta, ad esempio, intervalli come "settimanale" o "Lunedì alle 17:00 e giovedì alle 21:00". Il trigger di pianificazione è flessibile perché il criterio del set di dati è indipendente e il trigger non distingue tra dati di serie temporali e non temporali.

Per altre informazioni ed esempi sui trigger pianificati vedere Creare un trigger che esegue una pipeline in base a una pianificazione.

Definizione del trigger di pianificazione

Quando si crea un trigger di pianificazione, si specificano la pianificazione e la ricorrenza usando una definizione JSON.

Per fare in modo che il trigger di pianificazione attivi l'esecuzione di una pipeline, includere un riferimento di pipeline della pipeline specifica nella definizione del trigger. Pipeline e trigger hanno una relazione molti-a-molti. Più trigger possono attivare una singola pipeline. Un singolo trigger può attivare più pipeline.

{
  "properties": {
    "type": "ScheduleTrigger",
    "typeProperties": {
      "recurrence": {
        "frequency": <<Minute, Hour, Day, Week>>,
        "interval": <<int>>, // How often to fire
        "startTime": <<datetime>>,
        "endTime": <<datetime>>,
        "timeZone": "UTC",
        "schedule": { // Optional (advanced scheduling specifics)
          "hours": [<<0-24>>],
          "weekDays": [<<Monday-Sunday>>],
          "minutes": [<<0-60>>],
          "monthDays": [<<1-31>>],
          "monthlyOccurrences": [
            {
              "day": <<Monday-Sunday>>,
              "occurrence": <<1-5>>
            }
          ]
        }
      }
    },
  "pipelines": [
    {
      "pipelineReference": {
        "type": "PipelineReference",
        "referenceName": "<Name of your pipeline>"
      },
      "parameters": {
        "<parameter 1 Name>": {
          "type": "Expression",
          "value": "<parameter 1 Value>"
        },
        "<parameter 2 Name>": "<parameter 2 Value>"
      }
    }
  ]}
}

Panoramica dello schema

La tabella seguente fornisce una panoramica generale degli elementi dello schema principali correlati alla ricorrenza e alla pianificazione di un trigger:

Esempio di trigger di pianificazione

{
  "properties": {
    "name": "MyTrigger",
    "type": "ScheduleTrigger",
    "typeProperties": {
      "recurrence": {
        "frequency": "Hour",
        "interval": 1,
        "startTime": "2017-11-01T09:00:00-08:00",
        "endTime": "2017-11-02T22:00:00-08:00"
      }
    },
    "pipelines": [{
        "pipelineReference": {
          "type": "PipelineReference",
          "referenceName": "SQLServerToBlobPipeline"
        },
        "parameters": {}
      },
      {
        "pipelineReference": {
          "type": "PipelineReference",
          "referenceName": "SQLServerToAzureSQLPipeline"
        },
        "parameters": {}
      }
    ]
  }
}

Impostazioni predefinite dello schema, limiti ed esempi

Proprietà startTime

La tabella seguente illustra come la proprietà startTime controlla l'esecuzione di un trigger:

È possibile esaminare uno scenario in cui l'ora di inizio è nel passato, con una ricorrenza, ma nessuna pianificazione. Si supponga che l'ora corrente sia le 13:00 del 08/04/2017, l'ora di inizio sia le 14:00 del 07/04/2017 e la ricorrenza sia ogni due giorni. Il valore recurrence viene definito impostando la proprietà frequency su "day" e la proprietà interval su 2. Si noti che il valore startTime è nel passato e si verifica prima dell'ora corrente.

In queste condizioni, la prima esecuzione avviene il 9 aprile 2017 alle 14:00. Il motore dell'utilità di pianificazione calcola le occorrenze dall'ora di inizio dell'esecuzione. Vengono eliminate tutte le istanze in passato. Il motore utilizza l'istanza successiva che si verifica in futuro. In questo scenario l'ora di inizio corrisponde alle 14:00 del 07/04/2017. L'istanza successiva viene eseguita due giorni dopo tale orario, ovvero alle 14:00 del 09/04/2017.

Si noti che la prima esecuzione sarebbe la stessa anche se startTime fosse alle 14:00 del 05/04/2017 o alle 14:00 del 01/04/2017. Dopo la prima esecuzione, le esecuzioni successive vengono calcolate in base alla pianificazione. Le esecuzioni successive saranno alle 14:00 dell'11/04/2017, quindi alle 14:00 del 13/04/2017, alle 14:00 del 15/04/2017 e così via.

Infine, quando le ore o i minuti non sono impostati nella pianificazione di un trigger, le ore o i minuti della prima esecuzione vengono usati come impostazioni predefinite.

Proprietà schedule

È possibile usare schedule per limitare il numero di esecuzioni del trigger. Se ad esempio la pianificazione di un trigger con frequenza mensile prevede l'esecuzione solo il giorno 31, il trigger viene eseguito solo nei mesi che includono trentuno giorni.

È anche possibile usare schedule per espandere il numero di esecuzioni del trigger. Ad esempio, un trigger con una frequenza mensile la cui esecuzione è pianificata per i giorni 1 e 2 del mese viene eseguito il primo e il secondo giorno del mese, invece che una volta al mese.

Se vengono specificati più elementi di pianificazione, la valutazione viene eseguita a partire dall'impostazione più grande della pianificazione fino a quella più piccola, ovvero, numero della settimana, giorno del mese, giorno della settimana, ora e minuto.

La tabella seguente illustra in modo dettagliato gli elementi schedule:

Trigger di finestra a cascata

I trigger di finestra a cascata vengono attivati in base a un intervallo di tempo periodico a partire da un'ora di inizio specificata, mantenendo al tempo stesso lo stato. Le finestre a cascata sono costituite da una serie di intervalli temporali di dimensioni fisse, contigui e non sovrapposti.

Per altre informazioni ed esempi sui trigger di finestra a cascata, vedere Creare un trigger periodico.

Esempi di pianificazioni di ricorrenza del trigger

Questa sezione fornisce esempi di pianificazioni di ricorrenza. È incentrata sull'oggetto schedule e sui rispettivi elementi.

Gli esempi presumono che il valore di intervallo sia 1 e che il valore frequenza sia corretto in base alla definizione della pianificazione. Non è ad esempio possibile avere un valore frequency uguale a "day" e anche una modifica monthDays nell'oggetto schedule. Questi tipi di restrizioni vengono descritti nella tabella disponibile nella sezione precedente.

Confronto dei tipi di trigger

Il trigger di finestra a cascata e il trigger di pianificazione funzionano entrambi in base agli heartbeat temporali, Quali sono le differenze?

La tabella seguente contiene un confronto del trigger di finestra a cascata e del trigger di pianificazione:

Trigger basato su eventi

Un trigger basato su evento esegue pipeline in risposta a un evento. Esistono due tipi di trigger basati su evento.

• Trigger di evento di archiviazione esegue una pipeline sugli eventi che si verificano in un account di archiviazione, ad esempio l'arrivo di un file o l'eliminazione di un file nell'account di Archiviazione BLOB di Azure.
• Trigger di evento personalizzato elabora e gestisce gli articoli personalizzati nella Griglia di eventi

Per altre informazioni sui trigger basati su evento, vedere Trigger di evento di archiviazione e Trigger di evento personalizzato.

Contenuto correlato

Vedere le esercitazioni seguenti:

• Guida introduttiva: Creare una data factory con .NET SDK
• Creare un trigger di pianificazione
• Creare un trigger di finestra a cascata