Trasformare i dati usando l'attività Script in Azure Data Factory o Synapse Analytics

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Le attività di trasformazione dei dati in una pipeline di Data Factory o Synapse trasformano ed elaborano i dati non elaborati in stime e approfondimenti. L'attività Script è una delle attività di trasformazione supportate dalle pipeline. Questo articolo si basa sull'articolo relativo alla trasformazione dei dati, che offre una panoramica generale della trasformazione dei dati e delle attività di trasformazione supportate.

Usando l'attività Script, è possibile eseguire operazioni comuni con DML (Data Manipulation Language) e DDL (Data Definition Language). Le istruzioni DML come INSERT, UPDATE, DELETE e SELECT consentono agli utenti di inserire, modificare, eliminare e recuperare dati nel database. Le istruzioni DDL come CREATE, ALTER e DROP consentono a un gestore di database di creare, modificare e rimuovere oggetti di database, ad esempio tabelle, indici e utenti.

È possibile usare l'attività Script per richiamare uno script SQL in uno dei seguenti archivi dati presenti in azienda o in una macchina virtuale di Azure:

• database SQL di Azure
• Azure Synapse Analytics
• Database di SQL Server. Se si usa SQL Server, è necessario installare Runtime di integrazione (self-hosted) nello stesso computer che ospita il database o in un computer separato che ha accesso al database. Runtime di integrazione (self-hosted) è un componente che connette in modo sicuro e gestito origini dati presenti in locale o in macchine virtuali di Azure ai servizi cloud. Per i dettagli, vedere l'articolo Runtime di integrazione self-hosted.
• Oracle
• Snowflake

Lo script può includere una o più istruzioni SQL che vengono eseguite in ordine sequenziale. È possibile utilizzare l'attività Script per gli scopi seguenti:

• Troncare una tabella per prepararla per l'inserimento di dati.
• Creare, modificare ed eliminare oggetti di database come tabelle e viste.
• Ricreare tabelle dei fatti e delle dimensioni prima di caricarvi i dati.
• Eseguire stored procedure. Se l'istruzione SQL richiama una stored procedure che restituisce risultati da una tabella temporanea, utilizzare l'opzione WITH RESULT SETS per definire metadati per il set di risultati.
• Salvare il set di righe restituito da una query come output dell'attività per l'utilizzo downstream.

Dettagli sintassi

Di seguito è riportato il formato JSON per la definizione di un'attività di script:

{ 
   "name": "<activity name>", 
   "type": "Script", 
   "linkedServiceName": { 
      "referenceName": "<name>", 
      "type": "LinkedServiceReference" 
    }, 
   "typeProperties": { 
      "scripts" : [ 
         { 
            "text": "<Script Block>", 
            "type": "<Query> or <NonQuery>", 
            "parameters":[ 
               { 
                  "name": "<name>", 
                  "value": "<value>", 
                  "type": "<type>", 
                  "direction": "<Input> or <Output> or <InputOutput>", 
                  "size": 256 
               }, 
               ... 
            ] 
         }, 
         ... 
      ],     
         ... 
         ] 
      }, 
      "scriptBlockExecutionTimeout": "<time>",  
      "logSettings": { 
         "logDestination": "<ActivityOutput> or <ExternalStore>", 
         "logLocationSettings":{ 
            "linkedServiceName":{ 
               "referenceName": "<name>", 
               "type": "<LinkedServiceReference>" 
            }, 
            "path": "<folder path>" 
         } 
      } 
    } 
} 

La tabella seguente illustra queste proprietà JSON:

Activity Output

Output di esempio:

{ 
    "resultSetCount": 2, 
    "resultSets": [ 
        { 
            "rowCount": 10, 
            "rows":[ 
                { 
                    "<columnName1>": "<value1>", 
                    "<columnName2>": "<value2>", 
                    ... 
                } 
            ] 
        }, 
        ... 
    ], 
    "recordsAffected": 123, 
    "outputParameters":{ 
        "<parameterName1>": "<value1>", 
        "<parameterName2>": "<value2>" 
    }, 
    "outputLogs": "<logs>", 
    "outputLogsLocation": "<folder path>", 
    "outputTruncated": true, 
    ... 
} 

Configurare l'attività Script usando l'interfaccia utente

Script inline

Gli script inline si integrano bene con CI/CD della pipeline perché lo script viene archiviato come parte dei metadati della pipeline.

Registrazione

Opzioni di registrazione:

• Disabilita: non viene registrato alcun output di esecuzione.
• Output dell'attività: l'output dell'esecuzione dello script viene aggiunto all'output dell'attività. Le attività downstream possono quindi utilizzarlo. Le dimensioni di output sono limitate a 4 MB.
• Archiviazione esterna: rende persistente l'output nell'archiviazione. Usare questa opzione se le dimensioni dell'output sono superiori a 2 MB o si vuole rendere persistente in modo esplicito l'output nell'account di archiviazione.

Contenuto correlato

Vedere gli articoli seguenti, che illustrano altre modalità di trasformazione dei dati:

• Attività U-SQL
• Attività Hive
• Attività Pig
• Attività MapReduce
• Attività di streaming di Hadoop
• Attività Spark
• Attività personalizzata .NET
• Attività stored procedure