使用 Azure Data Factory 或 Synapse Analytics 中的指令碼活動來轉換資料

適用於：Azure Data Factory Azure Synapse Analytics

您在 Data Factory 或 Synapse 管線中使用資料轉換活動，以轉換並處理您的未經處理資料，來進行預測和深入解析。 指令碼活動是管線支援的其中一個轉換活動。 本文是以轉換資料一文為基礎，提供資料轉換及所支援轉換活動的一般概觀。

您可以使用指令碼活動，透過資料操作語言 (DML) 和資料定義語言 (DDL) 來執行一般作業。 INSERT、UPDATE、DELETE 和 SELECT 等 DML 陳述式，可讓使用者在資料庫中插入、修改、刪除和擷取資料。 CREATE、ALTER 和 DROP 等 DDL 陳述式可讓資料庫管理員建立、修改和移除資料庫物件，例如資料表、索引和使用者。

您可以使用「指令碼活動」來叫用您企業或 Azure 虛擬機器 (VM) 中，在下列其中一個資料存放區中的 SQL 指令碼：

• Azure SQL Database
• Azure Synapse Analytics
• SQL Server Database。 如果您使用 SQL Server，請在裝載資料庫的同一部電腦上或可存取資料庫的個別電腦上安裝自我裝載整合執行階段。 自我裝載整合執行階段是一套透過安全且可管理的方式，將內部部署/Azure VM 上的資料來源連結至雲端服務的元件。 如需詳細資料，請參閱自我裝載整合執行階段一文。
• Oracle
• Snowflake

指令碼可包含循序執行的單一 SQL 陳述式或多個 SQL 陳述式。 您可將指令碼工作用於下列用途：

• 截斷資料表，為插入資料做準備。
• 建立、改變和卸除資料庫物件，例如資料表和檢視。
• 將資料載入至事實 (Fact) 和維度 (Dimension) 資料表之前，先重建這些資料表。
• 執行預存程序。 如果 SQL 陳述式叫用會從暫存資料表傳回結果的預存程序，請使用 WITH RESULT SETS 選項來定義結果集的中繼資料。
• 將從查詢傳回的資料列集儲存為下游取用的活動輸出。

語法詳細資料

以下是 JSON 格式來定義指令碼活動︰

{ 
   "name": "<activity name>", 
   "type": "Script", 
   "linkedServiceName": { 
      "referenceName": "<name>", 
      "type": "LinkedServiceReference" 
    }, 
   "typeProperties": { 
      "scripts" : [ 
         { 
            "text": "<Script Block>", 
            "type": "<Query> or <NonQuery>", 
            "parameters":[ 
               { 
                  "name": "<name>", 
                  "value": "<value>", 
                  "type": "<type>", 
                  "direction": "<Input> or <Output> or <InputOutput>", 
                  "size": 256 
               }, 
               ... 
            ] 
         }, 
         ... 
      ],     
         ... 
         ] 
      }, 
      "scriptBlockExecutionTimeout": "<time>",  
      "logSettings": { 
         "logDestination": "<ActivityOutput> or <ExternalStore>", 
         "logLocationSettings":{ 
            "linkedServiceName":{ 
               "referenceName": "<name>", 
               "type": "<LinkedServiceReference>" 
            }, 
            "path": "<folder path>" 
         } 
      } 
    } 
} 

下表說明這些 JSON 屬性：

活動輸出

範例輸出：

{ 
    "resultSetCount": 2, 
    "resultSets": [ 
        { 
            "rowCount": 10, 
            "rows":[ 
                { 
                    "<columnName1>": "<value1>", 
                    "<columnName2>": "<value2>", 
                    ... 
                } 
            ] 
        }, 
        ... 
    ], 
    "recordsAffected": 123, 
    "outputParameters":{ 
        "<parameterName1>": "<value1>", 
        "<parameterName2>": "<value2>" 
    }, 
    "outputLogs": "<logs>", 
    "outputLogsLocation": "<folder path>", 
    "outputTruncated": true, 
    ... 
} 

使用 UI 設定 Script 活動

內嵌指令碼

內嵌指令碼與管線 CI/CD 整合良好，因為指令碼會儲存為管線中繼資料的一部分。

記錄

記錄選項：

• 停用 – 不會記錄執行輸出。
• 活動輸出 - 指令碼執行輸出會附加至活動輸出。 下游活動後續可加以取用。 輸出大小限制為 4 MB。
• 外部儲存體 - 將輸出保存到儲存體。 如果輸出大小大於 2 MB，或者您想要在儲存體帳戶上明確保存輸出，請使用此選項。

相關內容

請參閱下列文章，其說明如何以其他方式轉換資料：

• U-SQL 活動
• Hive 活動
• Pig 活動
• MapReduce 活動
• Hadoop 串流活動
• Spark 活動
• .NET 自訂活動
• 預存程序活動