使用 Azure Data Factory 和 Synapse Analytics 從 Teradata Vantage 複製資料

• 目前的版本

適用於：Azure Data Factory Azure Synapse Analytics

本文概述如何使用 Azure Data Factory 和 Synapse Analytics 管線中的複製活動，從 Teradata Vantage 複製資料。 本文是以複製活動概觀為依據。

支援的功能

此 Teradata 連接器支援下列功能：

① Azure 整合執行階段 ② 自我裝載整合執行階段

如需複製活動所支援作為來源/接收器的資料存放區清單，請參閱支援的資料存放區表格。

具體而言，這個 Teradata 連接器支援：

• Teradata 14.10、15.0、15.10、16.0、16.10 和 16.20 等版本。
• 使用 基本、Windows 或 LDAP 驗證來複製資料。
• 從 Teradata 來源平行複製。 如需詳細資訊，請參閱從 Teradata 平行複製一節。

必要條件

如果您的資料存放區位於內部部署網路、Azure 虛擬網路或 Amazon 虛擬私人雲端中，則必須設定自我裝載整合執行階段以與其連線。

如果您的資料存放區是受控雲端資料服務，則可使用 Azure Integration Runtime。 如果只能存取防火牆規則中核准的 IP，您可以將 Azure Integration Runtime IP 新增至允許清單。

您也可以使用 Azure Data Factory 中的受控虛擬網路整合執行階段功能來存取內部部署網路，而不需要安裝和設定自我裝載整合執行階段。

如需 Data Factory 支援的網路安全性機制和選項的詳細資訊，請參閱資料存取策略。

如果您使用自我裝載整合執行階段，請注意其從 3.18 版開始提供內建 Teradata 驅動程式。 您不需要手動安裝任何驅動程式。 驅動程式需要自我裝載整合執行階段電腦上具備「Visual C++ 可轉散發套件 2012 Update 4」。 如果尚未安裝，請從這裡下載。

開始使用

若要透過管線執行複製活動，您可以使用下列其中一個工具或 SDK：

• 資料複製工具
• Azure 入口網站
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager 範本

使用 UI 建立與 Teradata 的連結服務

使用下列步驟，在 Azure 入口網站 UI 中建立連結至 Teradata 的服務。

1. 前往 Azure Data Factory 或 Synapse 工作區的 [管理] 索引標籤，選取 [連結服務]，然後按一下 [新增]：

   • Azure Data Factory
   • Azure Synapse

   

2. 搜尋 Teradata 然後選取 Teradata 連接器。

   

3. 設定服務詳細資料，測試連線，然後建立新的連結服務。

   

連接器設定詳細資料

下列各節提供屬性的相關詳細資料，這些屬性是用來定義 Teradata 連接器專屬的 Data Factory 實體。

連結服務屬性

Teradata 連結服務支援下列屬性：

您可以針對每個案例在連接字串中設定更多連線屬性：

使用基本驗證的範例

{
    "name": "TeradataLinkedService",
    "properties": {
        "type": "Teradata",
        "typeProperties": {
            "connectionString": "DBCName=<server>;Uid=<username>;Pwd=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

使用 Windows 驗證的範例

{
    "name": "TeradataLinkedService",
    "properties": {
        "type": "Teradata",
        "typeProperties": {
            "connectionString": "DBCName=<server>",
            "username": "<username>",
            "password": "<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

使用 LDAP 驗證的範例

{
    "name": "TeradataLinkedService",
    "properties": {
        "type": "Teradata",
        "typeProperties": {
            "connectionString": "DBCName=<server>;MechanismName=LDAP;Uid=<username>;Pwd=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

先前的承載：

{
    "name": "TeradataLinkedService",
    "properties": {
        "type": "Teradata",
        "typeProperties": {
            "server": "<server>",
            "authenticationType": "<Basic/Windows>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

資料集屬性

本節提供 Teradata 資料集所支援的屬性清單。 如需定義資料集的區段和屬性完整清單，請參閱資料集。

若要從 Teradata 複製資料，以下是支援的屬性：

範例：

{
    "name": "TeradataDataset",
    "properties": {
        "type": "TeradataTable",
        "typeProperties": {},
        "schema": [],        
        "linkedServiceName": {
            "referenceName": "<Teradata linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

先前的承載：

{
    "name": "TeradataDataset",
    "properties": {
        "type": "RelationalTable",
        "linkedServiceName": {
            "referenceName": "<Teradata linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {}
    }
}

複製活動屬性

本節提供 Teradata 來源所支援的屬性清單。 如需可用來定義活動的區段和屬性完整清單，請參閱管線。

Teradata 作為來源

若要從 Teradata 複製資料，複製活動 [來源] 區段中支援下列屬性：

範例：使用不含分割區的基本查詢來複製資料

"activities":[
    {
        "name": "CopyFromTeradata",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Teradata input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "TeradataSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

從 Teradata 平行複製

Teradata 連接器提供內建的資料分割，以從 Teradata 平行複製資料。 您可以在複製活動的 [來源] 資料表上找到資料分割選項。

當您啟用分割複本時，服務會平行查詢 Teradata 來源，以依分割區來載入資料。 平行程度由複製活動的 parallelCopies 設定所控制。 例如，如果您將 parallelCopies 設定為 4，服務會根據您指定的資料分割選項和設定，同時產生並執行四個查詢，而每個查詢會從 Teradata 資料庫取取出一部分資料。

建議您啟用平行複製與資料分割，特別是從 Teradata 載入大量資料時。 以下針對各種情節的建議設定。 將資料複製到以檔案為基礎的資料存放區時，建議分成多個檔案來寫入資料夾 (僅指定資料夾名稱)，這樣效能會比寫入單一檔案更好。

範例：使用雜湊分割區的查詢

"source": {
    "type": "TeradataSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfHashPartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "Hash",
    "partitionSettings": {
        "partitionColumnName": "<hash_partition_column_name>"
    }
}

範例：使用動態範圍分割進行查詢

"source": {
    "type": "TeradataSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<dynamic_range_partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Teradata 的資料類型對應

當您從 Teradata 複製資料時，下列對應會從 Teradata 的資料類型套用至服務所使用的內部資料類型。 若要了解複製活動如何將來源結構描述和資料類型對應至接收，請參閱結構描述和資料類型對應。

查閱活動屬性

若要了解屬性的詳細資料，請參閱查閱活動。

相關內容

如需複製活動支援作為來源和接收器的資料存放區清單，請參閱支援的資料存放區。