使用 Azure Data Factory 或 Synapse Analytics 複製 Cassandra 的資料

適用於：Azure Data Factory Azure Synapse Analytics

本文概述如何使用 Azure Data Factory 或 Synapse Analytics 管線中的複製活動，從 Cassandra 資料庫複製資料。 本文是根據複製活動概觀一文，該文提供複製活動的一般概觀。

支援的功能

下列功能支援此 Cassandra 連接器：

① Azure 整合執行階段 ② 自我裝載整合執行階段

如需支援做為來源/接收器的資料存放區清單，請參閱支援的資料存放區表格。

具體而言，此 Cassandra 連接器支援：

• Cassandra 2.x 版和 3.x 版。
• 使用 Basic (基本) 或 Anonymous (匿名) 驗證來複製資料。

必要條件

如果您的資料存放區位於內部部署網路、Azure 虛擬網路或 Amazon 虛擬私人雲端中，則必須設定自我裝載整合執行階段以與其連線。

如果您的資料存放區是受控雲端資料服務，則可使用 Azure Integration Runtime。 如果只能存取防火牆規則中核准的 IP，您可以將 Azure Integration Runtime IP 新增至允許清單。

您也可以使用 Azure Data Factory 中的受控虛擬網路整合執行階段功能來存取內部部署網路，而不需要安裝和設定自我裝載整合執行階段。

如需 Data Factory 支援的網路安全性機制和選項的詳細資訊，請參閱資料存取策略。

「整合執行階段」提供內建的 Cassandra 驅動程式，因此從 Cassandra 複製資料或將資料複製到該處時，您不需要手動安裝任何驅動程式。

開始使用

若要透過管線執行複製活動，您可以使用下列其中一個工具或 SDK：

• 資料複製工具
• Azure 入口網站
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager 範本

使用 UI 建立連至 Cassandra 的連結服務

使用下列步驟，在 Azure 入口網站 UI 中建立連至 Cassandra 的連結服務。

1. 前往 Azure Data Factory 或 Synapse 工作區的 [管理] 索引標籤，選取 [連結服務]，然後按一下 [新增]：

   • Azure Data Factory
   • Azure Synapse

   

2. 搜尋 Cassandra，然後選取 Cassandra 連接器。

   

3. 設定服務詳細資料，測試連線，然後建立新的連結服務。

   

連接器設定詳細資料

下列各節提供屬性的相關詳細資料，這些屬性是用來定義 Cassandra 連接器專屬的 Data Factory 實體。

連結服務屬性

以下是針對 Cassandra 連結服務支援的屬性：

範例：

{
    "name": "CassandraLinkedService",
    "properties": {
        "type": "Cassandra",
        "typeProperties": {
            "host": "<host>",
            "authenticationType": "Basic",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

資料集屬性

如需可用來定義資料集的區段和屬性完整清單，請參閱資料集一文。 本節提供 Cassandra 資料集所支援的屬性清單。

若要從 Cassandra 複製資料，請將資料集的類型屬性設定為 CassandraTable。 以下是支援的屬性：

範例：

{
    "name": "CassandraDataset",
    "properties": {
        "type": "CassandraTable",
        "typeProperties": {
            "keySpace": "<keyspace name>",
            "tableName": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Cassandra linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

複製活動屬性

如需可用來定義活動的區段和屬性完整清單，請參閱管線一文。 本節提供 Cassandra 來源所支援的屬性清單。

Cassandra 作為來源

若要從 Cassandra 複製資料，請將複製活動中的來源類型設定為 CassandraSource。 複製活動的 source 區段支援下列屬性：

範例：

"activities":[
    {
        "name": "CopyFromCassandra",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Cassandra input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "CassandraSource",
                "query": "select id, firstname, lastname from mykeyspace.mytable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Cassandra 的資料類型對應

從 Cassandra 複製資料時，會使用下列對應，從 Cassandra 資料類型對應到服務內部使用的過渡資料類型。 請參閱結構描述和資料類型對應，以了解複製活動如何將來源結構描述和資料類型對應至接收器。

使用虛擬資料表處理集合

服務會使用內建的 ODBC 驅動程式來連線到 Cassandra 資料庫並從中複製資料。 針對包含對應、集和清單在內的集合類型，此驅動程式會將資料重新標準化為對應的虛擬資料表。 具體來說，如果資料表包含任何集合資料行，則此驅動程式會產生下列虛擬資料表︰

• 基底資料表，其中包含與實際資料表相同的資料 (集合資料行除外)。 基底資料表使用與它所代表的實際資料表相同的名稱。
• 每個集合資料行的 虛擬資料表 ，以展開巢狀資料。 代表集合的虛擬資料表會使用實際資料表名稱、分隔字元「vt」和資料行名稱來命名。

虛擬資料表會參考實際資料表中的資料，讓驅動程式能存取反正規化的資料。 如需詳細資訊，請參閱＜範例＞一節。 您可以藉由查詢和聯結虛擬資料表來存取 Cassandra 集合的內容。

範例

例如，以下的「ExampleTable」就是 Cassandra 資料庫資料表，其中包含名為「pk_int」的整數主索引鍵資料行、名為「值」的文字資料行、「清單」資料行、「對應」資料行和「集」資料行 (名為「StringSet」)。

驅動程式會產生多個代表這個單一資料表的虛擬資料表。 虛擬資料表中的外部索引鍵資料行會參考實際資料表中的主索引鍵資料行，並指出虛擬資料表資料列所對應的實際資料表資料列。

第一個虛擬資料表是名為「ExampleTable」的基底資料表，如下表所示：

基底資料表包含與原始資料庫資料表相同的資料，但集合除外，集合會被此資料表省略，而在其他虛擬資料表中展開。

下表顯示會重新標準化「清單」、「對應」與「StringSet」資料行中資料的虛擬資料表。 名稱結尾為「_index」或「_key」的資料行代表資料在原始清單或對應內的位置。 名稱結尾為「_value」的資料行包含從集合展開的資料。

資料表「ExampleTable_vt_List」：

資料表「ExampleTable_vt_Map」：

資料表「ExampleTable_vt_StringSet」：

查閱活動屬性

若要了解屬性的詳細資料，請參閱查閱活動。

相關內容

如需複製活動支援作為來源和接收器的資料存放區清單，請參閱支援的資料存放區。