Azure Data Factory 和 Azure Synapse Analytics 中的 Parquet 格式

適用於：Azure Data Factory Azure Synapse Analytics

當您想要剖析 Parquet 檔案或將資料寫入 Parquet 格式時，請遵循本文內容來進行作業。

下列連接器支援 Parquet 格式：

• Amazon S3
• Amazon S3 相容儲存體
• Azure Blob
• Azure Data Lake Storage Gen1
• Azure Data Lake Storage Gen2 \(部分機器翻譯\)
• Azure 檔案
• 檔案系統
• FTP
• Google Cloud Storage
• HDFS
• HTTP
• Oracle 雲端儲存空間
• SFTP

如需所有可用連接器的支援功能清單，請造訪連接器概觀一文。

使用自我裝載整合執行階段

針對在自我裝載 IR 上搭配 Parquet 檔案序列化/還原序列化來執行的複製，服務會找出 JAVA 執行階段，方法是先檢查登錄 (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome)是否有 JRE，如果找不到，就接著檢查系統變數JAVA_HOME是否有 OpenJDK。

• 若要使用 JRE：64 位元 IR 需要 64 位元 JRE。 您可以從這裡找到該程式。
• 若要使用 JDK：64 位但 IR 需要 64 位 JDK 23。 您可以從這裡找到該程式。 請務必將 JAVA_HOME 系統變數更新為 JDK 23 安裝根資料夾，亦即 C:\Program Files\Java\jdk-23，並將路徑新增至 C:\Program Files\Java\jdk-23\bin 和 C:\Program Files\Java\jdk-23\bin\server 資料夾至 Path 系統變數。
• 使用 OpenJDK：自 IR 3.13 版開始便可支援。 請將 jvm.dll 與所有其他必要的 OpenJDK 組件一起封裝至自我裝載 IR 機器，然後相應地設定 JAVA_HOME 系統環境變數，然後重新啟動自我裝載 IR 以立即生效。 若要下載 OpenJDK Microsoft組建，請參閱 Microsoft OpenJDK™ 的組建。

範例：將變數 _JAVA_OPTIONS 的值設定為 -Xms256m -Xmx16g。 旗標 Xms 指定 JAVA 虛擬機器 (JVM) 的初始記憶體配置集區，而 Xmx 指定記憶體配置集區的最大值。 這表示 JVM 啟動時有 Xms 數量的記憶體，且最多可以使用 Xmx 數量的記憶體。 根據預設，服務的使用量下限為 64MB，上限為1G。

資料集屬性

如需可用來定義資料集的區段和屬性完整清單，請參閱資料集一文。 本節提供 Parquet 資料集所支援的屬性清單。

以下是 Azure Blob 儲存體上的 Parquet 資料集範例：

{
    "name": "ParquetDataset",
    "properties": {
        "type": "Parquet",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compressionCodec": "snappy"
        }
    }
}

複製活動屬性

如需可用來定義活動的區段和屬性完整清單，請參閱管線一文。 本節提供 Parquet 來源和接收器支援的屬性清單。

Parquet 作為來源

複製活動的 [來源] 區段支援下列屬性。

Parquet 作為接收器

複製活動的 [接收] 區段支援下列屬性。

formatSettings 底下支援的 Parquet 寫入設定：

對應資料流程屬性

在對應資料流程中，您可以在下列資料存放區讀取和寫入 parquet 格式：Azure Blob 儲存體、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2 和 SFTP，且您可以在 Amazon S3 中讀取 parquet 格式。

來源屬性

下表列出 parquet 來源所支援的屬性。 您可以在 [來源選項] 索引標籤中編輯這些屬性。

來源範例

下圖是在對應資料流中 parquet 來源設定的範例。

相關的資料流程指令碼：

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'parquet') ~> ParquetSource

接收屬性

下表列出 parquet 接收器所支援的屬性。 您可以在 [設定] 索引標籤中編輯這些屬性。

接收器範例

下圖是在對應資料流中 parquet 接收器設定的範例。

相關的資料流程指令碼：

ParquetSource sink(
    format: 'parquet',
    filePattern:'output[n].parquet',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> ParquetSink

資料類型支援

目前僅資料流程可支援 Parquet 複雜資料類型 (例如 MAP、LIST、STRUCT)，複製活動則不支援。 若要在資料流程中使用複雜類型，請勿在資料集中匯入檔案結構描述，並在資料集中將結構描述留白。 然後，在 [來源] 轉換中匯入投影。

相關內容

• 複製活動概觀
• 對應資料流程
• 查閱活動
• GetMetadata 活動