Azure Data Factory 和 Synapse Analytics 中的 ORC 格式

適用於：Azure Data Factory Azure Synapse Analytics

當您想要剖析 ORC 檔案或將資料寫入 ORC 格式時，請遵循本文內容來進行作業。

下列連接器可支援 ORC 格式：Amazon S3、Amazon S3 相容儲存體、Azure Blob、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2、Azure 檔案儲存體、檔案系統、FTP、Google Cloud Storage、HDFS、HTTP、Oracle Cloud Storage 和 SFTP。

資料集屬性

如需可用來定義資料集的區段和屬性完整清單，請參閱資料集一文。 本節提供 ORC 資料集所支援的屬性清單。

以下是 Azure Blob 儲存體上的 ORC 資料集範例：

{
    "name": "OrcDataset",
    "properties": {
        "type": "Orc",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

請注意下列幾點：

• 目前僅資料流程可支援複雜資料類型 (例如 MAP、LIST、STRUCT)，複製活動則不支援。 若要在資料流程中使用複雜類型，請勿在資料集中匯入檔案結構描述，並在資料集中將結構描述留白。 然後，在 [來源] 轉換中匯入投影。
• 不支援資料行名稱中的空白字元。

複製活動屬性

如需可用來定義活動的區段和屬性完整清單，請參閱管線一文。 本節提供 ORC 來源和接收器支援的屬性清單。

將 ORC 作為來源

複製活動的 [來源] 區段支援下列屬性。

將 ORC 作為接收器

複製活動的 [接收] 區段支援下列屬性。

formatSettings 底下的支援 ORC 寫入設定：

對應資料流程屬性

在對應資料流中，您可以在下列資料存放區讀取和寫入 ORC 格式：Azure Blob 儲存體、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2 和 SFTP，且您可以在 Amazon S3 中讀取 ORC 格式。

您可以使用 ORC 資料集或內嵌資料集來指向 ORC 檔案。

來源屬性

下表列出 ORC 來源支援的屬性。 您可以在 [來源選項] 索引標籤中編輯這些屬性。

使用內嵌資料集時，您會看到其他檔案設定，其與資料集屬性一節所述的屬性相同。

來源範例

與 ORC 來源設定相關的資料流程指令碼為：

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'orc') ~> OrcSource

接收屬性

下表列出 ORC 接收器支援的屬性。 您可以在 [設定] 索引標籤中編輯這些屬性。

使用內嵌資料集時，您會看到其他檔案設定，其與資料集屬性一節所述的屬性相同。

接收器範例

ORC 接收器設定相關的資料流程指令碼如下：

OrcSource sink(
    format: 'orc',
    filePattern:'output[n].orc',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> OrcSink

使用自我裝載整合執行階段

針對在自我裝載 IR 上搭配 ORC 檔案序列化/還原序列化來執行的複製，服務會找出 JAVA 執行階段，方法是先檢查登錄 (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome)是否有 JRE，如果找不到，就接著檢查系統變數JAVA_HOME是否有 OpenJDK。

• 若要使用 JRE：64 位元 IR 需要 64 位元 JRE。 您可以從這裡找到該程式。
• 使用 OpenJDK：自 IR 3.13 版開始便可支援。 請將 jvm.dll 與所有其他必要的 OpenJDK 組件一起封裝至自我裝載 IR 機器，然後相應地設定 JAVA_HOME 系統環境變數。
• 安裝 Visual C++ 2010 可轉散發套件：Visual C++ 2010 可轉散發套件未隨自我裝載 IR 安裝一併安裝。 您可以從這裡找到該程式。

範例：將變數 _JAVA_OPTIONS 的值設定為 -Xms256m -Xmx16g。 旗標 Xms 指定 JAVA 虛擬機器 (JVM) 的初始記憶體配置集區，而 Xmx 指定記憶體配置集區的最大值。 這表示 JVM 啟動時有 Xms 數量的記憶體，且最多可以使用 Xmx 數量的記憶體。 根據預設，服務的使用量下限為 64MB，上限為1G。

相關內容

• 複製活動概觀
• 查閱活動
• GetMetadata 活動