ORC-format i Azure Data Factory och Synapse Analytics

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Följ den här artikeln när du vill parsa ORC-filerna eller skriva data i ORC-format.

ORC-format stöds för följande anslutningsappar: Amazon S3, Amazon S3 Compatible Storage, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Files, File System, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage och SFTP.

Egenskaper för datauppsättning

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera datauppsättningar finns i artikeln Datauppsättningar . Det här avsnittet innehåller en lista över egenskaper som stöds av ORC-datauppsättningen.

Nedan visas ett exempel på ORC-datauppsättning i Azure Blob Storage:

{
    "name": "OrcDataset",
    "properties": {
        "type": "Orc",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Observera följande:

• Komplexa datatyper (t.ex. MAP, LIST, STRUCT) stöds för närvarande endast i Dataflöde, inte i Kopieringsaktivitet. Om du vill använda komplexa typer i dataflöden ska du inte importera filschemat i datauppsättningen och lämna schemat tomt i datauppsättningen. Importera sedan projektionen i källtransformeringen.
• Tomt utrymme i kolumnnamnet stöds inte.

Kopiera egenskaper för aktivitet

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera aktiviteter finns i artikeln Pipelines . Det här avsnittet innehåller en lista över egenskaper som stöds av ORC-källan och mottagaren.

ORC som källa

Följande egenskaper stöds i avsnittet kopieringsaktivitet *källa* .

ORC som mottagare

Följande egenskaper stöds i avsnittet kopieringsaktivitet *mottagare* .

Orc-skrivinställningar som stöds under formatSettings:

Mappa dataflödesegenskaper

När du mappar dataflöden kan du läsa och skriva till ORC-format i följande datalager: Azure Blob Storage, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 och SFTP, och du kan läsa ORC-format i Amazon S3.

Du kan peka på ORC-filer antingen med orc-datauppsättningen eller med hjälp av en infogad datauppsättning.

Källegenskaper

Tabellen nedan visar de egenskaper som stöds av en ORC-källa. Du kan redigera dessa egenskaper på fliken Källalternativ .

När du använder infogad datauppsättning visas ytterligare filinställningar, som är samma som egenskaperna som beskrivs i avsnittet egenskaper för datamängd.

Källexempel

Det associerade dataflödesskriptet för en ORC-källkonfiguration är:

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'orc') ~> OrcSource

Egenskaper för mottagare

Tabellen nedan visar de egenskaper som stöds av en ORC-mottagare. Du kan redigera de här egenskaperna på fliken Inställningar .

När du använder infogad datauppsättning visas ytterligare filinställningar, som är samma som egenskaperna som beskrivs i avsnittet egenskaper för datamängd.

Exempel på mottagare

Det associerade dataflödesskriptet för en ORC-mottagarkonfiguration är:

OrcSource sink(
    format: 'orc',
    filePattern:'output[n].orc',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> OrcSink

Använda lokalt installerad integrationskörning

För kopiering som körs på lokalt installerad IR med ORC-filserialisering/deserialisering letar tjänsten upp Java-körningen genom att först kontrollera registret (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) för JRE, om det inte hittas, för det andra genom att kontrollera systemvariabeln JAVA_HOME för OpenJDK.

• För att kunna använda JRE: 64-bitars IR kräver 64-bitars JRE. Du hittar den härifrån.
• Så här använder du OpenJDK: Det stöds sedan IR version 3.13. Paketera jvm.dll med alla andra nödvändiga sammansättningar av OpenJDK till en lokalt installerad IR-dator och ange JAVA_HOME i enlighet med detta.
• Installera Visual C++ 2010 Redistributable Package: Visual C++ 2010 Redistributable Package är inte installerat med lokalt installerad IR-installation. Du hittar den härifrån.

Exempel: ange variabel med _JAVA_OPTIONS värdet -Xms256m -Xmx16g. Flaggan Xms anger den första minnesallokeringspoolen för en virtuell Java-dator (JVM) och Xmx anger den maximala minnesallokeringspoolen. Det innebär att JVM startas med Xms mycket minne och kan använda maximalt Xmx mycket minne. Som standard använder tjänsten min 64 MB och max 1G.

Relaterat innehåll

• aktiviteten Kopiera översikt
• Sökningsaktivitet
• GetMetadata-aktivitet