Kopieren von Daten aus kompatiblem Amazon S3-Speicher mithilfe von Azure Data Factory oder Synapse Analytics

GILT FÜR: Azure Data Factory Azure Synapse Analytics

In diesem Artikel wird beschrieben, wie Sie Daten aus mit Amazon Simple Storage Service (Amazon S3) kompatiblem Speicher kopieren. Weitere Informationen finden Sie in den Einführungsartikeln zu Azure Data Factory und Azure Synapse Analytics.

Unterstützte Funktionen

Dieser Amazon S3-kompatible Speicher-Connector wird für die folgenden Funktionen unterstützt:

① Azure Integration Runtime ② Selbstgehostete Integration Runtime

Dieser Amazon S3-kompatible Storage-Connector unterstützt insbesondere das Kopieren von Dateien im jeweiligen Zustand oder das Analysieren von Dateien mit den unterstützten Dateiformaten und Codecs für die Komprimierung. Der Connector verwendet AWS Signatur Version 4 zum Authentifizieren von Anforderungen in S3. Mit diesem Amazon S3-kompatiblen Storage-Connector können Sie Daten von allen S3-kompatiblen Speicheranbietern kopieren. Geben Sie die entsprechende Dienst-URL in der Konfiguration des verknüpften Diensts an.

Erforderliche Berechtigungen

Um Daten aus Amazon S3-kompatiblem Speicher kopieren zu können, müssen Sie sicherstellen, dass Ihnen die folgenden Berechtigungen für Amazon S3-Objektvorgänge erteilt wurden: s3:GetObject und s3:GetObjectVersion.

Wenn Sie die Benutzeroberfläche für die Erstellung verwenden, sind zusätzliche s3:ListAllMyBuckets- und s3:ListBucket/s3:GetBucketLocation-Berechtigungen für Vorgänge wie das Testen der Verbindung mit dem verknüpften Dienst und das Durchsuchen aus dem Stammverzeichnis erforderlich. Wenn Sie diese Berechtigungen nicht erteilen möchten, können Sie auf der Benutzeroberfläche die Option zum Testen der Verbindung mit dem Dateipfad oder zum Durchsuchen vom angegebenen Pfad auswählen.

Die vollständige Liste der Amazon S3-Berechtigungen finden Sie unter Specifying Permissions in a Policy (Angeben von Berechtigungen in einer Richtlinie) auf der AWS-Website.

Erste Schritte

Sie können eines der folgenden Tools oder SDKs verwenden, um die Kopieraktivität mit einer Pipeline zu verwenden:

• Das Tool „Daten kopieren“
• Azure-Portal
• Das .NET SDK
• Das Python SDK
• Azure PowerShell
• Die REST-API
• Die Azure Resource Manager-Vorlage

Erstellen eines verknüpften Diensts mit dem kompatiblen Amazon S3-Speicher über die Benutzeroberfläche

Führen Sie die folgenden Schritte aus, um über die Benutzeroberfläche des Azure-Portals einen verknüpften Dienst für den kompatiblen Amazon S3-Speicher zu erstellen.

1. Navigieren Sie in Ihrem Azure Data Factory- oder Synapse-Arbeitsbereich zu der Registerkarte „Verwalten“, wählen Sie „Verknüpfte Dienste“ aus und klicken Sie dann auf „Neu“:

   • Azure Data Factory
   • Azure Synapse

   

2. Suchen Sie nach Amazon, und wählen Sie den Connector für „Amazon S3 Compatible Storage“ aus.

   

3. Konfigurieren Sie die Dienstdetails, testen Sie die Verbindung, und erstellen Sie den neuen verknüpften Dienst.

   

Details zur Connectorkonfiguration

In den folgenden Abschnitten finden Sie Details zu Eigenschaften, die zum Definieren von Entitäten verwendet werden, die für kompatiblen Amazon S3-Speicher spezifisch sind.

Eigenschaften des verknüpften Diensts

Für einen mit Amazon S3 kompatiblen verknüpften Dienst werden die folgenden Eigenschaften unterstützt:

Beispiel:

{
    "name": "AmazonS3CompatibleLinkedService",
    "properties": {
        "type": "AmazonS3Compatible",
        "typeProperties": {
            "accessKeyId": "<access key id>",
            "secretAccessKey": {
                "type": "SecureString",
                "value": "<secret access key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Dataset-Eigenschaften

Eine vollständige Liste mit den Abschnitten und Eigenschaften, die zum Definieren von Datasets zur Verfügung stehen, finden Sie im Artikel zu Datasets.

Azure Data Factory unterstützt die folgenden Dateiformate. Informationen zu formatbasierten Einstellungen finden Sie in den jeweiligen Artikeln.

• Avro-Format
• Binärformat
• Textformat mit Trennzeichen
• Excel-Format
• JSON-Format
• ORC-Format
• Parquet-Format
• XML-Format

Die folgenden Eigenschaften werden für Amazon S3-kompatiblen Speicher unter location-Einstellungen in einem formatbasierten Dataset unterstützt:

Beispiel:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Amazon S3 Compatible Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AmazonS3CompatibleLocation",
                "bucketName": "bucketname",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Eigenschaften der Kopieraktivität

Eine vollständige Liste mit den Abschnitten und Eigenschaften zum Definieren von Aktivitäten finden Sie im Artikel Pipelines. In diesem Abschnitt finden Sie eine Liste der Eigenschaften, die von der Amazon S3-kompatiblen Speicherquelle unterstützt werden.

Amazon S3-kompatibler Speicher als Quelltyp

Azure Data Factory unterstützt die folgenden Dateiformate. Informationen zu formatbasierten Einstellungen finden Sie in den jeweiligen Artikeln.

• Avro-Format
• Binärformat
• Textformat mit Trennzeichen
• Excel-Format
• JSON-Format
• ORC-Format
• Parquet-Format
• XML-Format

Die folgenden Eigenschaften werden für Amazon S3-kompatiblen Speicher unter storeSettings-Einstellungen in einer formatbasierten Kopierquelle unterstützt:

Beispiel:

"activities":[
    {
        "name": "CopyFromAmazonS3CompatibleStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AmazonS3CompatibleReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Beispiele für Ordner- und Dateifilter

Dieser Abschnitt beschreibt das sich ergebende Verhalten für den Ordnerpfad und den Dateinamen mit Platzhalterfiltern.

Beispiele für Dateilisten

In diesem Abschnitt wird das resultierende Verhalten beschrieben, wenn ein Dateilistenpfad in der Quelle einer Kopieraktivität verwendet wird.

Angenommen, Sie haben die folgende Quellordnerstruktur und möchten die Dateien kopieren, deren Namen fett formatiert sind:

Eigenschaften der Lookup-Aktivität

Ausführliche Informationen zu den Eigenschaften finden Sie unter Lookup-Aktivität.

Eigenschaften der GetMetadata-Aktivität

Ausführliche Informationen zu den Eigenschaften finden Sie unter GetMetadata-Aktivität.

Eigenschaften der Delete-Aktivität

Ausführliche Informationen zu den Eigenschaften finden Sie unter Delete-Aktivität.

Zugehöriger Inhalt

Eine Liste der Datenspeicher, die diese Kopieraktivität als Quellen und Senken unterstützt, finden Sie unter Unterstützte Datenspeicher.