Copiare e trasformare i dati in Database di Azure per MySQL usando Azure Data Factory o Synapse Analytics

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Questo articolo illustra come usare l'attività Copy nelle pipeline di Azure Data Factory o Synapse Analytics per copiare i dati da e in Database di Azure per MySQL, e usare Flusso di dati per trasformare i dati in Database di Azure per MySQL. Per altre informazioni, vedere gli articoli introduttivi per Azure Data Factory e Synapse Analytics.

Questo connettore è specializzato per

• Server singolo del Database di Azure per MySQL
• Server flessibile di Database di Azure per MySQL

Per copiare i dati da un database MySQL generico in locale o nel cloud, usare il Connettore MySQL.

Prerequisiti

Questo avvio rapido richiede le risorse e la configurazione indicate di seguito come punto di partenza:

• Un server singolo di Database di Azure per MySQL o un server flessibile MySQL esistente con accesso pubblico o endpoint privato.
• Abilitare Consentire l'accesso pubblico da qualsiasi servizio Azure all'interno di Azure a questo server nella pagina di rete del server MySQL . Ciò consentirà di usare Studio di Data Factory.

Funzionalità supportate

Questo connettore di Database di Azure per MySQL è supportato per le funzionalità seguenti:

① Runtime di integrazione di Azure ② Runtime di integrazione self-hosted

Introduzione

Per eseguire l'attività di copia con una pipeline, è possibile usare uno degli strumenti o SDK seguenti:

• Strumento Copia dati
• Il portale di Azure
• .NET SDK
• SDK di Python
• Azure PowerShell
• API REST
• Modello di Azure Resource Manager

Creare un servizio collegato a Database di Azure per MySQL usando l'interfaccia utente

Usare la procedura seguente per creare un servizio collegato a Database di Azure per MySQL nell'interfaccia utente del portale di Azure.

1. Passare alla scheda Gestisci nell'area di lavoro di Azure Data Factory o Synapse e selezionare Servizi collegati, quindi fare clic su Nuovo:

   • Azure Data Factory
   • Azure Synapse

   

2. Cercare MySQL e selezionare il connettore Database di Azure per MySQL.

   

3. Configurare i dettagli del servizio, testare la connessione e creare il nuovo servizio collegato.

   

Dettagli di configurazione del connettore

Le sezioni seguenti riportano informazioni dettagliate sulle proprietà usate per definire entità di data factory specifiche in un connettore del database Azure per MySQL.

Proprietà del servizio collegato

Per il servizio collegato del database di Azure per MySQL sono supportate le proprietà seguenti:

Una stringa di connessione tipica è Server=<server>.mysql.database.azure.com;Port=<port>;Database=<database>;UID=<username>;PWD=<password>. Altre proprietà che è possibile impostare per il case:

Esempio:

{
    "name": "AzureDatabaseForMySQLLinkedService",
    "properties": {
        "type": "AzureMySql",
        "typeProperties": {
            "connectionString": "Server=<server>.mysql.database.azure.com;Port=<port>;Database=<database>;UID=<username>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Esempio: archiviare la password in Azure Key Vault

{
    "name": "AzureDatabaseForMySQLLinkedService",
    "properties": {
        "type": "AzureMySql",
        "typeProperties": {
            "connectionString": "Server=<server>.mysql.database.azure.com;Port=<port>;Database=<database>;UID=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Proprietà del set di dati

Per un elenco completo delle sezioni e delle proprietà disponibili per la definizione di set di dati, vedere l'articolo sui set di dati. Questa sezione presenta un elenco delle proprietà supportate dal set di dati del database di Azure per MySQL.

Per copiare dati dal database di Azure per MySQL, impostare la proprietà type del set di dati su AzureMySqlTable. Sono supportate le proprietà seguenti:

Esempio

{
    "name": "AzureMySQLDataset",
    "properties": {
        "type": "AzureMySqlTable",
        "linkedServiceName": {
            "referenceName": "<Azure MySQL linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "<table name>"
        }
    }
}

Proprietà dell'attività di copia

Per un elenco completo delle sezioni e delle proprietà disponibili per la definizione delle attività, vedere l'articolo sulle pipeline. Questa sezione offre un elenco delle proprietà supportate da origine e sink di Database di Azure per MySQL.

Database di Azure per MySQL come origine

Per copiare i dati da Database di Azure per MySQL, sono supportate le proprietà seguenti nella sezione source dell'attività Copy:

Esempio:

"activities":[
    {
        "name": "CopyFromAzureDatabaseForMySQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure MySQL input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureMySqlSource",
                "query": "<custom query e.g. SELECT * FROM MyTable>"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Database di Azure per MySQL come sink

Per copiare i dati in Database di Azure per MySQL, nella sezione sink dell'attività di copia sono supportate le proprietà seguenti:

Esempio:

"activities":[
    {
        "name": "CopyToAzureDatabaseForMySQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure MySQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureMySqlSink",
                "preCopyScript": "<custom SQL script>",
                "writeBatchSize": 100000
            }
        }
    }
]

Proprietà del flusso di dati per mapping

Durante la trasformazione dei dati in un flusso di dati per mapping è possibile leggere e scrivere in tabelle di Database di Azure per MySQL. Per altre informazioni, vedere la trasformazione origine e la trasformazione sink nei flussi di dati per mapping. È possibile scegliere di usare un set di Database di Azure per MySQL o un set di dati inline come tipo di origine e sink.

Trasformazione origine

La tabella seguente elenca le proprietà supportate dall'origine di Database di Azure per MySQL. È possibile modificare queste proprietà nella scheda Opzioni origine.

Esempio di script di origine di Database di Azure per MySQL

Quando si usa Database di Azure per MySQL come tipo di origine, lo script del flusso di dati associato è:

source(allowSchemaDrift: true,
    validateSchema: false,
    isolationLevel: 'READ_UNCOMMITTED',
    query: 'select * from mytable',
    format: 'query') ~> AzureMySQLSource

Trasformazione sink

La tabella seguente elenca le proprietà supportate dal sink di Database di Azure per MySQL. È possibile modificare queste proprietà nella scheda Opzioni sink.

• Abilita estrazione incrementale: usare questa opzione per indicare ad Azure Data Factory di elaborare solo le righe modificate dall'ultima esecuzione della pipeline.

• Colonna incrementale: quando si usa la funzionalità di estrazione incrementale, è necessario scegliere la colonna data/ora o numerica da usare come filigrana nella tabella di origine.

• Iniziare a leggere dall'inizio: l'impostazione di questa opzione con l'estrazione incrementale indicherà ad ADF di leggere tutte le righe alla prima esecuzione di una pipeline con l'estrazione incrementale attivata.

Esempio di script di sink di Database di Azure per MySQL

Quando si usa Database di Azure per MySQL come tipo di sink, lo script del flusso di dati associato è:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    deletable:false,
    insertable:true,
    updateable:true,
    upsertable:true,
    keys:['keyColumn'],
    format: 'table',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureMySQLSink

Proprietà dell'attività Lookup

Per altre informazioni sulle proprietà, vedere Attività Lookup.

Mapping dei tipi di dati per il database di Azure per MySQL

Quando si copiano i dati dal Database di Azure per MySQL, vengono usati i mapping seguenti tra i tipi di dati MySQL e i tipi di dati provvisori usati internamente dal servizio. Vedere Mapping dello schema e del tipo di dati per informazioni su come l'attività di copia esegue il mapping dello schema di origine e del tipo di dati al sink.

Contenuto correlato

Per un elenco degli archivi dati supportati come origini e sink dall'attività Copy, vedere Archivi dati supportati.