Azure Data Factory 및 Synapse Analytics를 사용하여 Azure Database for MySQL에서 데이터 복사 및 변환

적용 대상: Azure Data Factory Azure Synapse Analytics

이 문서에서는 Azure Data Factory 또는 Synapse Analytics 파이프라인에서 복사 작업을 사용하여 Azure Database for MySQL 간에 데이터를 복사하고 Data Flow를 사용하여 Azure Database for MySQL에서 데이터를 변환하는 방법을 간략하게 설명합니다. 자세한 내용은 Azure Data Factory 및 Synapse Analytics의 소개 문서를 참조하세요.

이 커넥터는 다음 전용입니다.

• Azure Database for MySQL 단일 서버
• MySQL용 Azure Database 유연한 서버

온-프레미스 또는 클라우드에 있는 일반 MySQL 데이터베이스에서 데이터를 복사하려면 MySQL 커넥터를 사용합니다.

필수 조건

이 빠른 시작에는 시작점으로 아래에 언급된 다음 리소스 및 구성이 필요합니다.

• 공용 액세스 또는 프라이빗 엔드포인트가 있는 MySQL 단일 서버 또는 MySQL 유연한 서버용 기존 Azure 데이터베이스.
• MySQL 서버의 네트워킹 페이지에서 Azure 내의 모든 Azure 서비스에서 이 서버로의 공용 액세스 허용을 활성화합니다. 이렇게 하면 데이터 팩터리 스튜디오를 사용할 수 있습니다.

지원되는 기능

이 Azure Database for MySQL 커넥터는 다음 기능에 대해 지원됩니다.

① Azure 통합 런타임 ② 자체 호스팅 통합 런타임

시작하기

파이프라인에 복사 작업을 수행하려면 다음 도구 또는 SDK 중 하나를 사용하면 됩니다.

• 데이터 복사 도구
• Azure Portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager 템플릿

UI를 사용하여 Azure Database for MySQL에 연결된 서비스 만들기

다음 단계를 사용하여 Azure Portal UI에서 Azure Database for MySQL에 연결된 서비스를 만듭니다.

1. Azure Data Factory 또는 Synapse 작업 영역에서 관리 탭으로 이동하여 연결된 서비스를 선택하고 새로 만들기를 클릭합니다.

   • Azure Data Factory
   • Azure Synapse

   

2. MySQL을 검색하고 Azure Database for MySQL 커넥터를 선택합니다.

   

3. 서비스 세부 정보를 구성하고, 연결을 테스트하고, 새로운 연결된 서비스를 만듭니다.

   

커넥터 구성 세부 정보

다음 섹션에서는 Azure Database for MySQL 커넥터에 한정된 Data Factory 엔터티를 정의하는 데 사용되는 속성에 대해 자세히 설명합니다.

연결된 서비스 속성

Azure Database for MySQL 연결된 서비스에 다음 속성이 지원됩니다.

일반적인 연결 문자열은 Server=<server>.mysql.database.azure.com;Port=<port>;Database=<database>;UID=<username>;PWD=<password>입니다. 사례에 따라 다음과 같은 더 많은 속성을 설정할 수 있습니다.

예제:

{
    "name": "AzureDatabaseForMySQLLinkedService",
    "properties": {
        "type": "AzureMySql",
        "typeProperties": {
            "connectionString": "Server=<server>.mysql.database.azure.com;Port=<port>;Database=<database>;UID=<username>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

예제: Azure Key Vault에 암호 저장

{
    "name": "AzureDatabaseForMySQLLinkedService",
    "properties": {
        "type": "AzureMySql",
        "typeProperties": {
            "connectionString": "Server=<server>.mysql.database.azure.com;Port=<port>;Database=<database>;UID=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

데이터 세트 속성

데이터 세트 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 데이터 세트 문서를 참조하세요. 이 섹션에서는 Azure Database for MySQL 데이터 세트에서 지원하는 속성의 목록을 제공합니다.

Azure Database for MySQL에서 데이터를 복사하려면 데이터 세트의 형식 속성을 AzureMySqlTable로 설정합니다. 다음과 같은 속성이 지원됩니다.

예제

{
    "name": "AzureMySQLDataset",
    "properties": {
        "type": "AzureMySqlTable",
        "linkedServiceName": {
            "referenceName": "<Azure MySQL linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "<table name>"
        }
    }
}

복사 작업 속성

작업 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 파이프라인 문서를 참조하세요. 이 섹션에서는 Azure Database for MySQL 원본 및 싱크에서 지원하는 속성의 목록을 제공합니다.

Azure Database for MySQL을 원본으로

Azure Database for MySQL에서 데이터를 복사하기 위해 복사 작업 원본 섹션에서 지원하는 속성은 다음과 같습니다.

예제:

"activities":[
    {
        "name": "CopyFromAzureDatabaseForMySQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure MySQL input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureMySqlSource",
                "query": "<custom query e.g. SELECT * FROM MyTable>"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Database for MySQL을 싱크로

Azure Database for MySQL로 데이터를 복사하기 위해 복사 작업 싱크 섹션에서 지원하는 속성은 다음과 같습니다.

예제:

"activities":[
    {
        "name": "CopyToAzureDatabaseForMySQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure MySQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureMySqlSink",
                "preCopyScript": "<custom SQL script>",
                "writeBatchSize": 100000
            }
        }
    }
]

매핑 데이터 흐름 속성

매핑 데이터 흐름에서 데이터를 변환하는 경우 Azure Database for MySQL에서 테이블에 대한 읽기 및 쓰기를 수행할 수 있습니다. 자세한 내용은 매핑 데이터 흐름에서 원본 변환 및 싱크 변환을 참조하세요. Azure Database for MySQL 데이터 세트 또는 인라인 데이터 세트를 원본 및 싱크 형식으로 사용하도록 선택할 수 있습니다.

원본 변환

다음 표에서는 Azure Database for MySQL 원본에서 지원하는 속성을 나열합니다. 이러한 속성은 원본 옵션 탭에서 편집할 수 있습니다.

Azure Database for MySQL 원본 스크립트 예

Azure Database for MySQL을 원본 형식으로 사용하는 경우 연결된 데이터 흐름 스크립트는 다음과 같습니다.

source(allowSchemaDrift: true,
    validateSchema: false,
    isolationLevel: 'READ_UNCOMMITTED',
    query: 'select * from mytable',
    format: 'query') ~> AzureMySQLSource

싱크 변환

다음 표에서는 Azure Database for MySQL 싱크에서 지원하는 속성을 나열합니다. 해당 속성은 싱크 옵션 탭에서 편집할 수 있습니다.

• 증분 추출 사용: 이 옵션을 사용하여 파이프라인이 마지막으로 실행된 이후 변경된 행만 처리하도록 ADF에 지시합니다.

• 증분 열: 증분 추출 기능을 사용하는 경우 원본 테이블에서 워터마크로 사용할 날짜/시간 또는 숫자 열을 선택해야 합니다.

• 처음부터 읽기 시작: 증분 추출을 사용하여 이 옵션을 설정하면 증분 추출이 켜진 파이프라인의 첫 번째 실행 시 모든 행을 읽도록 ADF에 지시합니다.

Azure Database for MySQL 싱크 스크립트 예

Azure Database for MySQL을 싱크 형식으로 사용하는 경우 연결된 데이터 흐름 스크립트는 다음과 같습니다.

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    deletable:false,
    insertable:true,
    updateable:true,
    upsertable:true,
    keys:['keyColumn'],
    format: 'table',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureMySQLSink

조회 작업 속성

속성에 대한 자세한 내용을 보려면 조회 작업을 확인하세요.

Azure Database for MySQL의 데이터 형식 매핑

Azure Database for MySQL에서 데이터를 복사할 때 MySQL 데이터 형식에서 서비스 내에 내부적으로 사용되는 중간 데이터 형식으로 다음 매핑이 사용됩니다. 복사 작업에서 원본 스키마 및 데이터 형식을 싱크에 매핑하는 방법에 대한 자세한 내용은 스키마 및 데이터 형식 매핑을 참조하세요.

관련 콘텐츠

복사 작업에서 원본 및 싱크로 지원되는 데이터 저장소 목록은 지원되는 데이터 저장소를 참조하세요.