Azure Data Factory 또는 Azure Synapse Analytics를 사용하여 Oracle 간에 데이터 복사

적용 대상: Azure Data Factory Azure Synapse Analytics

이 문서에서는 Azure Data Factory의 복사 작업을 사용하여 Oracle 데이터베이스 간에 데이터를 복사하는 방법을 간략하게 설명합니다. 복사 작업 개요를 기반으로 빌드됩니다.

지원되는 기능

이 Oracle 커넥터는 다음과 같은 기능에 지원됩니다.

① Azure 통합 런타임 ② 자체 호스팅 통합 런타임

복사 작업의 원본 또는 싱크로 지원되는 데이터 저장소 목록은 지원되는 데이터 저장소 표를 참조하세요.

특히 이 Oracle 커넥터는 다음을 지원합니다.

• Oracle 데이터베이스의 다음 버전:
  • Oracle 19c R1 (19.1) 이상
  • Oracle 18c R1 (18.1) 이상
  • Oracle 12c R1 (12.1) 이상
  • Oracle 11c R1 (11.1) 이상
  • Oracle 10c R1 (10.1) 이상
  • Oracle 9i R2 (9.2) 이상
  • Oracle 8i R3 (8.1.7) 이상
  • Oracle Database Cloud Exadata Service
• Oracle 원본에서 병렬 복사. 자세한 내용은 Oracle에서 병렬 복사 섹션을 참조하세요.

필수 조건

데이터 저장소가 온-프레미스 네트워크, Azure 가상 네트워크 또는 Amazon Virtual Private Cloud 내에 있는 경우 자체 호스팅된 통합 런타임을 구성하여 연결해야 합니다.

데이터 저장소가 관리형 클라우드 데이터 서비스인 경우 Azure Integration Runtime을 사용할 수 있습니다. 액세스가 방화벽 규칙에서 승인된 IP로 제한되는 경우 허용 목록에 Azure Integration Runtime IP를 추가할 수 있습니다.

또한 Azure Data Factory의 관리형 가상 네트워크 통합 런타임 기능을 사용하면 자체 호스팅 통합 런타임을 설치하고 구성하지 않고도 온-프레미스 네트워크에 액세스할 수 있습니다.

Data Factory에서 지원하는 네트워크 보안 메커니즘 및 옵션에 대한 자세한 내용은 데이터 액세스 전략을 참조하세요.

통합 런타임은 기본 제공 Oracle 드라이버를 제공합니다. 따라서 Oracle 데이터 복사 작업에는 드라이버를 수동으로 설치할 필요가 없습니다.

시작하기

파이프라인에 복사 작업을 수행하려면 다음 도구 또는 SDK 중 하나를 사용하면 됩니다.

• 데이터 복사 도구
• Azure Portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager 템플릿

UI를 사용하여 Oracle에 연결된 서비스 만들기

다음 단계를 사용하여 Azure Portal UI에서 Oracle에 연결된 서비스를 만듭니다.

1. Azure Data Factory 또는 Synapse 작업 영역에서 관리 탭으로 이동하여 연결된 서비스를 선택하고 새로 만들기를 클릭합니다.

   • Azure Data Factory
   • Azure Synapse

   

2. Oracle을 검색하고 Oracle 커넥터를 선택합니다.

   

3. 서비스 세부 정보를 구성하고, 연결을 테스트하고, 새로운 연결된 서비스를 만듭니다.

   

커넥터 구성 세부 정보

다음 섹션에서는 Oracle 커넥터에 한정된 엔터티를 정의하는 데 사용되는 속성에 대해 자세히 설명합니다.

연결된 서비스 속성

Oracle 연결된 서비스는 다음 속성을 지원합니다.

장애 조치(failover) 시나리오에 대해 여러 Oracle 인스턴스가 있는 경우, Oracle 연결된 서비스를 만들고 기본 호스트, 포트, 사용자 이름, 암호 등을 입력한 다음 속성 이름을 AlternateServers로 하고 값을 (HostName=<secondary host>:PortNumber=<secondary port>:ServiceName=<secondary service name>)으로 하여 새 "추가 연결 속성"을 추가합니다. 이 때 괄호를 누락하지 않고 콜론(:)을 구분 기호로 사용하도록 합니다. 예를 들어 대체 서버 값 (HostName=AccountingOracleServer:PortNumber=1521:SID=Accounting,HostName=255.201.11.24:PortNumber=1522:ServiceName=ABackup.NA.MyCompany)는 연결 장애 조치(failover)를 위해 두 개의 대체 데이터베이스 서버를 정의합니다.

경우에 따라 연결 문자열에서 설정할 수 있는 추가 연결 속성이 있습니다.

Oracle 연결에서 암호화를 사용하도록 설정하려면 다음 두 가지 옵션이 있습니다.

• 3DES(Triple-DES Encryption) 및 AES(Advanced Encryption Standard)를 사용하려면 Oracle 서버 쪽에서 OAS(Oracle Advanced Security)로 이동하여 암호화 설정을 구성합니다. 자세한 내용은 이 Oracle 설명서를 참조하세요. Oracle ADF(Application Development Framework) 커넥터는 Oracle에 대한 연결을 설정할 때 OAS에서 구성한 암호화 메서드를 사용하도록 자동으로 협상합니다.

• TLS를 사용하려면 다음 세 가지 방법 중 하나를 적용하여 SSL 서버 인증에 대한 truststore를 설정합니다.

  • 방법 1(권장):

    1. TLS/SSL 인증서를 로컬 인증서 저장소로 가져와 설치합니다. 기본 제공 Oracle 드라이버는 인증서 저장소에서 필요한 인증서를 로드할 수 있습니다.

    2. 서비스에서 EncryptionMethod=1을 사용하여 Oracle 연결 문자열을 구성합니다.

  • 방법 2:

    1. TLS/SSL 인증서 정보를 가져옵니다. TLS/SSL 인증서의 DER(Distinguished Encoding Rules)로 인코딩되거나 PEM(Privacy Enhanced Mail)으로 인코딩된 인증서 정보를 가져옵니다.

       openssl x509 -inform (DER|PEM) -in [Full Path to the DER/PEM Certificate including the name of the DER/PEM Certificate] -text
       

    2. 서비스에서 EncryptionMethod=1 및 해당하는 TrustStore 값을 사용하여 Oracle 연결 문자열을 구성합니다. 예를 들어 Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore= data:// -----BEGIN CERTIFICATE-----<certificate content>-----END CERTIFICATE-----

       참고 항목

       • TrustStore 필드 값에는 data:// 접두사가 있어야 합니다.
       • 여러 인증서에 대한 콘텐츠를 지정할 때 -----BEGIN CERTIFICATE----- 및 -----END CERTIFICATE-----사이에 각 인증서의 콘텐츠를 지정합니다. 대시(-----)의 수는 BEGIN CERTIFICATE 및 END CERTIFICATE의 앞과 뒤에 동일해야 합니다. 예시:
         -----BEGIN CERTIFICATE-----<certificate content 1>-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----<certificate content 2>-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----<certificate content 3>-----END CERTIFICATE-----
       • TrustStore 필드는 최대 8192자까지 콘텐츠를 지원합니다.

  • 방법 3:

    1. AES256과 같은 강력한 암호화를 사용하여 truststore 파일을 만듭니다.

       openssl pkcs12 -in [Full Path to the DER/PEM Certificate including the name of the DER/PEM Certificate] -out [Path and name of TrustStore] -passout pass:[Keystore PWD] -keypbe AES-256-CBC -certpbe AES-256-CBC -nokeys -export
       

    2. 자체 호스팅 통합 런타임 머신에 truststore 파일을 배치합니다. 예를 들어 파일을 C:\MyTrustStoreFile에 배치합니다.

    3. 서비스에서 EncryptionMethod=1 및 해당하는 TrustStore/TrustStorePassword 값을 사용하여 Oracle 연결 문자열을 구성합니다. 예: Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore=C:\\MyTrustStoreFile;TrustStorePassword=<trust_store_password>.

예제:

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

예제: Azure Key Vault에 암호 저장

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

데이터 세트 속성

이 섹션에는 Oracle 데이터 세트에서 지원하는 속성의 목록을 제공합니다. 데이터 세트 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 데이터 세트를 참조하세요.

Oracle 간에 데이터를 복사하려면 데이터 세트의 type 속성을 OracleTable로 설정합니다. 다음과 같은 속성이 지원됩니다.

예제:

{
    "name": "OracleDataset",
    "properties":
    {
        "type": "OracleTable",
        "schema": [],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        },
        "linkedServiceName": {
            "referenceName": "<Oracle linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

복사 작업 속성

이 섹션에서는 Oracle 원본 및 싱크에서 지원하는 속성 목록을 제공합니다. 작업 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 파이프라인을 참조하세요.

Oracle을 원본으로

Oracle에서 데이터를 복사하려면 복사 작업의 원본 형식을 OracleSource로 설정합니다. 복사 작업 원본 섹션에서 지원되는 속성은 다음과 같습니다.

예: 파티션이 없는 기본 쿼리를 사용하여 데이터 복사

"activities":[
    {
        "name": "CopyFromOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Oracle input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "OracleSource",
                "convertDecimalToInteger": false,
                "oracleReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Oracle을 싱크로

Oracle에 데이터를 복사하려면 복사 작업의 싱크 형식을 OracleSink로 설정합니다. 복사 작업 싱크 섹션에서 지원되는 속성은 다음과 같습니다.

예제:

"activities":[
    {
        "name": "CopyToOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Oracle output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "OracleSink"
            }
        }
    }
]

Oracle에서 병렬 복사

Oracle 커넥터는 Oracle에서 병렬로 데이터를 복사하는 기본 제공 데이터 분할을 제공합니다. 복사 작업의 원본 탭에서 데이터 분할 옵션을 찾을 수 있습니다.

분할된 복사를 사용하도록 설정하면 서비스가 Oracle 원본에 대한 병렬 쿼리를 실행하여 파티션별로 데이터를 로드합니다. 병렬 수준은 복사 작업의 parallelCopies 설정에 의해 제어됩니다. 예를 들어 parallelCopies를 4로 설정하는 경우, 서비스는 지정된 파티션 옵션과 설정에 따라 4개의 쿼리를 동시에 생성하고 실행하며, 각 쿼리는 Oracle 데이터베이스에서 데이터의 일부를 검색합니다.

특히 Oracle 데이터베이스에서 대량의 데이터를 로드하는 경우 특별히 데이터 분할로 병렬 복사를 사용하도록 설정하는 것이 좋습니다. 다양한 시나리오에 대해 권장되는 구성은 다음과 같습니다. 파일 기반 데이터 저장소에 데이터를 복사할 때 여러 파일로 폴더에 쓰는 것이 좋습니다(폴더 이름만 지정). 이 경우 단일 파일에 쓰는 것보다 성능이 좋습니다.

예: 물리적 파티션이 있는 쿼리

"source": {
    "type": "OracleSource",
    "query": "SELECT * FROM <TABLENAME> PARTITION(\"?AdfTabularPartitionName\") WHERE <your_additional_where_clause>",
    "partitionOption": "PhysicalPartitionsOfTable",
    "partitionSettings": {
        "partitionNames": [
            "<partitionA_name>",
            "<partitionB_name>"
        ]
    }
}

예: 동적 범위 파티션이 있는 쿼리

"source": {
    "type": "OracleSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Oracle에 대한 데이터 형식 매핑

Oracle에서 데이터를 복사할 때 서비스 내에서 다음과 같은 중간 데이터 형식 매핑이 사용됩니다. 복사 활동에서 원본 스키마와 데이터 형식을 싱크에 매핑하는 방법에 대한 자세한 내용은 스키마 및 데이터 형식 매핑을 참조하세요.

조회 작업 속성

속성에 대한 자세한 내용을 보려면 조회 작업을 확인하세요.

관련 콘텐츠

복사 작업에서 원본 및 싱크로 지원되는 데이터 저장소 목록은 지원되는 데이터 저장소를 참조하세요.